运营要导出全部玩家的消费流水,六十万行数据一把梭会把服务端内存和邮件附件双双撑爆。分页导出方案:按主键游标分页,每页五千行落一个分片文件,全量完成后合并交付,过程可断点续跑。
每批按上一批的末尾主键续拉,行数够五千即落分片并记录游标,中断后从游标继续。actor上下文无关,服务级任务用系统变量存游标。
local PAGE_SIZE = 5000
local function exportPage()
local lastId = tonumber(getsysvar("EXPORT_CURSOR") or "0")
local rows, cursor = fetchRows(lastId, PAGE_SIZE)
if #rows == 0 then
setsysvar("EXPORT_DONE", 1)
return false
end
local fileNo = tonumber(getsysvar("EXPORT_FILE_NO") or "0") + 1
setsysvarex("EXPORT_FILE_NO", fileNo, 1)
setsysvarex("EXPORT_CURSOR", cursor, 1)
return true
end
全部分片落盘后按序合并成总表,交付前抽查行数守恒:分片行数之和等于总行数。
local function mergeChunks(totalExpect)
local total, no = 0, 0
while true do
no = no + 1
local cnt = tonumber(getsysvar("EXPORT_CHUNK_CNT_" .. no) or "0")
if cnt == 0 then break end
total = total + cnt
end
setsysvar("EXPORT_CHECK", total .. "/" .. totalExpect)
return total == totalExpect
end
六十万行模拟导出验证游标续跑、行数守恒、重复执行幂等。监控导出任务的执行时长与内存占用,单页耗时超过两秒说明查询缺索引,优化查询而不是缩小页宽。
游标用自增主键而不是偏移量,偏移分页在数据变动时会漏行重行,主键游标天然稳定。分片计数键按序号拼,重跑任务前要清上一轮的全部分片键,残留计数会让守恒校验误判通过。导出任务与业务高峰抢数据库,任务放凌晨窗口并限速,每页之间休眠二百毫秒。合并交付前的行数守恒校验不能省,少一行的报表发给运营做决策,错误的代价远超导出本身。
全站技术干货持续更新:996 引擎 / Lua 实战帖,语法、参数与示例一篇讲透。进入文章地图 · 查看全部 →
设计初衷 组队打怪的经验分配是组队体验的核心:均分让划水者搭便车,纯贡献分配让辅助职业吃亏。贡献权重的设计目标:按实际贡献分…
设计初衷 坐骑系统的死穴是"买了就不用管"。坐骑长线:喂养、训练、共鸣三条培养线并行——坐骑从"一次买断"变成"持续投入"。…
业务场景 新图首杀季:一天 60 个首杀全发播报则世界频道被刷屏。限流策略:播报队列每分钟最多 3 条,积压进入队列顺延,超…
业务场景 富矿点被固定队伍霸占。矿点占领:行会发起占领后收益加成 50%,占领 4 小时到期自动易主。核心数据:Mine_I…
设计初衷 回流玩家的最大障碍不是数值落后,是社交断层:离开 90 天后,好友列表里一半人退游、行会换了会长、固定队散了。回归…
学员常见误区 把 30 份奖励分给 4 人小组,学员写 total / 4 得到 7.5,再拿 7.5 去做循环边界——Lu…