运营要导出全部玩家的消费流水,六十万行数据一把梭会把服务端内存和邮件附件双双撑爆。分页导出方案:按主键游标分页,每页五千行落一个分片文件,全量完成后合并交付,过程可断点续跑。
每批按上一批的末尾主键续拉,行数够五千即落分片并记录游标,中断后从游标继续。actor上下文无关,服务级任务用系统变量存游标。
local PAGE_SIZE = 5000
local function exportPage()
local lastId = tonumber(getsysvar("EXPORT_CURSOR") or "0")
local rows, cursor = fetchRows(lastId, PAGE_SIZE)
if #rows == 0 then
setsysvar("EXPORT_DONE", 1)
return false
end
local fileNo = tonumber(getsysvar("EXPORT_FILE_NO") or "0") + 1
setsysvarex("EXPORT_FILE_NO", fileNo, 1)
setsysvarex("EXPORT_CURSOR", cursor, 1)
return true
end
全部分片落盘后按序合并成总表,交付前抽查行数守恒:分片行数之和等于总行数。
local function mergeChunks(totalExpect)
local total, no = 0, 0
while true do
no = no + 1
local cnt = tonumber(getsysvar("EXPORT_CHUNK_CNT_" .. no) or "0")
if cnt == 0 then break end
total = total + cnt
end
setsysvar("EXPORT_CHECK", total .. "/" .. totalExpect)
return total == totalExpect
end
六十万行模拟导出验证游标续跑、行数守恒、重复执行幂等。监控导出任务的执行时长与内存占用,单页耗时超过两秒说明查询缺索引,优化查询而不是缩小页宽。
游标用自增主键而不是偏移量,偏移分页在数据变动时会漏行重行,主键游标天然稳定。分片计数键按序号拼,重跑任务前要清上一轮的全部分片键,残留计数会让守恒校验误判通过。导出任务与业务高峰抢数据库,任务放凌晨窗口并限速,每页之间休眠二百毫秒。合并交付前的行数守恒校验不能省,少一行的报表发给运营做决策,错误的代价远超导出本身。
全站技术干货持续更新:996 引擎 / Lua 实战帖,语法、参数与示例一篇讲透。进入文章地图 · 查看全部 →
实战应用:用在哪里 战士的烈火剑法一击熄火后要等八秒冷却,连招断档感强烈。疾风烈火斩在烈火剑法命中后给一次连击窗口:三秒内再…
实战应用:用在哪里 阵营对抗打到中期容易疲软:打赢没有额外好处,输掉也没有代价。阵营声望体系给阵营战装上荣誉刻度:个人与阵营…
实战应用:用在哪里 拿下沙巴克之后呢?城主除了名字挂在城墙上,对城市毫无影响。城主施政玩法让占领变成治理:城主每周获得市政令…
实战应用:用在哪里 主线路光缆被挖断的深夜,全服掉线 20 分钟,玩家以为游戏倒闭。备用线路方案给接入层配第二条出口:主线路…
实战应用:用在哪里 行会官员由帮主任命的老模式弊端明显:任人唯亲、能上不能下。行会选举接口把官员换届做成投票制:每两个月一次…
实战应用:用在哪里 烈火剑法的伤害加成、冷却时间、下一级提升,全靠玩家记忆或去官网查。技能说明悬浮卡片在鼠标悬停技能图标零点…