运营要导出全部玩家的消费流水,六十万行数据一把梭会把服务端内存和邮件附件双双撑爆。分页导出方案:按主键游标分页,每页五千行落一个分片文件,全量完成后合并交付,过程可断点续跑。
每批按上一批的末尾主键续拉,行数够五千即落分片并记录游标,中断后从游标继续。actor上下文无关,服务级任务用系统变量存游标。
local PAGE_SIZE = 5000
local function exportPage()
local lastId = tonumber(getsysvar("EXPORT_CURSOR") or "0")
local rows, cursor = fetchRows(lastId, PAGE_SIZE)
if #rows == 0 then
setsysvar("EXPORT_DONE", 1)
return false
end
local fileNo = tonumber(getsysvar("EXPORT_FILE_NO") or "0") + 1
setsysvarex("EXPORT_FILE_NO", fileNo, 1)
setsysvarex("EXPORT_CURSOR", cursor, 1)
return true
end
全部分片落盘后按序合并成总表,交付前抽查行数守恒:分片行数之和等于总行数。
local function mergeChunks(totalExpect)
local total, no = 0, 0
while true do
no = no + 1
local cnt = tonumber(getsysvar("EXPORT_CHUNK_CNT_" .. no) or "0")
if cnt == 0 then break end
total = total + cnt
end
setsysvar("EXPORT_CHECK", total .. "/" .. totalExpect)
return total == totalExpect
end
六十万行模拟导出验证游标续跑、行数守恒、重复执行幂等。监控导出任务的执行时长与内存占用,单页耗时超过两秒说明查询缺索引,优化查询而不是缩小页宽。
游标用自增主键而不是偏移量,偏移分页在数据变动时会漏行重行,主键游标天然稳定。分片计数键按序号拼,重跑任务前要清上一轮的全部分片键,残留计数会让守恒校验误判通过。导出任务与业务高峰抢数据库,任务放凌晨窗口并限速,每页之间休眠二百毫秒。合并交付前的行数守恒校验不能省,少一行的报表发给运营做决策,错误的代价远超导出本身。
全站技术干货持续更新:996 引擎 / Lua 实战帖,语法、参数与示例一篇讲透。进入文章地图 · 查看全部 →
实战应用:用在哪里 悬赏捕杀把玩家之间的恩怨变成可托付的系统行为:仇家难以亲自复仇时,花费金条发布悬赏,全服玩家接单击杀目标…
实战应用:用在哪里 策划改表是日常动作,漏填字段、引用了不存在的编号、数值越界这三类问题占了配表故障的绝大多数。等玩家报错再…
实战应用:用在哪里 行会擂台给中小行会提供了固定的对抗出口:挑战方击败守擂方后接管擂台,连胜次数决定每日结算奖励档位。接口层…
实战应用:用在哪里 世界首领战里玩家最关心的是伤害前十名:榜单要求随时插入、随时能按序取出,每来一条伤害记录都重新排序一次太…
实战应用:用在哪里 百人同屏的攻城战里,把每条移动、施法消息广播给全地图是最常见的性能失误。九宫格视野的做法是把地图切成等大…
实战应用:用在哪里 留言板、行会招募语、邮件标题这类字段会被玩家自由填写,并写入角色变量或转发给持久层。拼接式的写法一旦遇到…