CHUAN2 DEV ENGINE
996 正版授权研发中心 · 360 授权合作教学中心 · 抖音传奇直播合作授权 · 快手推广运营商授权
OFFICIAL LICENSED ACADEMY 查验官方授权证书 →
// 威海旷世互娱教学基地 · 技术文章
数据存储报表导出

【数据存储】大数据报表分页导出:大结果集的分批落盘设计

2026-09-23 17:03 作者:996 技术组 0 阅读 996引擎Lua教程传奇脚本

实战应用:用在哪里

运营要导出全部玩家的消费流水,六十万行数据一把梭会把服务端内存和邮件附件双双撑爆。分页导出方案:按主键游标分页,每页五千行落一个分片文件,全量完成后合并交付,过程可断点续跑。

游标分页的分片落盘

每批按上一批的末尾主键续拉,行数够五千即落分片并记录游标,中断后从游标继续。actor上下文无关,服务级任务用系统变量存游标。

lua
local PAGE_SIZE = 5000
local function exportPage()
    local lastId = tonumber(getsysvar("EXPORT_CURSOR") or "0")
    local rows, cursor = fetchRows(lastId, PAGE_SIZE)
    if #rows == 0 then
        setsysvar("EXPORT_DONE", 1)
        return false
    end
    local fileNo = tonumber(getsysvar("EXPORT_FILE_NO") or "0") + 1
    setsysvarex("EXPORT_FILE_NO", fileNo, 1)
    setsysvarex("EXPORT_CURSOR", cursor, 1)
    return true
end

分片的合并与交付

全部分片落盘后按序合并成总表,交付前抽查行数守恒:分片行数之和等于总行数。

lua
local function mergeChunks(totalExpect)
    local total, no = 0, 0
    while true do
        no = no + 1
        local cnt = tonumber(getsysvar("EXPORT_CHUNK_CNT_" .. no) or "0")
        if cnt == 0 then break end
        total = total + cnt
    end
    setsysvar("EXPORT_CHECK", total .. "/" .. totalExpect)
    return total == totalExpect
end

验证与监控

六十万行模拟导出验证游标续跑、行数守恒、重复执行幂等。监控导出任务的执行时长与内存占用,单页耗时超过两秒说明查询缺索引,优化查询而不是缩小页宽。

踩坑记录

游标用自增主键而不是偏移量,偏移分页在数据变动时会漏行重行,主键游标天然稳定。分片计数键按序号拼,重跑任务前要清上一轮的全部分片键,残留计数会让守恒校验误判通过。导出任务与业务高峰抢数据库,任务放凌晨窗口并限速,每页之间休眠二百毫秒。合并交付前的行数守恒校验不能省,少一行的报表发给运营做决策,错误的代价远超导出本身。

作者履历与出处

本文由 996 技术组基于 996 引擎官方知识库与浮生梦老师课程体系整理。团队长期从事传奇类引擎 Lua 后端逻辑、客户端界面与商业版本交付,内容以官方知识库与真实项目为出处,按版本持续修订。

← 返回文章地图返回研学路径

最新技术文章 · 实战干货

LATEST ARTICLES

全站技术干货持续更新:996 引擎 / Lua 实战帖,语法、参数与示例一篇讲透。进入文章地图 · 查看全部 →

策划架构996引擎

【策划架构】贡献权重:组队经验的分配权重设计

设计初衷 组队打怪的经验分配是组队体验的核心:均分让划水者搭便车,纯贡献分配让辅助职业吃亏。贡献权重的设计目标:按实际贡献分…

2026-09-24 16:24 996 技术组 · 0 阅读
策划架构996引擎

【策划架构】坐骑长线:培养线的长线成长设计

设计初衷 坐骑系统的死穴是"买了就不用管"。坐骑长线:喂养、训练、共鸣三条培养线并行——坐骑从"一次买断"变成"持续投入"。…

2026-09-24 16:24 996 技术组 · 0 阅读
进阶实战996引擎

【进阶实战】击杀播报限流:滑动配额队列封装

业务场景 新图首杀季:一天 60 个首杀全发播报则世界频道被刷屏。限流策略:播报队列每分钟最多 3 条,积压进入队列顺延,超…

2026-09-24 16:24 996 技术组 · 0 阅读
进阶实战996引擎

【进阶实战】矿点归属:行会占领与到期转移封装

业务场景 富矿点被固定队伍霸占。矿点占领:行会发起占领后收益加成 50%,占领 4 小时到期自动易主。核心数据:Mine_I…

2026-09-24 16:24 996 技术组 · 0 阅读
策划架构996引擎

【策划架构】回归社交:回流玩家的社交重连设计

设计初衷 回流玩家的最大障碍不是数值落后,是社交断层:离开 90 天后,好友列表里一半人退游、行会换了会长、固定队散了。回归…

2026-09-24 16:24 996 技术组 · 0 阅读
入门夯实996引擎

【入门夯实】整数分组:floor取整与余数分发

学员常见误区 把 30 份奖励分给 4 人小组,学员写 total / 4 得到 7.5,再拿 7.5 去做循环边界——Lu…

2026-09-24 16:24 996 技术组 · 0 阅读