CHUAN2 DEV ENGINE
996 正版授权研发中心 · 360 授权合作教学中心 · 抖音传奇直播合作授权 · 快手推广运营商授权
OFFICIAL LICENSED ACADEMY 查验官方授权证书 →
// 威海旷世互娱教学基地 · 技术文章
数据存储报表导出

【数据存储】大数据报表分页导出:大结果集的分批落盘设计

2026-09-22 13:45 作者:996 技术组 1 阅读 996引擎Lua教程传奇脚本数据存储报表导出

实战应用:用在哪里

运营要导出全部玩家的消费流水,六十万行数据一把梭会把服务端内存和邮件附件双双撑爆。分页导出方案:按主键游标分页,每页五千行落一个分片文件,全量完成后合并交付,过程可断点续跑。

游标分页的分片落盘

每批按上一批的末尾主键续拉,行数够五千即落分片并记录游标,中断后从游标继续。actor上下文无关,服务级任务用系统变量存游标。

lua
local PAGE_SIZE = 5000
local function exportPage()
    local lastId = tonumber(getsysvar("EXPORT_CURSOR") or "0")
    local rows, cursor = fetchRows(lastId, PAGE_SIZE)
    if #rows == 0 then
        setsysvar("EXPORT_DONE", 1)
        return false
    end
    local fileNo = tonumber(getsysvar("EXPORT_FILE_NO") or "0") + 1
    setsysvarex("EXPORT_FILE_NO", fileNo, 1)
    setsysvarex("EXPORT_CURSOR", cursor, 1)
    return true
end

分片的合并与交付

全部分片落盘后按序合并成总表,交付前抽查行数守恒:分片行数之和等于总行数。

lua
local function mergeChunks(totalExpect)
    local total, no = 0, 0
    while true do
        no = no + 1
        local cnt = tonumber(getsysvar("EXPORT_CHUNK_CNT_" .. no) or "0")
        if cnt == 0 then break end
        total = total + cnt
    end
    setsysvar("EXPORT_CHECK", total .. "/" .. totalExpect)
    return total == totalExpect
end

验证与监控

六十万行模拟导出验证游标续跑、行数守恒、重复执行幂等。监控导出任务的执行时长与内存占用,单页耗时超过两秒说明查询缺索引,优化查询而不是缩小页宽。

踩坑记录

游标用自增主键而不是偏移量,偏移分页在数据变动时会漏行重行,主键游标天然稳定。分片计数键按序号拼,重跑任务前要清上一轮的全部分片键,残留计数会让守恒校验误判通过。导出任务与业务高峰抢数据库,任务放凌晨窗口并限速,每页之间休眠二百毫秒。合并交付前的行数守恒校验不能省,少一行的报表发给运营做决策,错误的代价远超导出本身。

作者履历与出处

本文由 996 技术组基于 996 引擎官方知识库与浮生梦老师课程体系整理。团队长期从事传奇类引擎 Lua 后端逻辑、客户端界面与商业版本交付,内容以官方知识库与真实项目为出处,按版本持续修订。

← 返回文章地图返回研学路径

最新技术文章 · 实战干货

LATEST ARTICLES

全站技术干货持续更新:996 引擎 / Lua 实战帖,语法、参数与示例一篇讲透。进入文章地图 · 查看全部 →

玩法策划悬赏赏金防刷

【玩法策划】悬赏捕杀:悬赏发布与赏金结算

实战应用:用在哪里 悬赏捕杀把玩家之间的恩怨变成可托付的系统行为:仇家难以亲自复仇时,花费金条发布悬赏,全服玩家接单击杀目标…

2026-09-23 10:18 996 技术组 · 0 阅读
工具链配表校验引用

【工具链】配表校验器:数值边界与引用完整性

实战应用:用在哪里 策划改表是日常动作,漏填字段、引用了不存在的编号、数值越界这三类问题占了配表故障的绝大多数。等玩家报错再…

2026-09-23 10:18 996 技术组 · 0 阅读
后端接口行会擂台结算

【后端接口】行会擂台:守擂判定的接口实现

实战应用:用在哪里 行会擂台给中小行会提供了固定的对抗出口:挑战方击败守擂方后接管擂台,连胜次数决定每日结算奖励档位。接口层…

2026-09-23 10:18 996 技术组 · 0 阅读
Lua实战二叉堆排行榜伤害

【Lua实战】二叉堆:伤害排行榜的有序插入

实战应用:用在哪里 世界首领战里玩家最关心的是伤害前十名:榜单要求随时插入、随时能按序取出,每来一条伤害记录都重新排序一次太…

2026-09-23 10:18 996 技术组 · 0 阅读
网络通信九宫格视野广播

【网络通信】九宫格视野:同屏广播的范围控制

实战应用:用在哪里 百人同屏的攻城战里,把每条移动、施法消息广播给全地图是最常见的性能失误。九宫格视野的做法是把地图切成等大…

2026-09-23 10:18 996 技术组 · 0 阅读
安全加密输入校验注入拦截

【安全加密】入库防护:玩家输入的参数校验与拦截

实战应用:用在哪里 留言板、行会招募语、邮件标题这类字段会被玩家自由填写,并写入角色变量或转发给持久层。拼接式的写法一旦遇到…

2026-09-23 10:18 996 技术组 · 0 阅读