【策划架构】ETL 流程：游戏库到分析库的同步设计

设计初衷

分析库的数据要从游戏库来，搬运过程（抽取、转换、装载）没有流程约束时百病丛生：全量抽取拖垮游戏库、转换时口径随意、装载失败后半截数据没人管。ETL 流程设计的目标：搬运自动化、增量化、可重跑——每天凌晨用最小的游戏库代价把最新数据送进分析库，失败能从断点续跑而不是从头再来。

数值模型

增量抽取：按变更时间戳抽取（每张源表带 updated_at 索引），每次只抽上次水位之后的增量行——游戏库日均增量约 20 万行，全量 4000 万行的时代结束。转换规则：敏感字段脱敏（手机号打码）、单位统一（金额统一到金币整数）、测试账号过滤（测试标记位剔除），三条规则配置化可增删。装载幂等：目标表以"日期加主键"为唯一键，重复装载覆盖写入不产生重复行——重跑一天的数据三次，结果与跑一次相同。窗口约束：整个流程在凌晨 1 点到 3 点的窗口内完成（实测 40 分钟），超窗告警。数值验证：增量 ETL 上线后游戏库凌晨负载峰值下降 28%，分析库数据可用时间从早上 9 点提前到 2 点 40 分。

配置示例

抽取参数单独一节。配置如下：

[Extract]
Mode = incremental
WatermarkField = updated_at
WindowStart = 1
WindowHours = 2

装载参数单独一节。配置如下：

[Load]
IdempotentKey = date_pk
RetryMax = 3
Overwrite = 1

扩展思路

变种方向：一是实时 ETL，核心指标（在线人数、充值流水）走消息流分钟级入仓，日报之外有准实时看板；二是数据质量校验，装载后跑完整性校验（行数比对、空值率、取值范围），质量不达标的数据标记不可用；三是反向回写，分析侧发现的异常账号名单回写游戏库风控表，数据循环利用。设计纪律一条：ETL 的每一次失败重试都要带断点水位——失败后从头重跑等于把游戏库的凌晨窗口烧两次，断点续跑是流程的底线能力。