高峰期每分钟几千条日志,人工翻找效率极低——日志分析把海量日志聚合成可操作的排名。TopN 排行把最高频的错误排到最前面,修复的优先级由数据驱动而不是由感觉驱动。
---日志分析:按错误的堆栈指纹聚合
function LogAgg.analyze(logFile)
local buckets = {}
for line in io.lines(logFile) do
local level, msg = line:match('%[(%w+)%]%s*(.+)')
if level == 'ERROR' then
local fp = msg:sub(1, 60) -- 前 60 字符做指纹
buckets[fp] = (buckets[fp] or 0) + 1
end
end
return buckets
end
---TopN 排行:按出现次数排序输出
function LogAgg.topN(buckets, n)
local list = {}
for fp, count in pairs(buckets) do
list[#list + 1] = { fp = fp, count = count }
end
table.sort(list, function(a, b) return a.count > b.count end)
for i = 1, math.min(n, #list) do
print(string.format('#%d [%d次] %s',
i, list[i].count, list[i].fp:sub(1, 50)))
end
end
错误的聚合按消息的前 60 字符做指纹:同一类错误的堆栈或消息前缀相同——指纹的聚合让千条相似的日志收敛为一行计数。TopN 的排行按计数降序排列:最高频的错误排在第一名,修复的优先级由数据的排名驱动。聚合的窗口按小时滚动:每小时的 TopN 对比上一小时,新冒出的高频错误即时暴露——趋势的分析比单点的快照更有价值。
---指纹的优化:正则提取关键信息
function LogAgg.fingerprint(msg)
-- 去掉变量部分:只留结构性信息
local fp = msg
:gsub('%d+', 'N') -- 数字替换为 N
:gsub('"[^"]*"', 'S') -- 字符串替换为 S
:gsub('%s+', ' ') -- 多空格合一
:sub(1, 80)
return fp
end
指纹的优化让聚合更精准:数字替换为占位符 N、字符串替换为占位符 S——「玩家 12345 掉线」与「玩家 67890 掉线」的指纹相同,聚合成一条。指纹的粒度平衡:太细则聚合的效果差(同类错误分太多桶),太粗则不同错误混在一起(排查的线索丢失),粒度的调优靠样本的回放验证。日志的分析定时执行:每小时的 TopN 进运维的日报,趋势的变化在日报的对比中可见。
聚合的覆盖率统计:TopN 的条目覆盖日志总量的比例,覆盖率高说明聚合有效;新指纹的告警:首次出现的指纹进巡检的日报,新错误不遗漏。
指纹的粒度曾经太粗,不同原因的错误被聚成一桶,排查时误导方向,粒度加一层函数名的区分。TopN 的排序曾经在样本量少时不稳定,一条日志的错误与千条的并列,最小样本量的门槛过滤。日志的编码曾经不统一,GBK 与 UTF-8 混杂导致指纹匹配失败,编码的标准化进采集层。
聚合的规则进配置:指纹的截取长度、正则的替换规则可调。TopN 的输出进运维的日报与 IM 的群消息,错误的排名可见。修复的整改跟踪:TopN 的第一名修复后从榜单消失,修复的效果由数据的排名验证。
全站技术干货持续更新:996 引擎 / Lua 实战帖,语法、参数与示例一篇讲透。进入文章地图 · 查看全部 →
实战应用:用在哪里 悬赏捕杀把玩家之间的恩怨变成可托付的系统行为:仇家难以亲自复仇时,花费金条发布悬赏,全服玩家接单击杀目标…
实战应用:用在哪里 策划改表是日常动作,漏填字段、引用了不存在的编号、数值越界这三类问题占了配表故障的绝大多数。等玩家报错再…
实战应用:用在哪里 行会擂台给中小行会提供了固定的对抗出口:挑战方击败守擂方后接管擂台,连胜次数决定每日结算奖励档位。接口层…
实战应用:用在哪里 世界首领战里玩家最关心的是伤害前十名:榜单要求随时插入、随时能按序取出,每来一条伤害记录都重新排序一次太…
实战应用:用在哪里 百人同屏的攻城战里,把每条移动、施法消息广播给全地图是最常见的性能失误。九宫格视野的做法是把地图切成等大…
实战应用:用在哪里 留言板、行会招募语、邮件标题这类字段会被玩家自由填写,并写入角色变量或转发给持久层。拼接式的写法一旦遇到…