链路追踪失效了,监控还在瞎报警 ,到底谁在说真话 。
最近帮公司排查一个支付超时问题,折腾了两天。之前用的Zipkin只能看到“支付服务耗时2.8秒 ”,但根本不知道是卡在数据库连接池 、JWT解析 ,还是线程被占满了。最后换SkyWalking一查,直接定位到Dubbo Filter里JWT解密那段代码在CPU上打满,还顺带发现三个实例里有两个早挂了却没告警——原来告警规则只写了平均响应时间 ,P99早就超了三倍,没人看见 。
这才明白,不是工具不行 ,是咱们之前光会“开”,根本不会“管”。SkyWalking v8.12现在早不是那个装上就能看图的玩具了。它分OAP分析模块和查询模块,硬塞一起跑,5000个请求每秒的时候 ,查个拓扑图要等七八秒 。我们测试过,ES 8.x写链路日志太猛,JVM老是GC停顿 ,官方文档都悄悄把ES标成“不推荐 ”了。最后换TiDB 7.1.2,得先查`tidb_version()`,不然索引失效 ,trace_id查不出来。
Agent更玄乎 。本来以为加个JVM参数就完事,结果上线三天,两个服务隔三差五抛`ClassDefNotFound`。查了半天 ,是Agent和应用自己的ClassLoader打架,尤其用了ShardingSphere或自定义加载器的项目,失败率真有15%以上——社区2025年故障报告里写的清清楚楚。现在我们连插件都得手动挑着开:JDBC和JVM监控必开 ,Dubbo插件反而关掉,改用Dubbo 3.x原生拦截,省得重复注入。
Nginx那边也踩过坑 。`skywalking-nginx-lua`只认OpenResty 1.19以上,旧版本里`ngx.timer.at`得自己打patch ,不然异步Span传不下去。前端Vue更别提,网关到浏览器那断链路,不装`skywalking-client-js` ,就永远是“黑盒”。
日志和链路对不上,也是常事 。Logback里写`%X{SW_TRACE_ID}`,一进线程池就空了。后来换成`LogbackAsyncAppender` ,再把MDC上下文手动透传进去,才让Loki里点一下日志就能跳转到完整链路。性能采样也得调,默认100ms采样 ,但订单服务里一次内存抖动才30ms,根本抓不到,现在核心服务设成10ms ,边缘服务放开到200ms,按需来 。
告警最坑。写了`service_resp_time > 1000`就发邮件?结果全是误报。P95和P99差得远,得分开写规则 。还有 endpoint 告警,没加正则`/order/.*` ,新接口上线一周都没进规则。更别说Webhook没配重试,钉钉机器人一崩,告警就消失 ,连个记录都没有。现在所有规则必须带scope、condition、notification三件套,连`alarmContent`字段都得核对是不是v8.12新加的,不然webhook收不到内容 。
现在SkyWalking也不单干了。2026年很多团队把它当OTel Collector的后端 ,Java服务用OTel SDK打数据,OAP只负责分析和告警。Istio里Sidecar也跑SkyWalking Agent,但得关掉Spring插件 ,不然重复注入直接OOM。下一步还想把Envoy指标和eBPF网络数据一起喂进来,不过还没动手 。
我们上周用`skywalking-cli`扫了一遍所有服务,发现七成Agent配置根本没按生产清单来。这周开始改告警规则 ,全切到`alarm-notification`模块,连SOAR都接上了。上个月还觉得“能看链路就行”,现在每天第一件事是看磁盘水位——ES水位超70%就得清理,TiDB得预分表 ,不然`ORDER BY start_time`一查就卡死 。
链路数据不是跑出来就完事了。得定命名规范,比如`service.name`不能写`order-service-v2`,得统一成`order-service`;得写SOP ,告警触发后5分钟内必须有人响应;得算容量,一个核心服务一天产40G链路数据,三个月就是3.6TB。
工具再好 ,没人盯 、没人调、没人查,就只是个开着的后台进程 。上周六凌晨两点,一个支付失败告警弹出来 ,我点开链路图,30秒就看到是Redis连接池满了。没猜,没试 ,直接扩。
就这样 。
本文来自作者[孤云独去]投稿,不代表点新号立场,如若转载,请注明出处:https://sc-hx.cn/jyan/202609-14602.html
评论列表(3条)
我是点新号的签约作者“孤云独去”
本文概览:jwt解密|(jwt解密工具在线)链路追踪失效了,监控还在瞎报警,到底谁在说真话。最近帮公司排查一个支付超时问题,折腾了两天。之前用的Zipkin只能看到“支付服务耗时2.8秒...
文章不错《jwt解密|(jwt解密工具在线)》内容很有帮助