一、先给AI词元服务器补上token级监控（今日执行）
近期多家GPU云厂商在控制台新增了token_per_second与kv_cache_hit_ratio两个指标。如果你还在用CPU使用率判断推理节点健康，大概率会漏掉显存带宽瓶颈。建议：在Prometheus中新增两个record规则，按5分钟窗口计算token吞吐的P99，并设置告警阈值为模型理论峰值的85%。同时，在日志采集器（如Fluent Bit）中增加对model_name标签的提取，便于按模型维度做成本分摊。
二、IDC出口带宽：把“流量突刺”变成告警而非事后分析（本周内完成）
本周某云厂商公布了2024年Q3的DDoS报告，指出1-2秒级微突发占攻击总量的37%，且传统5分钟聚合采样会漏掉这类事件。可执行动作：将NetFlow/sFlow采样间隔从300秒缩短至30秒，并部署轻量级流分析器（如GoFlow），在Grafana中增加burst_detection面板——当单秒入向流量超过均值3倍且持续3秒，触发Webhook到值班群。注意，带宽日志保留策略建议改为“原始包采样存7天，聚合指标存90天”，以平衡磁盘成本。
三、日志软件层：强制实施“三删三留”策略（周末前完成）
近期多家日志SaaS调价，按GB计费涨幅达15-20%。对照你的采集端，检查是否仍在收集kube-system的重复事件或debug级应用日志。本周建议执行：①删除所有存活时间短于5分钟的Pod日志（用k8s_pod_uid标签过滤）；②保留所有包含error、exception、timeout关键字的全量日志（90天）；③将审计日志与业务日志拆分到不同索引/存储桶。如果使用Loki，可开启structuredMetadata来压缩重复标签，预计能减少30%的日志体积。
四、软件与硬件联动：给交换机SNMP告警加“业务上下文”
本周思科与华为均发布了新的MIB库，包含端口队列丢包计数（dot3StatsDeferredTransmissions等）。单纯看丢包率无法判断影响面。推荐做法：将交换机端口号映射到K8s节点标签，再关联到业务命名空间。例如，当eth1/1丢包率>0.1%时，告警信息应自动携带“影响service-a与service-b”的上下文。这需要维护一个CMDB映射表，但收益显著——能将平均故障定位时间从40分钟压缩到8分钟。
五、周度复盘：用SLO错误预算反推日志规则（下周一晨会使用）
不要只盯着告警。本周推荐的最后一个动作：导出近7天的SLO达成率（如API可用性99.9%），然后反向检查日志采集是否完整——例如，如果错误率上升但错误日志条数未同步增长，说明采集端存在drop或sampling误配置。建议在Grafana中做一个“错误预算消耗vs日志量趋势”的叠加面板，每周一自动截图发给团队。这一习惯能在两周内发现至少1个被静默丢弃的日志源。
0 留言