第一步，先别急着连数据库，而是明确你的“测量单位”。IDC机房里，AI词元（Token）的生成速度通常和带宽、GPU利用率强相关，但很多新手会把“每秒请求数”直接当成“每秒词元数”。这里有个常见坑：请求包含Prompt（输入）和Completion（输出）两部分，只有Completion部分才消耗你购买的算力包。本周某头部云厂商更新了计量文档，明确提示“输入词元按0.5倍折算，输出词元按1.5倍折算”。所以，在看板里建议建立两个独立字段，并用公式换算，而不是直接引用日志里的单一计数。
第二步，采集层要分“软硬两条线”。硬件线走SNMP或IPMI，抓服务器网卡的实际流量、丢包率和光模块温度；软件线则用Prometheus或Telegraf抓取Nginx或负载均衡的日志，专门提取包含“model_processing_time”和“token_count”的JSON字段。这里最容易踩的坑是：网络带宽统计默认是“物理端口速率”，而AI推理任务往往是突发型流量，峰值能冲到端口上限的3-5倍。本周某IDC运维群就有人反馈，看板上带宽显示才30%，但业务已经超时——原因是交换机缓冲溢出，但端口利用率没到100%。建议在采集器里加一个“每5秒平均速率”的滑动窗口，并设置端口丢弃包的告警阈值（比如>0.1%就触发），而不是只看百分比。
第三步，可视化层用“下钻+基线”的思维。新手喜欢把所有指标堆在首页，结果一张大屏红红绿绿反而找不到重点。我建议首页只放四个核心卡片：实时词元吞吐（按分钟）、活跃带宽占用Top5机柜、软件报错率（按模型版本）、以及成本估算（按每千词元单价）。点进任一卡片，再下钻到具体IP或容器。这周刚好有第三方监控工具（如Grafana 11.2）发布了新的“异常基线”插件，能自动学习过去7天的带宽与词元比例，当某台服务器的比值偏离基线超20%时，看板自动标红——这比固定阈值灵敏得多，尤其适合处理因突发热门模型而导致的流量尖峰。
最后，切记把“软件许可证”和“API调用配额”也当作数据源拉进看板。IDC的AI服务器往往绑定特定厂商的驱动或推理框架，如果许可证过期，词元吞吐会断崖式下降，但网络带宽仍然正常。本周就有案例：某机房因vLLM的并发数设置错误，导致所有GPU空转，带宽为0但CPU占用100%。所以看板上要增加“许可证有效期倒计时”和“当前并发/最大并发”两个字段，并设置提前3天的邮件提醒。避开以上三个坑，你就能在半天内完成一个能真正指导扩容决策的看板，而不是只做一个会动的漂亮图表。
0 留言