第一步：先分清你要测什么。这周我们测的不是模型准确率，而是词元（Token）解析延迟和带宽占用峰值。因为IDC机房的成本大头是带宽，而AI词元服务器每次请求都要传输大量tokenized数据。所以测试目标定为：在相同网络条件下，对比旧版（单机批量处理）和新版（分布式预分词）的P95延迟。
第二步：环境搭建的三条铁律。① 两台测试机必须在同一二层网络（同VLAN），否则交换机的QoS策略会污染结果；② 软件层面务必用tc netem模拟真实丢包（0.1%就够了，不要用默认0%），因为IDC出口总有突发拥塞；③ 词元服务器要关掉自动NUMA平衡，否则CPU迁移会带来20%以上的噪声。这周我们就因为没关，差点得出“新版更慢”的错误结论。
第三步：流量分配与采样。用Nginx的split_clients模块按用户ID哈希分桶，不要用随机数——否则同一个用户的多次请求会落在不同版本，导致缓存失效。流量比例建议先跑5%的新版，观察2小时。这里有个坑：一定要监控带宽的95计费曲线。本周三我们新版流量只占3%，但瞬时带宽峰值冲高了15%，因为新版预分词会把大量中间结果提前拉取。后来加了个令牌桶限速器，才把峰值压平。
第四步：数据采集与判胜。除了业务日志，必须从交换机SNMP抓端口流量，以及用perf统计词元服务器的LLC miss（最后一级缓存未命中率）。判定标准不是均值，而是P99延迟差>8ms且持续30分钟才算显著。上周我们遇到一个假阳性：旧版因为垃圾回收停顿，刚好在采样窗口内多停了两次，差点误导决策。解决办法是加长观察期到48小时，并做一次重启清缓存。
第五步：避坑清单（本周刚踩的）。① 千万别用公司监控系统自带的A/B测试模块——它默认走公网回传数据，会占用IDC出口带宽；② 词元服务器的网卡一定要开RSS（接收端缩放），否则单队列中断会把CPU打满；③ 如果新版需要额外的软件依赖（比如libtorch），记得用chroot隔离，防止旧进程抢占显存。④ 最后，测试结束要立即关闭分流配置，并导出ethtool -S的丢包计数作为报告附件。
这周最深刻的教训：IDC里的A/B测试，80%的失败不是算法不行，而是网络和软件配置在说谎。照上面步骤走，至少能保证你的结论是“干净的”。
0 留言