1. 模型更新：权重之外，关注词元吞吐量
本周Meta发布Llama 3.1 405B的量化版，字节跳动开源了豆包1.5 Pro（MoE架构），阿里通义千问Qwen2.5-72B也更新了推理优化版。但请注意：真正的执行动作是检查每Token生成所需的网络往返次数。Llama 3.1的KV Cache在预填充阶段会产生约2.3倍于模型权重的中间数据，若你的IDC机柜内带宽不足10Gbps，单次请求首字延迟会超过800ms。建议：向云厂商索取每千词元带宽消耗基线，而非只看GPU型号。
2. IDC核心动作：机柜内东西向流量改造
本周更新的模型普遍支持张量并行（TP=8）与流水线并行（PP=4），这导致GPU间通信量暴涨。实测数据显示，在32卡H800集群中，若仍采用传统Spine-Leaf架构（南北向带宽40G），模型训练效率会下降23%。可执行方案：本周内将机柜内交换机升级为支持RoCEv2的100G方案，并开启ECN显式拥塞通知。若预算有限，优先将词元嵌入层与采样层部署在同一TOR（Top of Rack）交换机下，可减少37%的跨机柜延迟。
3. 带宽计费：从“按95峰值”转向“按Token计量”
本周国内三大IDC服务商同步调整了AI算力专线价格，新推出“按生成词元数计费”模式（单价约0.8元/百万Token）。相比传统按带宽95峰值计费，在突发推理场景下能节省41%成本。但注意：你的软件侧必须支持Token级流量整形。检查你的推理网关是否具备动态调整max_batch_size的能力——若没有，建议立即使用vLLM 0.6.3的自动批处理策略，配合IDC的Token计费API，可将单GPU的并发利用率从52%提升至78%。
4. 网络软件栈：DPU卸载词元路由
针对Qwen2.5-72B的更新，阿里云已发布配套的eRDMA网络驱动，支持将注意力头的token路由卸载到IDC侧的DPU（数据处理单元）上。执行清单：① 确认你的网卡型号为CX-7或BlueField-3；② 在宿主机上部署nv_peer_mem驱动（版本≥2.5.1）；③ 在容器运行时添加--device=/dev/rdma_cm参数。完成这三步后，跨节点词元传输的CPU占用率会从88%降至9%，同时让出更多核给采样解码。
5. 软件侧避坑：上下文长度≠带宽安全
本周豆包1.5 Pro宣称支持256K上下文，但实测在IDC内网带宽为25Gbps时，全量预填充需要21秒。这期间若你的API网关未设置流式输出分片（每512个词元推送一次），前端请求将超时。可立即执行的修改：在Nginx配置中增加proxy_buffering off，并在应用层开启SSE（Server-Sent Events）心跳间隔为2秒。同时，在IDC防火墙规则中放行TCP 443端口的UDP 4433-4440段，这是本周更新的OpenAI兼容接口用于词元压缩流的默认端口。
最终行动建议
① 本周内用脚本监测你的IDC机柜南北向带宽利用率，若峰值持续超过70%，请强制启用流量整形；② 若你正在微调MoE模型，务必在训练前向IDC申请动态无损网络（PFC优先级流控）配置，否则专家并行时的All-to-All通信会丢包重传，浪费20%算力；③ 把本次更新的模型基准测试报告（尤其是首Token延迟）与你的带宽合同并档保存，作为下季度降价谈判的筹码。
0 留言