宏牛操盘京东携手华为打造低时延生成式广告解决方案基于鲲鹏超节点

据CNMO科技了解，在生成式推荐加速应用于互联网广告业务的背景下，京东与华为围绕新一代鲲鹏超节点展开联合创新，并在今年京东618期间完成低时延生成式推荐广告方案的实战验证。根据@华为中国披露的信息，新平台已平稳承接京东核心广告业务流量，较传统架构实现全链路时延优化8%。

京东

据介绍，此次合作由京东广告、京东云与华为共同推进。京东云基于鲲鹏超节点及超节点异构融合池化操作系统构建新云平台，京东广告则在此基础上完成业务架构升级。随着广告业务从传统判别式推荐向生成式推荐迭代，特征计算、模型推理和智能召排等环节对时延提出更高要求，而多模态内容增长、缓存规模扩大和向量检索复杂度提升，也使传统算力架构面临压力。京东方面称，此前业务全链路时延已突破300毫秒红线，成为生成式广告进一步落地的制约因素。

华为鲲鹏

在技术方案上，三方重点针对缓存和通信环节进行优化。资料显示，传统四级缓存与TCP通信体系下，RPC通信耗时占比超过30%，远端Redis单次访问推理上下文会带来20毫秒固定时延。为此，新方案通过大容量KVCache共享缓存资源池、URMA通信加速等方式进行调整。其中，KVCache的TP99时延降低25%，跨节点检索TP99时延降低80%，RPC通信TP99时延降低40%。同时，结合芯片、系统和编译层优化，广告核心服务吞吐提升25%以上，生成式模型推理吞吐提升40%以上。