Back to Feed
总结
在CES上,英伟达首次完整披露“推理上下文内存存储平台”,针对多步推理产生的大量KV缓存,在GPU HBM与传统内存之间新增独立高速“记忆层”。平台以Spectrum-X以太网互联,并配BlueField-4 DPU(集成800Gb/s网卡),每个DPU挂接约150TB上下文内存,使每块GPU可额外获得约16TB分布式上下文存储,旨在缓解推理内存瓶颈并推动数据库等软件向以GPU为中心重构、协同提升推理效率。
正文
🪶 当 AI 处理多步推理的复杂任务时,产生大量 KV Cache,英伟达在本次 CES 上首次完整披露了推理上下文内存存储平台,在 GPU 内存和传统内存之间创造新的网络连接--一个独立高速的"记忆层"。该平台使用Spectrum-X 以太网提供高性能网络,同时配置 BlueField-4 的 DPU(内部集成了单端口800Gb/s的CX-9 的网卡),每个 DPU 后端接有150TB的上下文内存。通过这种设计,每个 GPU 除了自身的 HBM,还能额外获得16TB的分布式上下文存储。 底层硬件变革会带动软件重构GPU-Native数据库到来。架构层面发生变化。从"以CPU为中心"到"以GPU为中心",数据库软件需要围绕 GPU的数据获取和处理能力重新设计,核心组件层面升级改造。协同提升AI推理效率。
发布时间: