KV缓存

在CES上，英伟达首次完整披露“推理上下文内存存储平台”，针对多步推理产生的大量KV缓存，在GPU HBM与传统内存之间新增独立高速“记忆层”。平台以Spectrum-X以太网互联，并配BlueField-4 DPU（集成800Gb/s网卡），每个DPU挂接约150TB上下文内存，使每块GPU可额外获得约16TB分布式上下文存储，旨在缓解推理内存瓶颈并推动数据库等软件向以GPU为中心重构、协同提升推理效率。