KV Cache重塑存储架构：AI SSD如何从边缘走向推理核心？
在人工智能基础设施的演进历程中，我们曾长期陷入对单一计算指标的狂热追逐。过去两年，行业竞争的焦点几乎完全集中在GPU数量的堆叠、芯片算力的极限突破、HBM带宽的攀升以及高速网络的低时延互联上。然而，随着大语言模型步入长上下文处理、复杂逻辑推理以及多智能体协作的新阶段，决定系统有效Token产出率的变量变得愈发复杂且多维。
GPU作为算力底座，其实际利用率正越来越受制于数据流动的时效性。模型权重、KV Cache（键值缓存）以及MoE（混合专家模型）的专家参数，能否在精确到微秒的时间窗口内抵达正确的计算节点，成为关键变量。一旦KV Cache无法及时复用，系统将被迫重新执行昂贵的Prefill（预填充）过程；若MoE专家权重未在路由发生前加载至内存，GPU将陷入无意义的等待；而大量推理状态长期占据HBM，则会严重压缩并发请求与有效批处理的空间。
这一现象标志着AI基础设施正在经历一场深刻的范式转移：从单纯的“堆叠计算资源”转向“计算、网络、内存与存储数据路径的深度协同”。在此背景下，月之暗面的Mooncake项目与NVIDIA推出的CMX平台，构成了这一变革的两个标志性信号，共同指向一个核心趋势：推理状态已正式成为AI基础设施中的一级资源，存储介质也开始嵌入Token生成的实时主链路。
Mooncake：重构KV Cache的资源化路径
Mooncake项目的产业意义远超为Kimi构建一套新的推理服务系统，其核心价值在于彻底改变了大模型基础设施对“数据”的组织逻辑。在传统推理节点中，GPU、CPU、DRAM和本地SSD通常被视为服务器内部的固定资源集合，KV Cache主要依附于请求和GPU实例存在。这种紧耦合架构导致缓存一旦因驱逐或请求迁移而丢失，已完成的Prefill计算便失去复用价值，上下文越长，重复计算造成的资源浪费越严重。
Moonshot AI联合清华大学提出的Mooncake架构，采用了以KV Cache为中心的分离式设计。该架构将Prefill与Decode部署在不同的资源池中，并将GPU集群中闲置的CPU、DRAM、SSD和NIC整合为分布式KV Cache池。核心的Conductor调度器不再仅仅依据GPU负载分发请求，而是综合考量KV Cache分布、缓存命中率、节点负载以及TTFT（首词延迟）和TBT（词间延迟）等服务等级协议目标，动态决策缓存复用、Prefill执行和Decode调度。
在Mooncake的请求流设计中，可复用的Prefix KV Cache被优先送至合适的Prefill实例，新增的KV Cache随模型各层计算生成，并与Prefill计算重叠，异步流送至目标Decode节点。只有当缓存准备就绪后，请求才会进入连续批处理流程。Mooncake Store负责KV块的放置、复制、淘汰及生命周期管理，而Transfer Engine则通过RDMA、多NIC带宽聚合及拓扑感知路径选择，连接不同的计算和存储层。
这种设计使推理系统从“给GPU喂数据”转变为“围绕Tensor生命周期编排整条数据路径”。正如论文所言，这是“用更多存储换取更少计算”的实践。数据显示，在真实请求轨迹下，Mooncake相比基线系统提升了59%至498%的有效请求承载能力，生产系统每日处理超1000亿Token。值得注意的是，Mooncake官方文档已明确将DRAM与SSD/NVMe纳入多级缓存体系，允许从内存淘汰的对象后台卸载至SSD，未命中时再从SSD回读。这意味着SSD不再仅是模型启动前的文件来源，而是成为约束TTFT、吞吐和服务SLO的关键推理数据层。
CMX：构建HBM与共享存储间的G3.5层级
Agent时代的到来进一步改变了AI基础设施的优化对象。一次复杂的智能体请求不再是单一的前向传播，而是包含模型调用、工具执行、记忆检索、数据访问和多轮推理的长链路。KV Cache也从GPU内部的临时状态，转变为需要跨节点移动、共享和复用的基础设施数据。GPU能否持续获取正确的上下文，其重要性已与GPU本身的计算速度相当。
在NVIDIA提出的分层体系中，G1层为GPU HBM，存储热KV Cache；G2层为系统内存，承担交换和暂存；G3层为本地SSD，承接温数据；G4层为持久化存储。然而，随着智能体上下文延伸，G1至G3容量受限，而G4访问时延过高，不适合频繁进入Decode路径。为此，NVIDIA在两者之间引入了G3.5层级——CMX（Context Memory Storage Platform），一个通过以太网连接、以Flash为介质、面向KV Cache优化的Pod级上下文存储平台。
CMX主要承载短暂、派生且延迟敏感的推理上下文，而非长期持久化数据。其实现依赖于Dynamo的KV块管理器与NIXL进行跨层编排，DOCA Memos提供通信与元数据管理，BlueField-4智能网卡将KV I/O、队列管理及预取操作下沉至靠近网络和NVMe Flash的位置，Spectrum-X Ethernet则提供RDMA数据通道。当Decode即将使用某组KV块时，系统可提前将其从CMX预置到系统内存或GPU HBM，以减少GPU等待和重算成本。
据NVIDIA披露，CMX可在单个GPU Pod内提供PB级共享上下文容量，针对长上下文和智能体负载，其持续Token吞吐与功耗效率最高可达传统存储方案的5倍。尽管实际收益受模型和调度策略影响，但CMX释放的信号明确：Flash已被GPU平台厂商正式定义为AI推理内存体系中的一层。Mooncake与CMX虽形态不同，但共同划定了一条新的系统边界：计算芯片负责执行算子，网络连接资源，而存储则深度参与推理状态的放置、迁移和复用。
AI SSD的进化：从被动存储到主动参与者
将SSD纳入推理基础设施，并不意味着任意传统SSD都能稳定承担Token生成链路的任务。传统SSD设计围绕顺序带宽、随机IOPS和可靠性展开，而LLM推理需要的是带有严格时序约束的数据供应。KV Cache在Prefill阶段集中生成，并在后续步骤中被多次读取；MoE模型需保存远大于显存容量的专家权重。若数据读出时未赶上模型计算窗口，GPU仍将等待。
此外，NAND Flash的物理特性（页读块擦）及FTL的地址映射、垃圾回收机制，可能带来写放大、寿命压力和难以预测的尾延迟。传统LBA排布无法感知模型层、KV块及MoE专家的执行次序，导致物理介质上的数据布局未必适合并行读取。因此，AI SSD必须具备更低延迟、更高耐久性和更稳定的尾延迟，并通过主控、固件、中间件与推理运行时的协同，参与数据分层、缓存管理和预测式预取。
目前市场上AI SSD逐渐分化为两类：一是AI负载强化型企业级SSD，如英韧科技洞庭-N3X和华为OceanDisk LC 560，它们保持标准块存储形态，但针对高频缓存、模型加载进行性能优化；二是推理参与型AI SSD，试图让SSD从被动响应命令走向参与运行时管理。后者代表了更具颠覆性的技术路线。
三条路线之争：节点缓存、存储智能与跨层协同
在推理参与型AI SSD领域，群联、江波龙和寅谱-联芸代表了三种不同的技术哲学。
群联的aiDAPTIV方案专注于专用缓存SSD、内存管理中间件和工具链的组合。其核心逻辑是将SSD组织成GPU显存之外的高容量缓存层。当模型权重超过VRAM容量时，系统根据执行进度在SSD与VRAM之间流式搬运数据，不活跃数据下沉至Flash，被驱逐的KV Cache暂存于SSD以供复用。群联方案特点是产品边界清晰：专用高耐久缓存盘（最高100 DWPD）负责容量与写入，中间件负责数据交换，形成一种将云侧“以存储扩展计算内存”思路压缩至单机场景的直接部署路径。
江波龙则强调SSD主控自身的处理能力，采用“存储侧智能化”策略。其架构以SPU（Smart Processing Unit）为硬件执行层，iSA（Intelligent Storage Architecture）为软件决策层。iSA感知推理负载并制定分层与预取策略，SPU负责存储控制、硬件压缩、高速缓存及数据搬运。江波龙的WM8500 SPU引入存内无损压缩、HLC高级缓存和混合NAND调度，让SSD承接原本保存在DRAM中的温冷数据。这一方案旨在让控制器不再仅执行标准读写，而是承担压缩、冷热识别和调度，重点面向AI PC、工作站及端侧智能设备。
寅谱（Infplane）与联芸（Maxio）的组合则呈现出从AI Infra反向定义SSD数据路径的特征。联芸提供NAND Flash、主控及固件基础，寅谱则从大模型推理芯片、近存计算及操作系统协同出发，将计算侧的数据分层技术延伸至SSD。寅谱是其中唯一的AI Native企业，其“software-defined chip”理念并非用软件替代芯片，而是通过主控、固件、运行时和系统软件的协同，持续定义芯片能力。
寅谱-联芸方案围绕MoE专家、KV Cache和数值精度进行数据切分与冷热分层，根据模型执行过程调度专家权重与KV Cache，并将不同精度部分按热度特殊存放。其设计目标包括减少对主流推理框架的侵入，并适配多种CPU、GPU及NPU形态。这条路线将SSD视为云侧、边缘侧和端侧推理数据路径中的可调度层级，虽研发与验证成本高，但其AI Infra属性最为突出。联芸已公开表示，AI推理正推动SSD主控从传统“数据通道”转向面向Token成本的智能调度。
结语：完整数据路径的竞争未来
群联、江波龙和寅谱-联芸并非简单的技术替代关系，它们代表了三种不同的AI基础设施切入方式：群联侧重可部署的显存扩展，江波龙侧重存储侧的智能调度，寅谱-联芸则侧重计算与存储的端到端协同。这些方案可能分别适用于工作站、AI PC、边缘设备、企业节点和云侧基础设施的不同位置。
从产业长周期来看，AI SSD的门槛将不再局限于主控规格或峰值性能。真正决定产品能否进入推理主链路的，是企业能否建立从NAND介质、FTL、固件、驱动、中间件到推理框架和整机验证的完整协作体系。模型兼容性、缓存命中率、尾延迟、预取准确率及跨平台适配数据，均需通过长期工程实践积累。
Mooncake和CMX已在集群与Pod层面证明推理状态值得单独组织；AI SSD则将这一变化延伸至节点和设备内部。它不会取代HBM或DRAM，而是推动更细致的存储层级形成：最热数据留驻计算芯片，温数据进入DRAM或高性能Flash，冷数据下沉，并由软硬件共同决定迁移时机。随着AI产业从模型能力竞赛走向大规模应用，基础设施的核心指标将从FLOPS转向每瓦电力生成的有效Token数及上下文复用成本。在此趋势下，算力、网络、内存与存储的边界将日益模糊，AI SSD有望从外围设备真正跃升为AI Infra的核心数据路径。