数据存储产业服务平台

PCIe 6.0 为什么是 AI 训推的必然选择

PCIe 6.0企业级SSD,是现阶段乃至未来几年最适合AI训练与推理的SSD存储方案,相较当下主流的PCIe 5.0,优势极为明显。支撑这一结论的是三组事实——其一,带宽翻倍:最大读写带宽从约14 GB/s提升到约28 GB/s,在盘位受限的8卡服务器里,KV Cache重载时间直接减半;其二,平台与产能同向:NVIDIA Vera Rubin、AMD Venice原生支持PCIe 6.0,而HBM在未来2–3年持续紧缺、价格上行,把数据下沉到ESSD是现实解法;其三,收益可量化:训练空转、推理时延、等效GPU用量与单机成本,每一项都非常直观的收益数字。

一、AI 撞上的不是算力墙,而是内存墙

2026年AI算力仍在高速迭代,但最先撞墙的是内存。Micron在Hot Chips 2026上给出了一组对比:过去两年AI算力以约3倍节奏提升,HBM带宽只以约2倍节奏增长,每一代新GPU问世,这个缺口都在拉大。结果很直接——GPU多数时间不在计算,而在等数据:训练时Checkpoint写入让GPU空转,推理时首Token延迟(TTFT)和Token间延迟居高不下。

存储层级之间的能力差距是数量级的:HBM3E带宽约8TB/s,单卡192–288GB;DDR5约512 GB/s;PCIe 5.0 SSD约14 GB/s;PCIe 6.0 SSD约28 GB/s。带宽差达数百倍,但技术目标不是追平差距,而是把数据放对层级——频繁访问的留在HBM,几分钟内不再用的下沉到SSD。

二、KV Cache 把 HBM 挤爆了

训练时代的内存墙是 Checkpoint 太大,推理时代则是 KV Cache 太大。32K、128K 甚至 1M tokens 的长上下文已是 Agentic AI、代码助手、企业知识库的标配。KV Cache 随上下文长度近乎线性增长:128K 上下文的缓存往往是模型权重的数倍,1M token 更是高达数百 GB,单张 HBM 的 GPU 装不下多路并发。

2026 年 USENIX FAST 26 的一批论文给出了同一个答案:KV Cache 的访问并不均匀,存在明显的热度分层——一部分 KV 反复被读,另一部分写进去就再没人碰。只要预取、调度、重算的策略做对,SSD 就能以很小的性能代价,接下 HBM 装不下的那部分数据。CacheSlide 把智能体工作流吞吐提升 3.5–5.8 倍、写放大降低 3.11–3.62 倍;Bidaw 让多轮对话延迟降低 3.58 倍、吞吐提升 1.83 倍;华为云 AITURBO 在生产环境把 Checkpoint 写提速最高 5.9 倍;PPC 把模型权重加载延迟降低 79%。

工业侧同样验证过。2026 年 10 月先进存力大会公开的 DeepSeek-V4 与 vLLM 集群实测显示:同一份 KV Cache 分别落在“纯 DRAM”与“小容量 DRAM + 高速全闪”,吞吐基本持平,但有效缓存容量相差 107 倍。原因是单轮请求中 KV 读取只占约 28%,其余约 70% 花在 GPU 解码计算;显存自带的前缀缓存承担了 87%–91% 的命中,闪存层主要在内存耗尽的边界兜底。

真正拉开差距的是容量耗尽后的“悬崖效应”:纯内存方案在长会话下触发“驱逐—重算—再驱逐”的正反馈,极端测试点命中率从 0.52 跌到不足 0.01;分层方案稳定在 0.95 附近,单轮整体耗时相差 2.62 倍。

但这套架构有一道硬门槛:SSD 带宽必须高于业务 I/O 速率,闪存层兜底才不会反噬性能。PCIe 5.0 SSD 在并发拉满、命中集中到闪存层时容易触碰瓶颈,这正是 PCIe 6.0 的价值所在。

三、HBM 这条路已被产能锁死

面对缓存膨胀,最直觉的方案是加 HBM,但 2026 年的现实是这条路已经锁死:SK 海力士、三星、美光全年 HBM 产能全部售罄;2027 年 HBM4 产能已被客户提前锁定、实质售罄;2026 年 DRAM 供应增长仅 16%,远低于历史均值;Rubin Ultra 2026 年的 HBM 配置因产能约束较原方案减少约 33%。愿意付溢价,也买不到足够的量。

正确的做法不是绕过 HBM,而是让 HBM 只承载当前活跃的计算数据,把冷/温 KV、Checkpoint、模型权重库下沉到 eSSD。

四、PCIe 6.0:带宽翻倍,而且已经落地

PCIe 6.0 采用 PAM4 信号与 FLIT 编码,把 x4 带宽从 16 GB/s 提到 32 GB/s,并且这次提升已由实测验证,不再停留在规格层面。

表 1 PCIe 5.0 与 6.0 企业级 SSD 实测性能对比

image.png

平台侧也已就绪:NVIDIA Vera Rubin 的 Rubin GPU 对外为 Gen6 x16、双向 256 GB/s,Vera CPU 原生支持 Gen6 / CXL 3.1;AMD EPYC 9006(Venice)单路提供 96 条 PCIe 6.0 lane,内存带宽 1.6 TB/s。从 GPU DMA 到总线再到 eSSD,整条数据路径在 2026 年完成代际升级。

还有一层常被忽略的放大效应:一块 NVMe 通常用 x4、一块 GPU 用 x16,而主流 8 卡服务器一般只有 8 个盘位,每块 GPU 实际只能分到约 1 块盘。2 块盘聚合下,PCIe 5.0 约 28 GB/s,PCIe 6.0 提升到约 56 GB/s——不增加盘位,缓存重载总时间直接减半。

五、芯展速 PT300 系列:把带宽红利落进两个场景

场景一,凌晨 3 点的一次训练存档。70B 模型每训练一段时间,就要把约 1.2 TB 的完整状态写进 eSSD,防止中断后前功尽弃。用主流 PCIe 5.0 eSSD 约需 100 秒,这 100 秒里 8 张 GPU 全部闲着;按每 30 分钟存一次档计算,一个月单台服务器白等约 40 小时。换成 PT308E——单盘顺序写入最高 24,700 MB/s,同样的 1.2 TB 约 49 秒写完,GPU 等待直接减半,一个月省回约 20 小时有效训练时间;模型越大省得越多,405B 约 120 小时,1T 超过 250 小时。存档是持续高频的写操作,PT308E 按 3 DWPD 设计,训练场景远低于这个强度,用满 5 年质保也没有寿命焦虑;自带断电保护,保证写到一半的数据也能完整落盘。

场景二,上午 10 点的一个长问题。企业知识库助手收到一个 128K 上下文的长问题,模型“记住”这些材料靠 KV Cache,显存装不下的部分放到内存和 eSSD。从按下回车到看到第一个字,这段等待就是 TTFT。缓存调用是一条三级链路:显存里能直接找到的最快(约占 87%–91%),内存次之,剩下的冷数据要从 eSSD 读回——最后一环正是 PCIe 6.0 与 5.0 拉开差距的地方。PT308P 单盘读取 28,000 MB/s,同一份缓存的读回时间直接减半;每秒 680 万次随机读取和 45/10 微秒的响应,保证高峰时排在队尾的请求也不被拖慢。

把这笔时间账换算成吞吐:一个请求总共 1 秒、其中约 300 毫秒在等 eSSD、700 毫秒在计算,eSSD 快一倍后总时长降到约 850 毫秒,一张 GPU 每秒能多服务约 18% 的请求——同样的用户量,可以少用约 15% 的 GPU。

容量层面同样成立:业界公开的集群实测中,“内存 + 闪存”分层把可用缓存容量扩大 107 倍。PT308P 单盘最大 30.72 TB,8 块就是约 246 TB,足以接住所有从显存和内存溢出的缓存,而 28 GB/s 的单盘带宽把这条底线守住。

六、两笔账:能效与容量

能效。芯展速实测,PT300 系列每瓦功耗提供的带宽较上一代 PCIe 5.0 eSSD 提升一倍;行业公开口径也一致——Micron 的 PCIe 6.0 产品顺序读能效为每瓦 1,120 MB/s,恰是其 PCIe 5.0 产品(约 560 MB/s)的 2 倍。需要说明的是,规格书上“随机读/写 < 40 W”标的是极端负载下的功耗上限,不是典型工作功耗,能效翻倍按典型功耗实测得出;空闲时低于 5 W 则是实打实的规格。

按等带宽口径算:取 56 GB/s 总读取带宽作基准,PCIe 5.0 要 4 块盘,PT300 只要 2 块——100 台服务器少用 200 块盘,故障点和散热压力同步减半。这不是 8 卡服务器的需求上限,8 盘满配 PT300 的聚合读取带宽可达约 224 GB/s。100 台集群的存储部分还可省约 5 kW 功耗;在供电有上限的 AI 机房里,eSSD 省下的每一瓦都能让给 GPU。

容量。HBM 越贵越缺,把冷数据挪到 eSSD 的价值就越大。一台 8 卡服务器把 500 GB 冷缓存从 HBM 挪到 PT300,容量与成本结构立刻改善;换成下一代 HBM4,收益还会进一步放大。HBM 越紧张,这笔账越划算。

结语

训练时,PT300 把一次 1.2 TB 的存档压进 49 秒,让 GPU 少等一半时间;推理时,它把缓存读回减半、响应压到微秒级,让第一个字来得更快;空闲时功耗不到 5 W,把电留给 GPU;HBM 紧缺时,它用 eSSD 的容量与成本结构,接下从显存和内存溢出的缓存。

2026 年 11 月 19 日,芯展速 Gen6 SSD 及 Retimer 将在「AMD 第六代 EPYC 峰会」现场正式亮相。

关于芯展速®:

芯展速®(GENSTORAIGE®)以“做AI原生存储,让数据通向智能”为使命,是国内领先的同时打通存储(Storage)、连接(Connectivity)、方案(Solutions)三层的硬科技公司,提供企业级SSD、PCIe Retimer/Redriver连接芯片及AI训推加速方案的全栈产品组合。

未经允许不得转载:存储在线-存储专业媒体 » PCIe 6.0 为什么是 AI 训推的必然选择