数据存储产业服务平台

从算力堆叠到Token经济,NAND闪存的价值重塑

如果把AI数据中心看作一座Token工厂,GPU很重要,但决定这座工厂产出的不只是GPU,数据的存储、流动与调用,同样会影响整套系统的运行效率,由此NAND闪存的价值也开始被重新计算。

闪迪公司工程高级副总裁Mrinal Kochar也观察到存储在AI数据中心中角色的变化。他指出:“尽管GPU、CPU和AI加速器频繁受到媒体关注,但存储正在经历属于自己的复兴。无论是配置与优化方式,还是数据中心机架内的物理部署位置,都在发生深刻的变革。”

从有多少GPU到生产多少Token

Token是模型处理输入和生成输出的基本单位。一次推理服务,从用户输入到模型生成答案,都伴随着Token的处理和生成。

当大模型进入规模化推理阶段,基础设施关注的问题也从单纯扩大算力规模,进一步转向如何提高算力的实际产出效率上,不能让昂贵的GPU为了等数据而空转。

围绕Token,一套新的经济性衡量逻辑形成。每Token成本、单位功耗下的Token产出等指标,开始提供与单纯算力规模不同的观察角度,即存储等基础设施投入,最终能够以多高的效率转化为AI服务。在这套逻辑下,存储开始影响Token的生产链条。

存储为什么开始影响Token成本?

AI带来的一个重要变化,是要处理和保存的数据越来越多。尤其进入推理阶段,长上下文、高并发以及Agent推动KV Cache规模持续增长。而离GPU最近的HBM和DRAM容量有限、成本较高,很难承载不断扩大的KV Cache。

因此,AI系统开始将部分KV Cache转向SSD等更大容量的存储层级,在需要时再重新读取。

但数据放得下之后,能不能足够快地送回来?存储距离计算越远、数据访问路径越长,GPU等待数据的可能性也越高。如果为了降低成本而把数据全部放在远端大容量存储中,又可能影响数据供给效率。

于是,AI数据中心的存储开始出现更加明确的分工——一部分SSD向GPU靠近,承接KV Cache等需要频繁访问的数据,强调低时延、高IOPS和高并发。

与此同时,AI训练和数据准备还需要保存、读取规模庞大的数据集,这类数据不需要全部紧邻GPU,却对存储容量、密度、吞吐和能效提出了另一类要求。

这也对应了NAND闪存正在形成的两条企业级SSD演进路线——计算优化型SSD和容量优化型SSD。

两条SSD路线,对应两种Token经济账

第一条路线,是让NAND更靠近计算。计算优化型SSD部署在GPU和加速器附近,围绕低延迟、高IOPS、高并发和稳定性能进行优化,可用于模型加载、检查点保存和推理缓存等场景。随着推理与Agent应用发展,KV Cache(键值缓存)成为近计算存储新的重要负载。

Mrinal Kochar也表示,推理与AI智能体的普及,让“KV Cache(键值缓存)卸载作为第二类应用场景应运而生,现已成为NAND闪存在AI数据中心领域里最强劲的发展机会之一。”在他的判断中,计算优化型NAND闪存正在占据DRAM与传统存储之间的生态位,通过承接卸载的KV Cache,为更大上下文窗口提供存储空间。

SANDISK® SN861 NVMe SSD

在这一方向上,闪迪面向计算密集型场景推出了SANDISK® SN861 NVMe SSD。该产品采用PCIe 5.0接口,容量高达16TB,并且针对随机读写、低时延和能效做了优化,支持1或3 DWPD。其中E1.S版本已经通过NVIDIA GB200 NVL72系统认证。

这些特性背后的逻辑不是单纯让SSD跑得更快。对于计算优化型SSD而言,随着存储越来越靠近GPU,并承接推理缓存等AI负载,数据能否及时供给GPU、可复用的数据能否被快速调用,也开始影响计算资源的实际利用效率。

另一条路径,是用更大的存储容量支撑不断增长的AI数据。

AI训练需要使用大量数据,随着模型和数据集规模扩大,数据湖要保存的数据也越来越多。但对AI而言,仅仅存数据还不够。训练过程中,GPU需要持续从数据湖读取数据,因此大容量存储还要兼顾数据读取和传输效率。

但是当数据规模越来越大,能存下的同时如何控制成本、空间和功耗,这是一个问题。容量优化型SSD就是面向这一需求,不以极致低时延为首要目标,更强调大容量、高密度和能效,让更多数据能够以相对合理的成本保存在SSD上,并持续供给AI计算。

 SANDISK® SN670 NVMe SSD

SANDISK® SN670 NVMe SSD对应的就是这一方向。它基于UltraQLC™平台,该平台将BiCS8 QLC CBA NAND、定制化控制器和系统调优结合,使得闪迪SN670单盘容量高达256TB,主要面向高速AI数据湖以及AI数据准备等大容量场景。

最后

NAND闪存已经进入Token经济的计算公式,当数据中心成为Token工厂,衡量NAND价值的不再只有每TB成本、IOPS和带宽。计算优化型SSD通过提高数据供给效率,容量优化型SSD通过提高存储密度和能效,两条路径最终都指向同一个问题:如何降低Token生产背后的基础设施成本。

从DOIT对AI基础设施产业的持续观察来看,当AI基础设施从算力规模扩张走向系统效率优化,Token提供了一个观察基础设施投入与AI服务产出关系的新视角。GPU依然重要,存储也开始参与Token生产效率的优化,对NAND闪存而言,其价值正在从容量、性能等传统指标,延伸到对整套AI基础设施效率和成本的影响。

未经允许不得转载:存储在线-存储专业媒体 » 从算力堆叠到Token经济,NAND闪存的价值重塑