随着AI应用走向规模化服务，企业对推理经济性的关注不再局限于单位Token生成成本。
举个简单的例子：你有两个AI助手，使用成本差不多。一个提问后很快就能回答，即使同时有很多人使用，也能保持流畅；另一个却经常需要等待，使用高峰期甚至会卡顿，你会选哪一个？
答案不难判断。这也说明，更低的Token成本不等于更好的AI服务。除了成本，响应速度、服务稳定性和任务完成效率，也在成为衡量AI推理经济性的重要因素。
AI服务，不能只看Token成本
不同AI应用，对推理性能的要求不同，AI智能体的情况则更加复杂。
智能体要把任务拆解为多个步骤，调用外部工具、读取数据，再根据执行结果继续推理。整个过程中，模型生成Token只是其中一个环节，工具调用、数据访问以及不同步骤之间的等待时间，同样影响最终的任务完成效率。
因此，评价推理服务时，需要区分几个不同的指标：
首Token响应时间（TTFT），衡量从提交请求到模型开始输出第一个Token的时间，直接影响用户对系统响应速度的感受。
Token生成速度，反映模型开始输出后持续生成内容的效率，影响长文本生成等任务的完成时间。
端到端任务完成时间，则进一步覆盖模型推理、数据访问、工具调用和业务处理等环节，更适合评价复杂智能体任务的整体表现。
此外，在实际生产环境中，对需要持续提供服务的AI应用，P95、P99（衡量响应延迟的百分位指标，分别表示95%和99%的请求能够在相应时间内完成响应，用于观察少部分请求的延迟情况）等尾延迟指标也值得关注。
AI任务越来越复杂，内存压力越来越大
响应速度和任务完成效率不仅取决于模型的计算性能，也受请求调度、内存资源和数据访问等因素影响。
比如，实时交互需要尽可能缩短响应延迟，批量生成任务更关注整体吞吐量。而AI Coding和智能体应用在处理复杂任务时，可能要读取大量代码、历史对话及工具调用结果，并在多轮交互中持续利用上下文信息。当较长的上下文与大量并发请求叠加时，推理系统要同时处理更多上下文数据，对高速内存的容量和管理能力提出了更高要求。
大模型推理过程中，KV Cache用于保存已处理Token对应的键（Key）和值（Value），避免后续生成时重复计算相关历史信息。随着上下文长度增加，所需的KV Cache容量通常也会增长。
通常KV Cache优先保存在GPU显存上，但显存容量太小。一旦多个长上下文任务同时运行，如何在有限的高速内存资源中合理安排数据，成了大问题。
一个行业正在探索的方向，是根据数据访问频率和性能要求，将部分KV Cache卸载到其他存储层级，并在需要时重新加载。
不过，数据在不同层级之间移动，会产生额外的传输和访问开销。如果卸载、加载策略与实际工作负载不匹配，反而可能增加推理延迟。
而且，不同类型的数据，对存储要求不同。例如，推理过程中需要频繁访问的缓存数据，对访问延迟和性能稳定性更加敏感；模型文件、大规模数据集等，则要结合加载频率、数据规模和访问方式，综合考虑存储容量、吞吐量与成本效率。
因此，规模型AI数据中心不仅要考虑存储设备的性能和容量，还需要判断哪些数据应当靠近计算节点，哪些数据适合放在容量更大的存储层。也就是说，企业级SSD呈现出计算优化型与容量优化型两个发展方向，来适应不同工作负载的需求。
计算型与容量型eSSD的分工与协同
其中，计算优化型eSSD(企业级SSD)部署位置更靠近GPU和AI加速器，重点满足高性能工作负载对低延迟、高IOPS及稳定性能的要求。
其应用范围包括模型加载、训练检查点保存以及推理缓存等场景。在支持KV Cache分层管理的推理架构中，计算优化型eSSD可以作为GPU显存之外的存储层，为部分卸载的缓存数据提供容量支持。
与之相对应，容量优化型eSSD主要面向大规模数据存储需求。
容量优化型eSSD通过平衡存储密度、能效、速度和可靠性，支持AI数据湖等容量密集型场景。对于这类工作负载，要看访问延迟，更要关注大规模部署时的空间和成本效率。QLC NAND闪存技术是其中的重要支撑。
通过在每个存储单元中存储4比特数据，QLC NAND提高了存储密度，为容量优化型SSD提供了技术基础。在适合其性能和写入特征的应用中，QLC SSD能够帮助数据中心平衡容量、能耗和部署空间。
围绕计算优化型与容量优化型存储的不同需求，闪迪提供了相应的企业级SSD产品。其中，面向高性能、低延迟的计算密集型场景，采用PCIe 5.0接口的SANDISK® SN861 NVMe SSD，容量高达16TB，并已获得NVIDIA GB200 NVL72系统认证及OCP Inspired™认证。面向大规模数据存储需求，基于UltraQLC™平台的SANDISK® SN670 NVMe SSD，单盘容量高达256TB，旨在为AI数据湖及数据准备等场景提供高容量、高吞吐的存储支持。
最后
Token经济学的关注点从单位生成成本，延伸到响应速度、任务完成效率和服务稳定性。
这对AI基础设施提出了新要求。计算、内存与存储资源要根据不同工作负载合理配置。对于存储而言，计算优化型与容量优化型eSSD各有所长，可以满足不同的数据访问需求，为提升AI基础设施的整体效率提供支持。
