数据存储产业服务平台

别让内存限制了模型的想象力!

这是1月15日XSKY 产品战略发布会的预热广告:别让内存限制了模型的想象力!

如果单纯看文字,似乎这是和内存有关的产品发布,作为软件定义存储的代表厂商xsky业务以纯软件为主,莫非xsky要转型内存硬件的业务?

答案在我看来肯定是否定的!xsky不会做硬件,更不会做内存硬件!

所谓“不让内存限制了模型的想象力”,xsky意欲何为呢?会发布怎样的产品呢?在我看来,大概率与KV Cache,也就是以存代算有关,借助KV Cache存储,对于大模型的中间计算环节进行缓存,以存代算提高长下文推理、多轮对话推理的内存资源不足的问题,通过支持vLLM,提高AI大模型推理部署的效率。

此次xsky产品战略发布,大概率与此有关。

未经允许不得转载:存储在线-存储专业媒体 » 别让内存限制了模型的想象力!