芝加哥大学教授、Tensormesh 联合创始人兼 CEO 江鋆晨，聊聊押注 ChatGPT、把论文做成开源基础设施，以及模型为什么不该把同一份输入读两遍。

江鋆晨是芝加哥大学计算机系教授，带队做出了 LMCache，为大模型推理管理 KV Cache 缓存，可与 vLLM 配合使用。2007 年，他通过数学竞赛保送清华，入学后考进姚班，后来赴 CMU 师从张辉，研究网络视频传输。2023 年，他把实验室的方向从视频转向大模型：下一种值得存储、传输和复用的数据，可能是模型自己生成的内部记忆。

他创办的 Tensormesh 负责将 LMCache 商业化。模型处理过一本书或一份报告后，系统把计算结果以 KV Cache 的形式存下来，下次遇到相同内容时就能复用，减少重复计算。他们希望进一步做出独立于推理引擎、存储设备和 GPU 的 AI 缓存层。访谈时，公司刚完成新一轮 2000 万美元融资，英伟达和 AMD 均参与投资。

在这期深度对话中，我们讨论了：

  1. 从数学竞赛保送清华，再考进只考数学题的姚班
  2. 把算法做快后，老师让他证明性能上限，他却发现自己更想继续突破
  3. 2010 年，Netflix、HBO、BBC 都要做视频流媒体，原本传网页的 HTTP 成了共同选择
  4. 为什么写 3 个月视频播放器，比在微软研究院的经历更帮助他的研究
  5. 把博士高阶课程当历史课：读经典论文，是为了判断下一个重要问题
  6. 2023 年初，学生连 SIGCOMM 截稿都不想赶了，他最终决定一起转向大模型
  7. 从网页时代的 CDN、大数据时代的 Hadoop，到他押注的 KV Cache 数据层
  8. 网络实验室为何选中 KV Cache：文本太小，视频未成熟，模型记忆足够大
  9. 论文假设的 KV Cache 存储系统，工业界根本没有，于是他们做了 LMCache
  10. 英伟达、AMD 同时参投 2000 万美元融资，Tensormesh 如何赶在大公司全面入场之前

这期对话给我们的最大启示：

  1. 理论研究厘清能力与上限，江鋆晨更想把性能继续往上推。

    本科在网络实验室做研究时，他把一个算法的速度提高了数倍，兴冲冲地拿去问姚班的一位老师有没有意义。老师认可改进，却紧接着问他，能不能证明在某些条件下，性能最多只能提高到某个程度。江鋆晨的反应是：“我不关心这个东西，它的理论上限是什么，我关心的是它能不能继续提高。” 证明哪些事不可能发生，是理论研究深入理解问题的一种方式，但他发现自己更喜欢突破限制。这是他意识到理论不适合自己的一个原因，网络系统则给了他继续做快、做好的空间。

  2. 3 个月的产品开发，比 3 次研究院实习更有助于江鋆晨的研究。

    他当教授前有 4 段工业界经历，3 段在微软研究院，另 1 段在导师张辉的公司写视频播放器。导师让他整个暑假先别想论文，就去做产品：“我就是去当工程师的，三个月就把自己完全当作工程师来用。” 写完播放器，他才知道哪些优化真正能落地，哪些受制于工程条件，哪些问题是各家播放器共有的。论文会告诉你别人认为哪些问题重要，真正做产品才能看到一线工程师每天在争论什么。他建议学生去与研究相关的行业实习，先用工程师的心态融入，回来后再思考哪些问题值得研究。

  3. ChatGPT 是 AI 的互联网时刻：圈外人也开始想用它。

    2023 年初，江鋆晨和不少同事一样，觉得 ChatGPT 可能只是一阵热潮，没必要为了一个应用改变整个实验室的方向。学生却不断来问相关问题，甚至连 SIGCOMM 截稿都不想赶了。真正让他改观的，是餐馆邻桌的人也在聊 ChatGPT：它第一次让 AI 有了人人都想用、随时都可能用的潜力。距离终身教职评审还有 2 年，他让学生收尾旧论文，再去探索大模型推理：“我评不上终身教职也无所谓，因为这个东西真的是非常重要。” 他判断新一轮基础设施机会的依据，是应用可能普及到多大范围。

  4. 每次大规模应用普及，都需要新的数据层；他押注 KV Cache。

    网页时代有 CDN（内容分发网络），视频普及后，CDN 又围绕视频重新发展，大数据时代则出现了 Hadoop 和 Spark。在江鋆晨看来，当一种应用被足够多的人足够频繁地使用，就需要一层让数据分发、共享和分析更高效的基础设施。他对 AI 的预测是：如果 Transformer 继续占据主流，模型生成的内部记忆，可能成为比人类可读内容更重要的数据类型。工业界的惯性让他相信这一架构还会延续。谈到很多人用完就丢的 KV Cache，他说：“在我们看来，KV Cache 就是金子，就是未来的石油。”

  5. KV Cache 能让模型复用已经算过的内容，体量也足以成为网络问题。

    江鋆晨把小说和改编电影作了个类比：相比逐字读书，人可以通过电影更快接收故事，模型也有自己能直接使用的数据形式。“其实 KV Cache 就像是给大模型看的视频，你可以这样想。” 他随即提醒，这个比喻并不完全恰当，因为 KV Cache 是模型自己生成的，视频却不是人脑生成的。网络实验室选它，还有现实原因：2023 年时的输入文本规模太小，多模态和视频生成又不成熟，难以形成他们想研究的网络挑战。KV Cache 则体量大，可以存储、传输和复用，正好用得上他们做视频网络的经验。

  6. LMCache 的起点，是补上论文假设工业界已经有的存储系统。

    实验室先做了压缩 KV Cache 的 CacheGen，又做了支持非前缀复用的 CacheBlend，然后去工业界介绍，希望把论文里的优化部署进去。对方却问：“什么是 KV Cache 的存储系统？我们没有这个东西。” 当时他们接触的推理引擎把缓存留在 GPU 内存里，一次请求结束就丢弃。江鋆晨等不及工业界自己补齐这一层，就带队做出并开源 LMCache，让研究成果有地方可用。他觉得这次冒险可能赌对了：等一些公司真正需要这套系统时，LMCache 的功能已经比较完善，对方开始直接复用，甚至转售它。

  7. 用户盯着模型写答案，计算开销却可能主要花在读输入。

    江鋆晨区分了两个阶段：Prefill 是处理输入，Decoding 是逐个生成输出。在他看来，许多新推理芯片着重优化用户能直接感受到的生成速度，但处理输入可能才是算力大头。他的估计是：用户感觉 90% 的时间都在等模型生成，实际 90% 的算力却花在处理输入上。他随即承认，这没有直接统计支持，是个人判断，他本人也不做硬件。Agent 的输入可能有几十万到几百万个 token，输出通常只有几千个，最多几万个，而输出又会成为后续输入。他举的具体例子是改代码：如果 90% 的输入都是模型之前处理过的程序，复用那部分 KV Cache，就能跳过那部分重复计算。

  8. 把 KV Cache 与引擎、存储和 GPU 解耦，才有机会成为公共标准。

    江鋆晨用互联网的 IP 层作参照：生态要一起发展，就需要一些各方共同遵守、相对稳定的接口。今天与 OpenAI API 兼容的请求格式已经扮演了类似角色，KV Cache 也可能随着跨服务复用增加，成为这样的一层。LMCache 因而要适配不同推理引擎、存储设备和 GPU，让用户可以随时更换组件，同时保证性能足够好。这不等于 KV Cache 脱离了模型，因为缓存仍由模型生成。团队不可能自己写完所有适配，合作伙伴愿意一起投入，正是因为接入 LMCache 能增加与其他厂商配合的机会。

  9. 英伟达和 AMD 各自看中同一层技术，Tensormesh 要赶在巨头全面入场前做强。

    对这轮 2000 万美元融资，江鋆晨强调：“Nvidia 对这个技术感兴趣，和 AMD 没有任何关系；AMD 对这个技术感兴趣，也不是因为 Nvidia 感兴趣。” 两家公司各自认为，做好 KV Cache 的存储、传输和优化，是充分发挥硬件性能的关键因素之一。投资 Tensormesh 也不意味着它们停止内部研发。江鋆晨最难适应的，是没有论文截稿日期，也没有强劲的直接对手逼着自己往前跑，但他判断大公司可能不到 1 年就会全面入场。Tensormesh 必须在那时至少能与它们平起平坐。

  10. 和学生一起创业，早期团队可以沿用多年合作积累的信任。

    做 LMCache 的学生快毕业了，如果不成立公司，项目就很难持续；单靠实验室，也撑不起面向工业界的大型基础设施。一起创业后，师生变成平等的联合创始人，但学生相信他的方向判断，他相信学生的技术能力，这种信任保留了下来。学生说某个想法暂时做不了，他能相信那是技术判断，不是在找借口。谈到学生本可以去别处拿高薪，他说：“我最大的压力是，别让他们浪费了这次机会。”