主持人： 月球大叔
嘉宾： 江鋆晨

来源：中文字幕。正文依据字幕合并分段并补充标点，保留口语、重复与片头摘录。

说话人依据上下文推定，尚未逐段核对音频；标有 † 的段落存在归属疑点。时间戳对应原字幕，同一条字幕中的短问答可能使用同一个时间戳。

目录

片头摘录

江鋆晨（嘉宾） (00:00:00) †

我连特奖那个评的那种会都不会去。哈哈哈。在在下面当观众我都觉得浪费时间啊。

月球大叔（主持人） (00:00:06)

我们今天就喜欢来跟罪魁祸首聊一下。

江鋆晨（嘉宾） (00:00:09)

哈哈哈当年 AI 都不是个东西哈哈哈。专门为了北京奥运会做直播一套系统。kv cache 它就是金子，它就是未来的石油。

月球大叔（主持人） (00:00:19)

这个赌我们可以打。那我们之后看一看这个到底结果是什么。

江鋆晨（嘉宾） (00:00:23)

在工业界直接去写产品代码，去写做工程的那次，对我研究的帮助是最大的。我说投资人，这是一个很多教授都踩过的坑。

嘉宾介绍与存储价格上涨

月球大叔（主持人） (00:00:36)

在硅谷采访 100 个有意思人。这里是月球大叔。今天我们请到了江鋆晨。鋆晨他们的公司最近刚融到了 2,000 万美金的融资。鋆晨自我介绍一下自己吧。

江鋆晨（嘉宾） (00:00:47)

啊大家好，我叫江鋆晨啊。我是芝加哥大学计算机系教授，同时也是 Tensormesh 的 CEO 和 Cofounder。

月球大叔（主持人） (00:00:55)

补充一下，鋆晨同时博士毕业于 CMU，本科毕业于清华姚班。我其实很早就读过鋆晨的论文，因为我博士期间也读的是网络多媒体。然后这两年在硅谷，看到鋆晨从网络多媒体转到了大模型，甚至开始了创业。所以说就特别想了解一下鋆晨整个的过去的心路历程，看看有什么新的认知能够分享给大家。

江鋆晨（嘉宾） (00:01:16)

很多故事可以分享。

月球大叔（主持人） (00:01:17)

好的就喜欢听故事。哈哈。在聊这些事情之前，我们先来聊一个劲爆的话题吧，就是最近的存储价格涨得特别多。哼你们过去两年一直在做的就是 KV cache 相关的创业，cache 缓存存储嘛，一看就是息息相关。你怎么看待这一波存储的价格的暴涨？

江鋆晨（嘉宾） (00:01:36)

首先存储价格往上涨这是商业规律啊。纯粹是啊供需不平衡，就是大家有很多需求要买更多存储设备，但是存储设备又没有那么大没有那么多。但是关键问题是，大家有没有想过，为什么需要那么多存储设备？是吧啊。其实这是一个非常有意思的问题。在 AI 时代，所有人都啊大家的注意力都在计算算力上面，没有人去考虑这个啊存储的能力和存储的这个这个啊它的它的它容量。但是这是很有意思的问题，算力越多，存储需要的要求也会越多。然后可能大家一开始没有意识到这个问题，所以现在现现这是个啊市场需要需要纠正一下这个价格过高这很正常的事情。但是我觉得很很有意思的事情，就为什么存储会在 AI AI 时代变成很大的问题？那我们做的东西呢，包括 KV Cache 这些也是模型在生在啊在在计算和运行过程当中生成的数据。然后这类数据呢，就是现在对存储压力非常大的一个原因。所以这我们之后可以再说，但是我觉得这这有可能我们是导致这个价格上涨的原因之一。

月球大叔（主持人） (00:02:43) †

对。我们今天就喜欢来跟罪魁祸首聊一下。好吧对行。

进入姚班与发现研究兴趣

月球大叔（主持人） (00:02:48)

那我们之后会细聊这个话题。我们先从俊鋆晨过去的求学呀读书生涯来看一下鋆晨的一些经历吧。就是从鋆晨的官方网站上能看到，鋆晨应该是 2011 年从清华本科毕业的，也就是 2007 年参加的高考对吧？

江鋆晨（嘉宾） (00:03:03)

严格说是没有高考，我是保送的哈哈哈。

月球大叔（主持人） (00:03:08)

细说一下是怎么保送的这一点啊。

江鋆晨（嘉宾） (00:03:10)

我是数学竞赛保送的。然后 07 年啊，07 年进清华，所以是 06 年的数学竞赛。然后啊反正到了到了某个级别，他就就可以保送了嘛。

月球大叔（主持人） (00:03:23)

对然后进了清华之后的话，你是又怎么去的姚班呢？

江鋆晨（嘉宾） (00:03:27)

啊这个是很有意思。我是读数学竞赛的，所以啊进清华的这个一开始的系是数理基科班，就是数学系和物和物理系放在一起的那个本科本科系啊。然后当当去了之后发现，数理基科班人好多啊。但是同时计算机系有一个新的一个一个班。我当时我也也不认识姚期智是谁，就就有知道知道数这这计算机系要开一个新的班，然后啊可可能可能可能要要要再考一次，然后就去考了。特有意思的是，他这考试就只有考数学，他就是考数学啊，而且数学就是考数学竞赛的东西。所以但当然我不知道现在姚班怎么考，但是当年他是只考数学竞赛啊，然后面试也是面试数学竞赛题。进了之后呢，才发现这不是个纯粹计算机系，这是个理论的一个一个班。这这姚期智当时回回国的时候就觉得啊，中国的这个理论的做理论的这个技术啊相对比较薄弱，他就是想搞个专门做理论的班，所以进去考试全是数学数学竞赛的题。

月球大叔（主持人） (00:04:27)

也就是全考了你会的东西。

江鋆晨（嘉宾） (00:04:29)

对正好撞到枪口上了。

月球大叔（主持人） (00:04:31)

对。然后进去之后的一个体验是什么呢？

江鋆晨（嘉宾） (00:04:34)

啊姚班是个很有意思的地方。姚班有一个就当当初一开始姚班开始的时候呢，其实并没有太强调说这个班要啊招的人要要符合某一类的这个特质，其实当时就是招招最好的人进去。但是呢 somehow 他考的就就就都是数学，所以所以招进去的人呢有一些是真的数学特别好的但也没有多少计算机系背景，就像我一样。然后有一些人呢是啊专门计算机背景进去当然这边编程特别好。所以所以这个班里面啊大家都聪明人，但是每个人特长都不一样。所以一开始的时候啊大家其实反而比较自由，因为每个人兴趣不一样，所以这个这班很难很难说这个这这这培养大家一定要往某个方向走。现在呢可能你说姚班智班好像什么 AR 班 AI 班什么的，这这这这大家也就分流的更细了。当时呢就是把最好的人放一起，你们自己野蛮发展去吧。是吧但是但是呢，他又有又有侧重。因为啊他招的他的他的课程设置呢其实也也非常非常合理，这就有有理论也有别人的他比比较平衡。

江鋆晨（嘉宾） (00:05:43)

但是呢他的班的这个辅导员和他这个这，一开始这个教授来管理这些学生，教授管管理科研，这个教授都是搞理论的老师，所以他当然侧重说希望你们可以走理论这条道路。但是他招人的时候也没有说啊一定只有对理论感兴趣的人才能进来。说实话我就是最后发现我对理论不感兴趣的人。我我我可以跟你说个故事，就是就我当时我意识到我不想做理论的一个一个一个事。就是啊当时有一个我我开始做科研的时候去了一个网络的一个组，然后这个组呢给我丢了个问题。他说他说你我说你你他他们觉得你去你适合做你你是姚班的你你会懂理论你懂算法，我这有个算法问题，你给提高一下性能。然后他确实提高性能了，我这这这把速度提高了多少倍我忘了忘了什么。但但这个算法很有意思，我当时想哎这是个算法问题啊，我有个算法上的突破。我就找了那个那姚班的一个一个老师，我说哎这东西你看有没有意义。他看了这个东西之后，第一反应是什么呢？

江鋆晨（嘉宾） (00:06:42)

他说哎你这有有 improvement 挺好，但是你能不能证明一下，在某些条件下，这 improvement 最多也只有这个？我说 i don't care about it。我不想我我不关心这个事儿，我我不关心这个东西它理论上限是什么，我关心的是它能不能继续提高。那这是我一个当时意识到的一件事情，就是做理论的那做理论其实更侧重的是你对这个问题理解到能不能深入，就你的深度能不能深到你能说出它到底有有没有哪些事情不可能发生的？它是 impossibility，它有有些事情不可能的，就是它给你这是一个上限啊。证明一个上限这这是理论理论人特别喜欢的。我不喜欢这个事，我喜欢突破极限。

月球大叔（主持人） (00:07:24)

这就是你在姚班发现了自己不喜欢理论之后转向了后来的网络系统研研究的一个原因是吗？

江鋆晨（嘉宾） (00:07:31)

这是部分原因，确实。我我当时只是觉得理论可能不适合我。但是啊为什么做网络这个完全是个机缘巧合。我做网络是啊其实从大一大二就开始做了。当时是系里面还不知道这个这这医院里面说每个学生可以分分一笔钱，如果他可以找到导师的话找到一个科研导师，我就给你分笔钱就给这个老师去带你啊。然后我当时几个就我有几个室友，其实啊我们我们说这这这行我们去找个老师。然后找找哪个老师呢？不知道就是没人认识。然后就把计算机系的所有老师按字母序，哈哈哈把那个这系主页上的这个这个老师名字一个个一个个列下去，这一个个打电话。我记得当时打前两个这人人都不接或者或者人都在外面出差，不知道不知道在干啥。但是第三个老师就接电话了，最后刘斌老师。刘斌老师呢，他虽然也在出差，但是他很热情的把我们介绍给他一个本科生他他一个博士生，然后一个博士生就带我们做。那个博士生最后最后带了我带我们做了做了 3 年。

江鋆晨（嘉宾） (00:08:34)

你像这唐毅，这他这个非常非常热情的博士生，虽然虽然他自己科研可能比较 struggle 但就没有做的做做做这这但是但但他这人非常非常热情。把我们从进实验室找课题，然后带我们写读读论文，写论文，这这都都都帮了非常非常多的忙。刘老师呢，本身也是个非常纯粹的人，他是纯粹做做研究的人。所以我觉得我非常啊非常非常开心一件事，就是在清华的时候啊，我虽然没有就主动要去找到说我到底喜欢做什么方向，但是我去了这个实验室，至少让我觉得哎，科研真的很有意思。你你这这老师不会不会说说你一定要写论文，你一定要干什么事情。就大家都非常这样挺放松的。然后对大家做这写 paper 都很鼓励，但是没有说说你一定要逼着你得多写 paper。这是一个我觉得这是非常非常开心的一件事情。我现在想想，这这当年在清华，本科生混在一群博士生里面做科研这是这是很开心的过程哦。

月球大叔（主持人） (00:09:34)

这个和有些清华同学的经历完全不太 Ion。哈哈哈有些清华清华同学身边的不少清华同学都在说，他们过去在清华的日子就是卷特奖，然后去卷分数然后但听你的话。话里话外的，就感觉那个时候是一个开开心心的姚班的一个本科生在到处学着都可以。

江鋆晨（嘉宾） (00:09:56) †

哎这这这这有个我觉得这是有原因的啊啊。并不是我我活的世界跟别人不一样，是因为我心态可能跟别人不一样。我是个啊我是个喜欢做自己喜欢做的事情，然后并不并不想去卷大家都都关心的那种东西的人。我觉得我有我一直有一个想法，就是你说大家这在大家同一个圈子里人其实大家都聪明人啊，大家也都是比较和这这兴趣也都是比较比较正常的。对吧你，如果你如果这这这四年都想打游戏，那那行那那那这个可能跟跟跟这个跟你的人生目标可能可能真的有些矛盾。但是如果如果是正常的就进清华或者进去好学校的这些这些这些本科生，其实他们兴趣点都是挺真都都好的。兴趣点只要你把你的啊你把你的热情你把你的精力全花在你自己想做一件事情上，虽然你不能做到特奖，虽然你不能做到 GPA 第一名，虽然你不一定能能能能在大众都觉得就公共的那个那个标准上面做到第一，但是你也不会做的太差这这像像我。我永远是这中游哈。这在姚班也是中游，在当时在上中数学班也是中游。哈哈哈。

月球大叔（主持人） (00:11:14)

但是你那个中游是在最好环境里边的中游对吧？

江鋆晨（嘉宾） (00:11:17)

对我就我就这点呢确实确确确实我我可能说有点偏颇。就是我觉得在你你在同你在某一个层次这这些好学生之间其实大家兴趣的点都差不多。你要去跟大家卷大家都关心的那个事呢那就太累了。特奖你要去卷卷特价，你也得有入场券的，你也得能到达某个程度之后才能去卷卷这个东西。就是啊不是每个人都能卷这种这种券的。我我我更希望去和自己卷我自己喜欢做的事。

月球大叔（主持人） (00:11:42)

所以说当时你是没有去参与特奖的一些……

江鋆晨（嘉宾） (00:11:45)

对没。我连我连特奖那个评的那种会都不会去。哈哈哈。在在下面当观众我都觉得浪费时间啊。

月球大叔（主持人） (00:11:53)

把这个播出去。哈哈哈。鋆晨觉得清华特奖当观众浪费时间。

选择研究方向与博士导师

月球大叔（主持人） (00:11:57)

哈哈哈那个我后来的话，你就通过这一次的一些网络系统的研究，进一步的就是去读 PhD 对吧？

江鋆晨（嘉宾） (00:12:08)

对。

月球大叔（主持人） (00:12:08)

读 PhD 的时候为啥没有选 AI？

江鋆晨（嘉宾） (00:12:11)

这个问题就跟你现在问啊，一个 PhD 同学为啥你读 PhD 的时候不选计算机不不不选计算机网络一样？哈哈哈当年 AI 都不是个东西哈哈哈。

月球大叔（主持人） (00:12:22)

有多不是个东西呢？

江鋆晨（嘉宾） (00:12:24)

哈哈哈不是。你知道我记得我我记得很清楚，我读 PhD 我不是我读本科最后一年，我还去过一次一个 NLP 的组。当时 NLP 的是这 NLP 还不是很火的东西。就是当时我还记得那个啊有一个有一个博士生还是博几的他当时还还还跟我这这组会上面跟大家说，哎我听到最近有个东西特别火，这个这个这这个东西肯定会变成未来，因为我特信这个东西，这个东西要深度学习。我哈哈哈。这一 10 年的时候。

月球大叔（主持人） (00:12:53)

10 年的时候 OK。

江鋆晨（嘉宾） (00:12:54)

对对就就就当那那个时候这 AI 还没有起来的时候其实那个时候还 AI 还没有起来。那个时候还属于叫计算机啊在美国这边是就 08 年金融危机之后嘛。啊然后 08 年之前都是都是网络啊，然后啊网络还是属于就是大家觉得计算机里面比较火的方向之一啊。当然大家都看得出，计算计算机网络这这个东西在因特网的这个这个最火的时时候 00 年左右就 2,000 年左右之后嘛那个是最火的时候，之后过了十年左右这个东西已经不不是那么火了，但是下一个火的东西还没看到，大家都没看到。这这你如果记得就 10 年那个时候就就这种状态，就大家还在等下一个下一火的东西什么时候出来。当然 AI AI 也不是那个时候就直接出来。那个时候我记得 10 年到 15 年的时候，是大数据和和云计算，然后啊大概到 1617 年的时候，再开始 AI 有那种啊视觉啊那种那种应用应用快出来。所以你如果问我 11 年的时候为啥不选 AI，我就我都不知道 AI 为什么会那么火。

月球大叔（主持人） (00:14:03) †

哈哈哈不不过因为我高考比较晚所以说那个时候应该在读初中和高中。哈哈哈完全不知道这个世界上发生了什么。对我我想一想啊。那个时候 2012 年的时候 AlexNet 才出来。但甚至说那时候出来之后很长一段时间大家还是不太认可 AI 和深度学习。

江鋆晨（嘉宾） (00:14:23)

不叫是不认可，就是大家大家觉得这这这这东西会火或者说做 AI 的人已经意识到深度学习。是像像我说的我我那个就当时那个那个就博士生在在在然后叫孙茂松老师做的一个博士生，然后啊这他他出去开会然后回来跟我跟我说这新闻一样，说这深度学习这个东西以后是未来，我们得做。然后然后然后我记得他什么是深度学习他都不知道。那个时候都是都是 SVM 嘛，是吧？pattern matching 这种这种这种东西的时候。

月球大叔（主持人） (00:14:52)

对大家都是从那个 SVM 还有 Linear regression 这些东西入门的机器学习，对吧没有深度学习那个概念。

江鋆晨（嘉宾） (00:14:59)

对。

月球大叔（主持人） (00:15:00)

后来的话，你就去了 CMU。

江鋆晨（嘉宾） (00:15:02)

对。

月球大叔（主持人） (00:15:03)

怎么选择了张辉做导师，怎么选择了网络系统这条船呢？

江鋆晨（嘉宾） (00:15:07)

首先网络系统这是个比较像说我我说实话，我在我在那个那个清华的组里面做网络系统做的挺爽的，我就想继续做网络系统了。但是啊我当时在清华做的虽然那个组让我让我感觉氛围非常好，但是那组做了做了那网络安全网络对网络安全上上的东西，然后我我就特别不喜欢安全。因为我觉得安全啊隐私啊这种这种这种这种东西，就这也也是个也也是个不让人做做什么事的东西，就他禁止你做什么，他禁止你说你一定要严谨的证明你这一定安全。这这我我我不喜欢这这种严谨的，我我喜欢突破限制。哈哈哈所以。所以我当时升 PhD 的时候呢，说实话多数给我发 offer 的地方都是做安全的老师。因为他只是他他一看哎你以前做过安全，你肯定以后就要去做安全。没他们都没意识到我不想再做安全了。所以我当时 CMU 录取 CMU 录取是个是 committee 录取的，所以并没有指指定说一定要是哪个导师。当时我去 CMU 叫就他们的就就所谓博士生有个一开始参观日这个东西，就是收了个博士生，然后去去那参观一下。

江鋆晨（嘉宾） (00:16:21)

当时我 CMU 做网络的几个老师我都聊了啊。但是其实其实我记得当时有有有些学长都建议我去聊一下张辉老师。张辉老师那个时候其实在开公司，他在硅谷开公司。

月球大叔（主持人） (00:16:33)

2011 年就开始在硅谷开公司？

江鋆晨（嘉宾） (00:16:34)

对他从他们公司从 04 年就开始开了，很早所以哎。我不知道 04 还是还是 07，反反反正 2,000 年初就开始开了。所以他那时候呢我我其实不知道，后来我才知道，他其实那个时候准备回四年没有继续当继续当老师了。所以我跟他联系了他，他说哎你可以你可以过来。他给我买了张机票，到加州来见了他一次。我对我我这件事情让我印象最深刻的是，张老师这整个过程没有说太多他觉得我应该做做什么或者他觉得他喜欢做什么啊。他他让他让我在那个会议室里面在板上跟他讲了一通我想做什么。我当时我当时非常激动，我说我想我想做这个，我想做那个，我想做那个啊。张老师听了听了半天之后呢，当然他我我猜他心里在笑，这这是什么东西，这这做不了。但是但他让我讲的这个这过程，是因为他觉得我只有听你讲，才能知道你想做什么，或者你你喜欢什么样的东西。我觉得这点他还看的挺准的。我觉得他之后一直在跟我说的，就他做的他虽然他有他有想做的方向，但具体这个方向里面怎么做啊，我觉得他非常能因材施教。

江鋆晨（嘉宾） (00:17:38)

我跟他说了半天，他至少他他他可能不喜欢我做的东西，但是他至少知道我这人喜欢什么。这点我觉得是我，我就一直跟跟张老师做的非常让我让我让我非常钦佩的一点就是，他是他可以看得出来这个人喜欢做什么。然后他会，把一把一件事情按照这个人喜欢做的这个说的这个方向，然后给这个学生来做。我觉得这点这个能力是啊挺独特的。

月球大叔（主持人） (00:18:05)

从过去你的那段经历能看出来，本科时候你跟了一个很支持你的老师，PhD 也跟了一个你很支持的老师。所以说对于一个想读博士的同学来说，这一点是不是非常的关键？你有什么其他的建议吗？

江鋆晨（嘉宾） (00:18:20)

首先这两个老师的这个这个好的这个优点还真不一样。刘斌老师就以前清华那刘斌老师，他是给学生非常多自由，然后啊他这个非常纯粹。所以你跟他谈谈研究呢他会非常开心，你你跟他说的越多他他越开心。我觉得这在清华的老师里面并不是那么常见的事情，说实话。在 CMU 这边张辉老师呢，张辉老师是个是个非常因材施教的人。说实话他可能很多人看起来没有那么 Hands-on，毕竟他他这个这个这个层次也在这了，是吧但是他非常能因材施教。他知道你喜欢什么，他他他有一种可以让你让你做一件事情时候觉得哎你就是这这个事就是你特别喜欢做的事情。这 somehow 这可能张老师不知道，但是我我我真喜欢这件事。但你回头想想哎，张老师是不是一开始让让我做这就是因为让我喜欢这个事？哈哈哈是吧。啊我觉得这这个呢确实这两种都是非常符合这对学生非常好的。那就是一种呢是把他的热情给你，另外一种呢他会让你自己产生你的热情。

江鋆晨（嘉宾） (00:19:25)

那但是这大叔你说你说我如果我如果说这个我抽两次彩票，都抽都都抽中，然后你问我说怎么抽彩票抽的好，我这这真的很难说。

月球大叔（主持人） (00:19:35)

对因为我也是读过 PhD 嘛，所以说这种一直能够碰到好的导师并不常见。其实说句实在话对不对？如果说真有希望读 PhD 的同学的话，优先还是要考虑这一点，努力朝着这个方向去找导师。对吧？

江鋆晨（嘉宾） (00:19:51)

对。对对。

月球大叔（主持人） (00:19:52)

对那么其实在 CMU 和张辉合作期间，读了你的论文之后，发现你还和另一个如今知名的业界大牛 Ion Stoica 也有很多的合作。他好像也是张辉老师的学生，算是你的师兄。和他之间的合作你觉得最大的一些收获呀或者一些经验是什么？

江鋆晨（嘉宾） (00:20:14)

对啊。Ion 是张老师最早的学最早期的可能一两个学生之一。然后我我最后是我是我是张老师最后一个学生。因为因为我毕业之后，我突然发现，张老师在我毕业之后他就走了，从 CMU 走了。

月球大叔（主持人） (00:20:29)

一个开门弟子，一个关门弟子。

江鋆晨（嘉宾） (00:20:31)

对对所以这确实很巧。然后 Ion 呢 Ion 其实就他非常 senior，他就我读博的时候他已经是伯克利正正教授了。所以 Ion 跟张老师和和我做 research 这过程中其实是 Ion 像是一个类似于 co-advisor 的角色。所以他做他他有很多学生，我我只不过是跟他合作就紧密合作学生之一。但他有个能力我觉得这点这点是没有多少老师真的能做到的。就是他可以有很多个项目，但是呢他的这些项目之间他有一个非常清晰的脉络说这些项目之间互相是什么关系啊。然后同时呢他的每个项目上都能想得清楚这个项目的重点是什么，而且他每次都是都都都是盯着这个重点跑。就跟就跟你说这个啊这这我觉得这是做做老师一个一个一个一个必须得做到的事情。就是说学生呢可能是你像在一个大草坪上，学生可能在在草坪上这东走西走，是吧这在 explore。但是老师呢会会一直跟你说那有棵树你得往那树跑。学生呢可能永远是盯着地下的这个草在看着，说说我我我哪有意思我就往哪走。

江鋆晨（嘉宾） (00:21:42)

但是他也知道那棵树很重要，但他头抬不起来。Ion 有一种方法就是他真的可以每次让让你头抬起来看那棵树在哪儿。这点是当然你也可以说他必须得管那么多项目，所以说他没法记住每个每个学生在哪，他他他只能记住那些树树在哪，是吧那些目标在哪。但是啊他确实这点是做的非常非常强。就他可以啊他可以把这些项目这些脉络都理得非常清楚，然后告诉每个学生说你你得往这方你得往这你你的目标在哪，你的目标在哪。

月球大叔（主持人） (00:22:14)

对那你后来学到了这种能力没有？

江鋆晨（嘉宾） (00:22:16)

好问题。我还没有这个这个这个运气可以带那么多学生。哈哈哈所以我不需要这个能力，暂时但但但在我这开玩笑的。是啊这这确实带学生呢重点还是很难很难说啊，一个学生这样说吧。就就就就就当老师跟跟做学生有很大的本质的区别。就是当老师你不能是那个解决问题的人，你如果是那个解决问题的人你就不是老师了。对吧但是你是个创造问题的人，或者说你是告诉别人这个问题为什么重要的人。所以所以我觉得这 Ion 这个能力是不是说是独特但是他这点上做的特别好。不是对不是所有老师，不是其他老师没有，而是他这点做的特别好。

月球大叔（主持人） (00:22:58)

就是老师需要扮演他应该有的角色，在这其中的话 Ion 又有他特别独到的地方对吧？

江鋆晨（嘉宾） (00:23:04)

对他这点这点做的特别厉害。

月球大叔（主持人） (00:23:06)

对那么作为一个和他合作比较亲密的人嘛，其实大家都知道 Ion 无论从过去的那，个 big data 时代就有那种类似于 Spark 呀类似于那个 Mesos 那种调度平台。对到如今的那个大模型时代，有 vLLM， SGLang 这样的他的学生创造的各种各样的很强大的开源系统，以及对应的公司。你觉得能够帮助他一直这样在每个时代都能够跑出一些成功的开源项目和成功的公司的核心原因是啥？

江鋆晨（嘉宾） (00:23:39)

我跟就我们公司和和之前的开源项目其实 Ion 也参与了不少。Ion 也也也是我们公司的 Advisor 呢。其实看就他有一个他有个感觉，就他这个人是但但当然我也不是他我也不能乱说哈。但但是我我跟他接触了那么多年，我觉得他是一个有 vision 的人。他不是 driven by 就就不是说这学生想做什么他就做什么。有有有些老师是跟着学生来的。有些老师呢是他他是有 vision，他说他会觉得哎接下去十年或者接下去五年吧最重要的事情是什么？他会不停的想这个问题。等到他想清楚这个事之后，他会把之前所有东西全给清掉，他是全心全力只把所有的这精力全放在他认为接下去 5 年会重要的事情。这个这个能力不是个这这种这种魄力不是每个人都有的。很多很多老师做到啊做到真的这个方向这个领域发不出 paper 了，我再换换我我再换方向啊。他不是这样的人。

江鋆晨（嘉宾） (00:24:44)

他你记得我不知道你知不知道他当时做做网络做做这种做做 routing，做 router 里面这种这种路由器里面这种这种包的这种 Qos 这个质量分析这个东西。他说不做就不做了，就就开始做 p2p 点对点传输了。p2p 点对点传输在在研究最高潮的时候说，说不做就不做，就就做做 big data 了。big data 做做了最最高潮的时候说不做就不做，就开开开始做 AI serving 了。所以这他这个他这个他他不看这个这段领域是不是火，他觉得是接下去 5 年什么东西最重要，他就做这个。

月球大叔（主持人） (00:25:15) †

哎呀这个这种放弃的能力好强大呀。上一期我们采访了一个嘉宾也一直在跟大家分享的最重要的一点，人生启示就是要多放弃对才有更多的获得啊。突然在这地方找到了一些共鸣。还有一点，刚才你说的，就是他能够接下来全神贯注的做好一件事情啊。我之前也听到了很多人分享，就是那种人最强的能力就是 keep the main thing the main thing。哈哈哈。啊所以反正就是看到牛逼的人身上都有一些共性哈。

江鋆晨（嘉宾） (00:25:43) †

对。

流媒体研究与产业机会

月球大叔（主持人） (00:25:45)

所以说之后的话在 CMU 你读了若干年的博士。然后当时的话你研究的方向，因为大多数你的论文我都读过，就是哈哈哈，是网络视频网络写的。

江鋆晨（嘉宾） (00:25:57)

你知道做做主播做到这种份上是很不容易的。

月球大叔（主持人） (00:26:01)

感谢感谢。就是就是视频网络分析嘛，对吧就是有视频分析啊，或者说关于视频的网络流媒体传输的一些分析。能不能用最简单通俗的语言跟大家解释一下，你做的研究，以及它和大家生活中有如何息息相关的地方？

江鋆晨（嘉宾） (00:26:18)

大家现在在手机上看视频啊啊，短视频长视频啊，直播录播这，这电影或者或者说电视剧。这些东西在 2010 年之前都是很难这这其实这不常见的。08 年的时候北京奥运会在网络上直播，这已经是其实是集多家公司啊专门搭了一套专门为了北京奥运会做直播一套系统。就当时就做做视频直播啊或这个网络上这个所谓视频流传播这种这种技术非常不成熟的，也没有太大市场。像 YouTube 当时出来的时候，确实非常火，但是也就只有 YouTube 一家。那现在呢看一下这是非常的这个自然。这是但是其实拐点处处在啊出现在 2010 年左右。2010 年的时候，当时其实是是很多媒体的这这这个这这网络视频啊的这种这种啊传播上像像 Netflix 和 HBO BBC 这些当还有 YouTube，就是这些公司，他都突然意识到说我有视频，我可以直接传给用户。因为在至少北美的这个太宽带用户数量一下变得特别多。所以这些公司都有这个这个这个特别强大的这动力要把这个这内容以网络的方式传给大家。

江鋆晨（嘉宾） (00:27:46)

现在看起来非常非常直接的事情，但当年这是这是非常非常啊非常革命性的事情，就跟现今今天 AI 一样。就当时每一个媒体公司都需要一个 video streaming strategy，就像就跟现现在每个公司都有 AI strategyI 一样。对吧当时是每个公司都得有个就流媒体的这个这个这个策略，就必须得得做套这样东西出来。但是但是怎么做呢？是非常难难这这这这事儿非常难。因为从来没有过一个套专门为了流媒体做的系统。大家以前只只做只用网页，那网页是就是所谓 http 协议。http 是是为了做网页而产生的。大家以前都不认为 HTTP 可以用来做 video streaming 都可以用来传传输传输视频。有意思的事情是什么呢，是当这些公司突然意识到他们必须得上马视频产品的时候，他只能用 HTTP，因为只有 HTTP，是所有所有网络运营商都支持的协议。所以当时是一个一个拐点，就是就大家突然意识到哎我们必须得做。

江鋆晨（嘉宾） (00:28:48)

然后并并且 HTTP 这种这种这种协议啊在高带宽的用户上还真跑得起来，这件事就跑通了。突然跑通了之后，所有公司都在野蛮生长的说我要做自己的视频产品，然后用这网这网页的这个这个格式来来传输视频。这件事情啊就在 10 年左右发生，然后就大家突然意识到这件事可以做。那为什么我我那个时候开始做流媒体呢？就是因为那个时候啊因为工业界开始野蛮生长出来这些所有的视频传输的格式和视频传输协议，没有研究人员去想过这些协议会对网络有多大的影响。如何通过啊如何有这种有所谓有原则的方法，有好的这个有这种抽象性抽象更好或者算法上更好的方法，去优化这一类大家野蛮生长出来的这个系统？我当时正好去 CMU 读博的时候，就那个是正好是啊啊张辉老师这公司也在开始做这套，这个流媒体系统，因为他们也是做网络视频传输的。所以他们是先看到这个需求，然后说啊就张老师就就就跟我说，你看这个，咱们公司没人真的可以可以花时间做这种这种研究，那那这这大家都都工程师是吧。

江鋆晨（嘉宾） (00:30:04)

但是我们看到这个问题真的啊很有意思啊。这是个新的产品，这是个新的 Infra，这是个大家反正不不管怎么样都得在做的事情。对吧？但是没有人去想过它到底应该怎么做，它到底怎么样做可以可以 sustainable 是吧，可以可以更更可持续。大家也没有没有想过，以后下一代如果要更新的话，应该长成什么样。是吧？

月球大叔（主持人） (00:30:26)

那站在用户角度，是不是就是要保证这些无论是 Netflix 呀 HBO 啊 BBC 啊这些公司，他们提供的这些就是视频播放呀视频流媒体的服务，让用户看起来更爽？

江鋆晨（嘉宾） (00:30:42) †

对更没有问题。啊就是包括我说的稍微记住点哈，就就包括这个视频得非常流畅，这个分辨率度得非常高。啊然后啊大家当然可能会觉得这这只要带宽越高就够。但是其实视视频传输是个非常非常复杂一套系统，它是从服务器到编解码，然后到传输系统，到这个网络系统，再再到用户的这个手机或者电脑上的这个这个这网页啊这嵌入这些，这些东西都得做的非常好。这视频传输是个非常大的工程。做不好的话，用户就天天看卡视频。

月球大叔（主持人） (00:31:18) †

任何一环出了问题都会出问题，用户都感觉得到。那你这其中你觉得你做的最满意，然后影响力最大的工作是什么？

江鋆晨（嘉宾） (00:31:29)

很有意思。我觉得我有两个是我我特别这印象特别深刻的项目。第一个项目是我第一个这一个呢是我的第一个项目。第一个项目是当时没有人知道这个问题长什么样的时候，没有人知道这个就就每个公司都都自己找了一套这样系统出来。你像 apple 有一套自己的啊，亚马逊有有一套自己的，谷歌有一套自己的，每个人都有一套自己的系统。但是呢没有人知道这些系统到底是长什么样的，就就有没有什么共性，有没有什么共有的问题。对吧啊？我当时读博一的时候，就我我记得当时熬夜了好几个礼拜，就在那就就在那测这些这这些这些视频的公司的到底他这个我就看这个，这个网络的包啊这个看看看看这个包里面到底放的是什么内容，他他这个协议到底是怎么做的。这个 reversing，就就就反向工程，就看他这个协议到底怎么做的。这件事情我印象特别深刻，因为当时我做特别带劲儿，因为我我感觉是，我有可能是全世界第一个知道大家现在公共碰到的工友碰到的问题是什么大家都在面对什么样的挑战。这件事情是让我印象挺深刻。

江鋆晨（嘉宾） (00:32:41)

虽然虽然最后那个论这论文也不错，这得了个奖其实。但但我觉得那个过程去作为世界上第一个看这个问题的人这这让我觉得印象非常深刻的。第二个另外一篇论文呢，是我们当时和和 Ion Stoica 和和张辉老师还有 Vyas 啊我另外一个导师一起做的。做做什么呢？说如果说视视频突然被所有人都看到了，这是好事儿。这是一个这是一个让所有人都可以看到视频这这肯定是好事。但是这些数据对吧，这传给每个人视频这除了让大家看到视频以外还还能没有别的作用？对吧你可以想象每一次啊你在看视频，其实你在做什么？不仅仅是把视频传给你。这个视频的质量也代表了从你这个电脑或者手机到服务器端之间这条网络连接的质量。对吧其实你如果是从视频，把全世界的视频播放放在同一个维度来看的话，其实所有这些播放，都是在同时的在测量网络啊。但同时呢在测量这个网络每一块世界每个各个角落它网络条件是怎么样的。对吧所以。

江鋆晨（嘉宾） (00:33:59)

我们当时有一个就有个想法，说你看这么多视频流这么多视频啊的质量这个质量的监测结果能不能把它统一起来，来告诉我们这个世界上网络的条件到底长什么样？哪里出了问题？哪里变慢了？哪里需要更多带宽？是吧这是一个这个 big data 问题，这是个大数据问题啊。

月球大叔（主持人） (00:34:24)

有点又像大数据又像云。

江鋆晨（嘉宾） (00:34:26)

对对对。所以所以这呢是这这也是为啥 Ion 啊当时在做大数据的时候也想做这个就一起做这个项目。就就我们当时是第一个以大数据的方法来啊来优化一个网络的啊网络的应用啊。视频呢只不过是应用之一，是因为视频播放量太大了，对吧所以所以视频是个是个好的切入点。但是这个背后的这个想法非常简单，就是第一个大数据来做啊 Intenet 网这个级别的这种应用优化。当时这篇 paper 也是啊这个非常曲折啊。这个投了我记得投了第五次才中的，这个论文投了第五次才中啊。之前一直悲剧悲剧悲剧。这个这确实是个给我印象是，你作为做第一篇论文确实有很大的这个哈哈哈。做你是第一个吃螃蟹的人，就会被夹到哈哈。

月球大叔（主持人） (00:35:22)

就是当你太有威震，或者做一个东西太早的时候，有时候也很可能变成先烈对吧，不是先驱对吧？

江鋆晨（嘉宾） (00:35:29)

我跟你说一个说有意思的事这个这我记得，当时张老师在不是我那一届就他之后就就就我进 CMU 之后他有一次给新生讲讲做怎么做研究。CMU 有个很很有意思的这个这个传统，这新的 PhD 进去之后，每个老师或或者老师可以注册吧我记得很多老师就每个老师上去讲 15 分钟，就跟新生讲 15 分钟。你可以讲你自己的研究，你也可以讲怎么做 research，你也可以讲就就问问大家想做什么。对吧？张辉老师上去当时让一个学生在板上画了三条狗。这三只狗，为什么呢？他说你画三只一模一样的狗。想象一下在板上画了三只一模一样的狗，很抽象的狗哈，简单简单画一画。那个一个一个美国学生就画了 3 只狗，然后他问大家说这三只狗有什么区别？他他说啊那这狗尾巴长的那个就没画好，这三只狗不是一模一样的。但他后来说，这三只狗区别是只有第一只狗是第一只狗。第一只狗，你前面看到是个骨头也是好事。你看到前面是个坑，你掉下去了也是好事也值了。

月球大叔（主持人） (00:36:49)

那后边两只狗呢？

江鋆晨（嘉宾） (00:36:51)

后面这狗是跟着后面的，这 follow dog。哈哈哈这这后面的 followers 啊。他意思就是说你需要，你要做最好的 research，就做第一条狗。

月球大叔（主持人） (00:37:03)

但是第一条狗掉了坑里，另外两条狗看到他掉了坑里绕开走了，那不美滋滋吗？

江鋆晨（嘉宾） (00:37:09)

我就说嘛，这如果如果要做最好的研究，你就要就要有这个担这个风险了。

月球大叔（主持人） (00:37:14) †

对他就是可能会出现这种掉坑里。

江鋆晨（嘉宾） (00:37:15)

对但是也可能出现第一个吃到骨头。对但是啊，我觉得好的好的研究你觉得好的研究是要担一点风险的。如果我说实话我觉得哈，其实计算机你们科研呢真的很难出现掉坑里爬不出来的状况。哈哈哈。只要是你第一个做的，总能做到好的东西啊。

月球大叔（主持人） (00:37:39)

这个东西好像含义比较深刻哈。不知道各位观众听到之后会有什么自己的想法。好吧哈哈哈对。

从内容分发网络到 AI 的数据层

月球大叔（主持人） (00:37:46) †

那我们就还是回到你的那个研究吧。因为之后后来你就变成了大模型的 infra 的一些研究对。那么在当时做网络视频流媒体的时候，其实有很多也有很多很新的概念，比如说 CDN。

江鋆晨（嘉宾） (00:38:00) †

对。

月球大叔（主持人） (00:38:00) †

对吧？

江鋆晨（嘉宾） (00:38:00) †

对。

月球大叔（主持人） (00:38:01)

就是内容传输网络。

江鋆晨（嘉宾） (00:38:02)

CDN 或者内容传输网络，这个东西其实在在 Web 时代就已经有了这这之前的那个网页时代就已经有了。他是他是为了网页而产生。但是 CDN 这个东西在在视频传输的时候视频传输火了之后，他又火了一把。

月球大叔（主持人） (00:38:17)

对。那个时候感觉他特别特别的火，我读当时的论文时候。

江鋆晨（嘉宾） (00:38:20)

对对对。

月球大叔（主持人） (00:38:21)

你觉得那个原因，主要是因为就是网络是瓶颈对吧？

江鋆晨（嘉宾） (00:38:25)

这样说吧。其实 CDN 或者是这这是内容分发网络，它其实是个你说的对，它的重要性，对于视频流来说是在于它解决了网络作为中间一个传输这个组建的这个这作为这个瓶颈的一个你就把这瓶颈给解决了啊。他把视频放得跟 user 更近跟用户更近，那这样就没有这个中间这个瓶颈。但是这最重要的一点是，就让我我记得就如果让我回过头来看，为什么 CDN 这个东西在 Web 时代很重要，在流媒体时代也很重要，甚至现在也有它的影子。是因为任何一个应用，只要它的规模大到一定的所有人类一定比例都会在用，这个用的够够频繁，用的人足够的多，他就必须会他必定会存在一种啊需要一个一个数据的层一个数据的一层，然后让数据的分发，分享和分析变得更有效。这个这你永远会碰到这个问题。如果是 Web 的时候那那就是 CDN。video 的时候呢，其实 CDN 它又它又转变了它的这个这个思路，它它它可以它把啊它把这问题有有用一种新的方法解决了。

江鋆晨（嘉宾） (00:39:54)

大数据的时候是吧，它是啊它 Spark 就 Hadoop data data file system，这是大数据时代的这个数据层。所以每个时代都有这样的东西。AI 时代呢，也会有这样的东西。

月球大叔（主持人） (00:40:08)

对。所以说我刚才想问这个问题的原因就是在于，AI 时代的话最特殊的一种数据现在来看的话就是 kv cache。当 Transformer 这个架构火了，GPT 跑通了，各家各户突然发现，KV cache 怎么这么大？对吧所以说。就是你们做 KV cache 的一些原因是不是也是和你之前的一些背景啊以及通过过去的一些周期预测到了接下来发生的这些事情？

江鋆晨（嘉宾） (00:40:33)

这个关系太大了。

月球大叔（主持人） (00:40:36)

就是就是想听这个关系对吧。

江鋆晨（嘉宾） (00:40:37)

首先哈这个我们我们确实做了个预测。但这个预测呢，这也是个预测。我们可以把它放网上，然后看看以后是不是对。对吧但这个预测是什么呢？是 KV Cache，或者说类似 KV Cache 这种模型自己生成的内部的啊它这内部的记忆，会成为比啊人可以看懂的数据更重要的数据类型。

月球大叔（主持人） (00:41:04)

你说的记忆就是 KV Cache？

江鋆晨（嘉宾） (00:41:06)

对 KV Cache。KV Cache 是 Transformer 记忆啊。Transformer 这种这种架构啊，是现在最最火的嘛，是最现在最通用的，likely 也有可能是以后最通用的。因为毕竟懂 Transformer 的人以后只只懂 Transformer。这个工业界是有惯性，这大家现在火的架构以后呢 likely 很有可能也会火。如果说 Transformer 继续火下去，那 KV Cache 就是模型自己的记忆。然后我们的我们的预测就是这种记忆，模型的记忆会变成最重要的数据。因为什么呢？因为所有人都在啊有足够多的比例的人类再以非常高的频率和这些 Transformer 交互，回头这些 Transformer 它生成的内部的记忆就是最重要的数据。

月球大叔（主持人） (00:41:53)

过去的时候在你那个时代，大家把视频放到不同的数据中心，放到不同的那种 CDN 网络里边，然后变成大家共同可以看的视频。这个时代，说不定 KV Cache 也跟你所想要的一样。对吧每个人都有自己和 AI 交互过程，当中产生庞大的 KV Cache。

江鋆晨（嘉宾） (00:42:13)

对。

月球大叔（主持人） (00:42:14)

然后每次跟这个 AI 继续交互的时候，他可能也是需要那么有一层类似于 CDN 的一个数据层，帮助用户更快更高效去拿到这种……

江鋆晨（嘉宾） (00:42:26)

哎你别说你你刚刚说的这个这让我想到一个比喻。KV Cache 可能就是你可以想象把 KV Cache 想象成给大模型看的视频。你说人为啥看视频？

月球大叔（主持人） (00:42:41)

精彩刺激。

江鋆晨（嘉宾） (00:42:42)

对啊是精彩刺激。但你想，如果我把一本小说让你去读，versus 把这个小说拍成个电影让你去看，你觉得哪个更精彩刺激？

月球大叔（主持人） (00:42:53)

那肯定是电影。

江鋆晨（嘉宾） (00:42:53)

电影是吧？而且哪个看得更有效率？

月球大叔（主持人） (00:42:57) †

看电影啊。书哈哈哈。

江鋆晨（嘉宾） (00:43:00)

那你这个平衡。你说说我说我看太快那就不精彩不刺激了是吧，然后你要把把书仔细看，和把把这个电影仔细看，那肯定电影更更高效。

月球大叔（主持人） (00:43:10)

更有就两个小时看完嘛。

江鋆晨（嘉宾） (00:43:11)

对啊那为啥电影会给人更高的更更高效的刺激呢？认为电影是人能更能接受的形式。它把文字这种线性的东西变成了三维的，直接呈现在你眼前，你直接可以理解的东西。其实 KV Cache 就像是给大模型看的视频。你可以这样想。是吧就是当当当然这个这个这个比喻没有那么恰当哈。毕竟 KV Cache 不是 KV Cache 是模型自己生成的，视频不是人自己生成的，是吧不是人脑自己生成。但是 KV Cache 是一种让模型看了之后它立刻就可以知道这个这这里面内容是什么，他立刻就可以理解这 KV Cache 背后代表的意义，因为这是模组模型自己生成的东西。同时呢视频跟 KV Cache 其实都是这三维张量啊是吧。3D tensors 哈哈哈。是吧所以所以他他在很多很多很多角度上其实很很像，是啊给大模型看的视频。你可以这样想，这大模只有大模型才能看得懂的视频。KV Cache 人是看不懂的。

月球大叔（主持人） (00:44:15)

所以说你们是在管理和修改大模型的记忆。之后的话我们可以再谈到这个 LMCache 这个创业项目的时候，再详细的展开。

博士毕业后的方向与工业界实习

月球大叔（主持人） (00:44:25)

咱们现在就接着聊后面的一些经历吧。读完 PhD 之后，你应该就是先去了 Microsoft Research，再去芝加哥大学做教授。对这是怎么考虑的呢？

江鋆晨（嘉宾） (00:44:40)

这是个常规操作。说实话在北美，PhD 毕业去当教授之前都会都会都会这所谓叫 gap 一年。就你需要去休息一年，这不叫休息一年，其实这这一年是干事的。但是呢说实话没有这一年人真的太累了。这个 PhD 刚读完，你知道拿到教职的人都是 PhD 的时候都不把自己当人过。然后然后你如果去当教授，那那那立刻就开始这个就有这个终身教职倒计时，这这你要你是个终身教职这个评选就 5 年之后就要做了，所以你就开始又开始有个 deadline。对吧？中间一般休息一年是个比较比较常规的操作，这是很多人都做的。至于为什么去 Microsoft 呢，是因为我是希望在那一年找到一个自己新的方向。当然这个新的方向呢最好不要是跟以前做的东西差太远。那我当时是觉得，像我 PhD 的时候做大数据相当于是 AI for networking，这 AI 把 AI 用在网络系统或者网络应用里面，视频传输嘛。

江鋆晨（嘉宾） (00:45:45)

对吧但是我一直觉得，这系统为 AI 做了系统 system for AI，也非常有意思。但是呢我一直不想做啊训练系统。因为我我其实很早就就觉得训练系统早晚不是不是重点因为你训练一次，你之后就会用无数很长很长时间。你绝大多数时间都不是在训练里面。你绝大多数时间就一个模型的绝大多数这 life cycle 它这个生命周期都花在推理上面，都花在给人用上面。你如果真的应用场景变多了之后，推理永远才是 bottleneck 啊。所以所以我当时在想，当时 AI 这个真的推理火的就是视视频分析，video analytics，或者是这这这 computer vision。然后这视觉这啊计算机视觉是个当时唯一有大规模，现在看起来就小规模了，但当年是大规模应用推理的一个方向。所以我当时去微软呢也是因为当时有个组在微软做就是想开始做这个视频分析系统。然后我我其实去了芝加哥大学之后前几年也做的是这个方向。

月球大叔（主持人） (00:46:58)

因为看到你过去其实在 PHD 期间在工业界做了至少有三次。那么你觉得在工业界的这些经历，对你比如说读 PHD 啊，找教职呀，做研究呀有什么帮助呢？

江鋆晨（嘉宾） (00:47:13) †

well um。说实话这个这个事可能很多很多学生可能我我接下去说说的话可能对对对不少学生可能这个冲击有点大。哈哈我做了三次，就我在我在当教授前有四次这工业界经历。其中三次呢是微软研究院，一次呢是在一个公司里面做做工程做产品。我在公司里面做产品那一次是我印象最深刻后然后，对我研究领域的研究的帮助最大的一次。那三次在微软研研究院其实最后都写 paper 了啊，或者至少两次，肯定写写了 paper 并且中了啊。但是我觉得在工业界做了，在工业界直接去写产品代码，去写做工程的那次，对我研究的帮助是最大的。原因是什么呢？我当时是啊第一次做 Intern 是在啊也是在张辉老师公司。就他们当时在考虑吧做写视频写播放器，其实 video player。你看这个就播放器是个非常非常工程，非常非常就是底层，其实工程师都不想干的事。

月球大叔（主持人） (00:48:23) †

对，我，研究员，根本看不到什么播放器相关的论文。

江鋆晨（嘉宾） (00:48:27)

对，没人知道这个播放器应该怎么写。我当时我记得我当时在 convivia 写的那个那个播放器是个是个 Adobe 的播放器，那编程语言都没人知道，这啊都给自己写了编程语言啊。然后然后后来后来又做了个这就苹果那个那写的那套东西 c 写的，就当时当时张老师让我让我去做那 Intern 的时候，他就跟我说，你就别想着 research，别想 research 这个，实习期间你就不要想任何 research 的事儿。你就你就做产品。对吧？但是我后来我后来回头想那一次 Intern 是让我收获最大的一次 Intern。因为什么呢？

江鋆晨（嘉宾） (00:49:08)

因为我经过那次 Intern，我是全这个做所有做啊做网络视频传输的所有 PhD 包括老师里面唯一一个知道 video player 里面到底在发生什么事儿，到底什么事情是 video player 这个视频播放器可以支持的优化，哪些优化它能支持的了，哪些优化它支持不了，哪些优化做了是有效果，哪些优化做了不可能有效果；哪些优化是或者他他有哪些这个工程上的问题。是暂时解决不了的，但是过两年他就可以解决。有哪些问题是啊这些不同的 video player 这这不同场上的 video player 共有的问题？这件事情是只有你真的人钻到 industry 里，人进到这 industry 的染缸里面你才能看得到的问题。

江鋆晨（嘉宾） (00:49:56)

所以我我我的我的这个我跟我学生很多时候说说，就是你如果去 industry 做 intern，你如果去 industry 去去工业界去做一些这个实习生啊或者说去就想想搞些经验，去而且以不带研究的这个这个这个思维去，因为你根本不知道什么问题，就你会看到什么样有意思的事情，不要带着你你你研究者的这个这个偏见去。你就真的去，我就是当工程师去的，我就把我自己三个月卖了，就当工程师。但是你回过头来看这件事情的时候，你可以研究员的方式来看，哎我三个月我人走了，我想想那我我这三个月学到了啥。我除了会写代码，我其实知道 industry 到底要发生什么事情啊。这其实是对之后的研究最大的也最大的宝贵财富啊。当然我不鼓励学生去去做一些跟他自己研究完全没有关系的。这个工业界哈，但是如果如果是有关系的工业界那就去，而且是不带着研究员的这个就你要做 research 你要写 paper 的这个这偏见去。就直接去做做工程。

月球大叔（主持人） (00:51:01)

呀你这个观点，那马斯克也太喜欢你了。哈哈哈。马斯克就特别讨厌 researcher 这个说法。

江鋆晨（嘉宾） (00:51:06)

我我不是说让学生去当当全职，哈哈哈。

月球大叔（主持人） (00:51:10)

对但是你这个视角就很有意思。他其实听完你这个说法之后，我相信很多的听众会有不一样的感悟。我刚才的一瞬间的感觉就是，一个好的 researcher，要先变成一个好的工程师，去在工业界的染缸里边去感受一些东西。

江鋆晨（嘉宾） (00:51:29)

你说对，但但也不对。如果你要就我说的意思呢，是你去工业界去看到它里面到底在做什么事情啊。你只有你但但是你要看到里面到底发生了什么事，你必须得把你变成他们的一员。你比你必须得混进去，你才能看到它里面到底发生了什么事情。你得天天看到那些工程师在吵什么事情，你才能知道里面到底发生了什么，你到底什么事难，到底什么事容易。学术界里面呢，有一个学术界是非常变成非常容易变成这个啊啊 Bubble 的一个地方。就是非常容易说有一种感觉是，哎，你说这个问题重要，我说这个问题哎，那个人也说这个问题重，那我就觉得这个问题重要。你可能你可能根本没见过这个问题到底长什么样，对吧，或者说或或者说你就看了别人的论文里面写然后这些论文都在做这个问题，那你也去做这个问题，那你永远只能跟在别人后面啊。所以我我觉得去工业界里面会看到一些什么事呢，你会你可以看到真的在第一线的工程师看到的问题。那不是说这些问题一定重要。

江鋆晨（嘉宾） (00:52:41)

但是如果有重要的问题，如果有非常有意思的问题，首先，这些第一线的工程师是不会写 paper 的，他们根本根本不 care 这个事情。是吧？但是啊，你只有站在那个地方，你才能看得到这些问题。你看到这些问题之后，等你暑假这个实习结束了，你回去再想想，哎，这能不能写论文？因为很多时候这种论文写了 1 年之后，这个问题可能就真的很重要。对吧？你过了 1 年，这个问题说不定就不是第一线的工程师可能很多工程师都碰到了问题了。

月球大叔（主持人） (00:53:13)

对但是我听完之后，感觉你没有在反驳我呀。你是在支持，比如说在工业界的时候，你一个 researcher 要变成工程师心态。

江鋆晨（嘉宾） (00:53:21)

对工程师心态，我不是说他要变成好的工程师。

月球大叔（主持人） (00:53:24)

对然后在这个用这个工程师心态，去尽可能的吸收工业界真实发生的问题。

江鋆晨（嘉宾） (00:53:29)

对。

月球大叔（主持人） (00:53:29)

对你当前单点所解决的问题，对在两三年之后，甚至在 1 年之后，其他的大公司可能所有的工程师都在解决。

江鋆晨（嘉宾） (00:53:37)

我可能一开始误解你意思。我以为你说的是要去做要要把自己变成个好工程师，要把自己这个这工程能力训练的很强。我觉得这个呢，3 年、3 个月，一个暑假一天，做不了这种事了。但你可以以对的心态加入他们。对吧，你尽量去融入进去，你才能看到真正的问题。

月球大叔（主持人） (00:53:56) †

对就是有些同学可能觉得，甚至说有些老师哎，我不要去工业界参与这些真实项目。但是其实是这样，容易让自己的研究变成空中楼阁。

江鋆晨（嘉宾） (00:54:06) †

对，一直在八卦里边。

月球大叔（主持人） (00:54:08)

对真空中的球形鸡嘛，大家应该说这样的。

江鋆晨（嘉宾） (00:54:10)

对对对。

月球大叔（主持人） (00:54:12)

反正我是，我个人也是觉得，这个东西非常非常的有道理。对我觉得一个计算机的话，它应该是一个工程科学。对吧，你还是要真正的去在工程当中去和这个世界产生一些互动，对吧？

江鋆晨（嘉宾） (00:54:27)

对。

月球大叔（主持人） (00:54:28)

再去抽象一些问题。

江鋆晨（嘉宾） (00:54:29) †

对。

月球大叔（主持人） (00:54:29) †

对吧？

江鋆晨（嘉宾） (00:54:30) †

对要么你就直接去做纯理论嘛对吧，哈哈哈。

当教授、提出问题与研究历史

月球大叔（主持人） (00:54:35)

然后的话，我们就来到了你的教职生涯。你觉得从一个 PhD 转换成一个教授，最大的不一样以及遇到了最大的困难是什么？

江鋆晨（嘉宾） (00:54:45)

最大的不一样呢是，做老师和做会不会做做博导和做学生有很大的区别。是啊，学生你是解决问题的人，博导呢你是提出问题或者说你诱导别人提出问题的人，你不能是解决问题的人了。所以这是这这这是很多特别好的 PhD 学生变成博导之后会 struggle 的问题。就是他觉得哎，我是个特别好，就我特别能解决问题，我是个解决问题的高手。但是当你当老师之后，你不能是解决问题的那个人。你得把自自己的这个这个热情给压下去，你不能去帮学生解决问题。因为你问题你也提了，解决也是你做的，那学生做啥？这没有没有任何意义了。对吧？所以啊，你要你要把自己变成一个会提出问题，或者说是诱导别人提出问题的人。这一点是说实话这个这是挺难的。而且你你好的 PhD 学生，他在 PhD 训练过程中，是不会学这个东西的啊。这就这这其实就跟很多时候工程师被 promote 成这个提拔成成管理人员之后。他反而管不来人了，因为他以前没有这个能力啊。

江鋆晨（嘉宾） (00:56:01)

我我，我不是说很多 PhD 学生变成导师之后一定学不了这个能力，但但这个能力是需要新学的。这是我，我有时候跟我的特别好的 PhD 学生跟我说这个这他想他想做导他他想以后去当教授，我第一个问他就是你更喜欢解决问题，还是更喜欢提出问题？如果你更喜欢解决问题，你得思考，你得三思一下。你可能不适合当老师。

月球大叔（主持人） (00:56:26)

所以说就是要尊重自己的角色。那么但是同时的话，也带来另一个问题，就是你得判断出什么是高价值问题，甚至判断出你的学生提出的问题是不是高价值的？

江鋆晨（嘉宾） (00:56:38)

这样说吧，问题价值高不高，这件事情，其实看你怎么说，真的就我觉得我觉得在在北美或者做在比如说清华北大也是非常好的学校，这，大家在最好的学校里面当老师，其实有一个其实有一个 Luxury，有有有一个别人没有的这个优势什么呢？就是真的你有机会去改变大家的想法，你有机会把一个大家都不觉得重要的事情把它变得重要，你有机会改变大家大家工业届的进程。真的就很多老师会觉得我的目标是要培养学生这个这写更多论文，拿更多基金，然后让学生开枝散叶，是吧？你有你有很大的这个学术的遗产。但是其实说实话，我觉得在在最好的学校里面当老师的，你有这个自由。为什么给你这个自由呢？就是这个自由是是让你去改变大家的想法。这件事情这是你问我说什么问题，什么时候好，什么时候不好。有时候我我觉得这学生提这问题，可能哎确确实我我第一反应是不行。但是再想想，说不定他真的可以呢，说不定我如果跟这个学生真的往这方向走下去我们可以改变世界的，我们可以改变大家对这个这种问题的想法呢。

月球大叔（主持人） (00:58:00)

我发现好像咱们俩还是没有冲突。就是我想说的是，这个问题重不重要，你想说的是，这个问题可能在当时不重要，但是在未来可能很重要。

江鋆晨（嘉宾） (00:58:10)

对对对。

月球大叔（主持人） (00:58:10)

你发现没有，这样的话，其实就是最终还是殊途同归，要发现接下来可能很重要的问题去解决。

江鋆晨（嘉宾） (00:58:19)

对对对，那这个呢，什么问题真的是接下来会重要的问题？这是个百万美金问题啊。这不一定啊，就每个人看法不一样。你像这样说吧，就有些老师，我可能是属于这类哈，就是我们会看历史的这个这循环，总觉得你说说哎，这件事情重要，是因为历史上有过类似的事情，它非常重要啊。这种呢你需要有一定的这个历史这个这经验，你需要去去去知道历史上什么事情很重要。那那这这这这这你其实你想想这个啊，如果如果大家有读过 PhD 这种经验，大家都会去上过一些 PhD 时候所谓 advanced，比如 advanced algorithm、advanced OS、advanced networking、advanced DATABASE 这种这种课。这种课是什么呢？这种课让你去读经典 paper。想想看当时你去读博士生的时候，那种课都让你去读经典的 paper，读经典 paper 其实不是教你怎么去写经典 paper。那些 paper 写好都已经过时了。

江鋆晨（嘉宾） (00:59:21)

读经典 paper 是告诉你说历史上，其实它是上历史课，他告诉你历史上什么事情重要。很多时候大家大家都觉得哎。这种 PHD 的课其实不用去上什么的，我说实话，我跟我学生都说那种课是最最最最好的课。那是给你这这是真的教你我们这个领域的历史或者别的领域历史。只要你看到历史上发生过什么重要的事情，你才能印象你才才能反应说哦，未来有可能发生什么事情。当然这也取决于这老师教的好不好。有可能这老师就让学生自己去 present 那些 paper，那就失去这意义了。我我上 advance 课的时候，我教过几次，我都是自己准备 PhD。我跟学生说，历史上发生过这些事情，历史上啊就诱导大家想着那未来会发生什么事情。你只有，这这很自然的事情，你只有学了历史，才能知道未来是什么。这是一类发现宏观问题的方法。

江鋆晨（嘉宾） (01:00:13)

另外一类发现重要问题的方法呢，就像我说你可能跟工业界直接合作的非常紧密，然后工业界啊再往前发展的时候，哎，你是第一个看到那个 gradient，你是第一个看到那个 Delta 的人，是吧？然后你去去去做这个事情，这也是一种这也是一种方法。至于其他方法，我到现在还没有没有想到什么其他更好的方法。哈哈。

月球大叔（主持人） (01:00:35)

所以说听完你这样讲之后，我觉得无论是对于 PhD 来说，还是对于大家，即使不做研究，读科学史是一件很重要的事情。

江鋆晨（嘉宾） (01:00:43)

对非常非常重要。但当然你说做科学的人对学科学史非常重要，就像就像做艺术的人学艺术史非常重要，是吧，学文学的人对学文学史非常重要，历史是个非常非常重要的事情。我我一直就就跟就跟我学生说，你多你看看这些你即使看硅谷历史也可以。你看看那些比如说 park，我不知道，你知道 Palo Alto 啊，就是这 research center，就是这当时第一个做出以太网、第一个做出这 graphic UI 的那个那个 lab 在这这硅谷，还有 bell Labs，就就这些历史上的计算机啊历史上的这些很有名的这些事件、这些实验室，还有啊就你自己领域的历史，这都是这其实非常宝贵的财富。大家一般都不教。大家一般都觉得哎，这些都是老骨头，就是就是现现现没什么用。大家一般看这种老论文你知道这学生一般想的是啥？你说，我看这个论文说，哎，这 idea 好像好像 20 年前就提过的，我现在还在做这个 idea，这大家一般看老论文的感觉是这样。

江鋆晨（嘉宾） (01:01:48)

但是其实真的 advanced 的这种这我不知道中文怎么翻译，就是这个啊。高高阶网络，高阶系统，高阶操统，高阶数据库，高阶这这 AI，高阶这个算法，其实这些课程，很多时候都是教你历史课。大家没有没有没有真的 get 到这个，为啥读这些 paper 呀。

月球大叔（主持人） (01:02:09)

这个真的是一个很新的观点哈，把这些高阶的那个 CS 课程全部当成历史课来读。

江鋆晨（嘉宾） (01:02:16)

就是历史课。

月球大叔（主持人） (01:02:17)

哎呦，这个我之前其实我是真没这样想过。但我确实比较喜欢读一些浪潮之巅呀，包括硅谷那种类似于那种风云啊，甚至说看一些电视剧吧，哈哈哈。能够能够大概知道过去发生了硅谷是科学史上发生了一些事情。

江鋆晨（嘉宾） (01:02:34)

是是对。

月球大叔（主持人） (01:02:34)

但是你现在要是仔细想想的话，那些东西还真的挺有帮助的。那么之后的话，就是你变成了一个带着学生去继续深入做视频分析这样一个课题，然后甚至到一直到今天你带着学生开始做大模型系统。在整个过程当中的话，因为你自己是清华姚班的嘛，一直只招清华姚班的人当学生也不现实。

江鋆晨（嘉宾） (01:02:59) †

那不可能不可能啊。

月球大叔（主持人） (01:03:00) †

不可能对，所以说那你怎么处理这种，就是说，带学生和指导学生这样一件事情？

江鋆晨（嘉宾） (01:03:06)

说到招生，我觉得大家第一想的都是生源。我呢觉得生源确实也重要，但是啊啊生源也没有那么重要。首先我招的学生啊，我可能比较幸运，我招了不少的这个名校毕业的最后做的非常好就都超过预期的学生了啊。然后啊他们一开始来跟我做呢，我觉得一大部分原因是，我做的方向他们可能喜欢。但是我觉得这随着时间发展，我觉得就我这些学生里面啊就都很有个性，都很有个性。有些人工程能力强啊，有些人思维能力强，有些人写 paper 强，有些人有些人卷的强哈，有些人这个这他交流能力强，这这每个人的这这特点都不一样。这是我觉得非常有意思的事。因为每个学生他他我我每次跟跟学生开会，我都在想，哎，如何劝这个学生应该这样做，如何跟这学生说哎你你这这应该那样做啊，有时候我甚至=会想是哎这学生老不听我的。我是不是应该让他往东走的话，我先得跟他说得往西走，然后他就自然而然往东走了。哈哈哈。就这确实有时候是就需要需要需要导师花点花点心思在在后面。

江鋆晨（嘉宾） (01:04:31)

但但我觉得最重要的标准，不是就招招学生中最重要的不是这个学生出身怎么样，而是这个学生有没有你特别想要的特质。你像比如说我啊姚班，不是最重要的这个 feature。我觉得对对我来说最最重要的跟我这个思思路更跟那最像的人是做就做过啊做过竞赛的学生。你像啊像像我的两联创坤泰和益华，他们以前都是搞竞赛的。你就一个虽然这都都不是数学数学竞赛跟我不是一样的竞赛，他一个是搞化学竞赛，一个搞计算机竞赛。但是搞竞赛的学生都有一个都有一种我觉得非常跟我跟我非常契合的一个一个一种特质什么呢？是他们的思维不连续，并且他们以不连续思维为傲。你知道这，因为他们都保送的就是竞赛保送，竞赛保送有一个前提是你必须得。你得你得承担啊没有没有好好学习高考的风险。你竞赛如果不成，那就真的得去高考。不是说他他他们高考，我相信他们肯定考考得进北大，但是他们都是以这些以这个自己这种这种跳跃性思维就做一些啊以别人想不到的事为为骄傲的事情。就他们是啊这种这种能力在学术界里面非常重要啊。

江鋆晨（嘉宾） (01:06:00)

有有些老师呢，喜欢招一些就听话然后肯干活肯肯出活的学生，可能我不太适合这样的学生。哈哈哈。

月球大叔（主持人） (01:06:09)

啊这个标准，也不低呀，这个标准并不比去姚班招个学生的比例要高呀，哈哈哈对不对？

ChatGPT 的互联网时刻

月球大叔（主持人） (01:06:17)

好那我们就是后来吧，你就从视频转成了大模型，这个转变是怎么发生的呢？

江鋆晨（嘉宾） (01:06:23)

那这这这个故事可以可有意思了。我们从来没想就我们之前从来没做过大模型。我们以前从来做的都是视频网络，最多是一些就 AI 系统，但是从来没有接触过大模型。我们接受大模型，我接受大模型还是当时我记得 23 年的时候 23 年初的时候就是 ChatGPT 刚出来就一个月就就两个月的时候，当时这个东西在在网上炒这这炒的铺天盖地。你去你去餐馆里面吃饭，边上一个不知道什么人都会说都会在那说 ChatGPT，就那么火的时候，就两个月。然后所有学生那个时候几乎所有学生都在问他们导师说哎，我能不能做点大模型的东西？因为这东西太火了。我能不能做点 ChatGPT 的东西，GPT 的东西？这些东西太火了啊。我自己也有学生来问我这个问题啊。然后我记得当时多数的老师的这个反应第一反应是什么呢？你说这个这是个 buzzword。这就可能可能过两天就没了，对吧？而且就是一个 application。

江鋆晨（嘉宾） (01:07:28)

你你能为了一个一个公司一个一个特别火的 application 去转变你的这个系统研究方向吗？不可能啊。that's a HYPE。对吧？这是个 hype，这这不是个真的这个 trend。我我有很多同事当时学生问他们的时候他们都这个反应。我也是这个反应，其实。但是我学生不停的问我，搞得他们连连连这个这个这个一一月份我记得 23 年一月份有个有个 sigcomm deadline，这个 deadline 都不想赶了。这天又问问我这个事啊。行行，我就跟你们谈谈吧。我这想想这个东西是不是真的真的有的做。一谈这个事儿，还真的是个大事儿。因为我们我们说说我们觉得这有可能真的是个拐点。区别并不是在于这个应用本身有多好或者这个应用本身有多啊这这 AI 这在在 AI 里面到底有多这个这多大区别。这这其实其实其实大家都知道这个 ChatGPT，它就是 Transformer。Transformer 真的已经出了很多年了。

江鋆晨（嘉宾） (01:08:31)

为啥为啥现在现在突然去做 Transformer 呢？是因为 AI 或者 ChatGPT 是唯一一个就或者当时第一个 AI 产品有让所有人在任何时刻。时刻都会去用的潜力。所有之前的 AI 所有的 AI 的产品或者技术都完全没有到这个级别。以前都是某某一个模型 train 好了，某一个特定的场景下，然后让做做某些特定的事情。ChatGPT 是第一个发生这件事。那你想我们做事做做网络系统的，网络系统最重要的时间节点是什么？2,000 年初的时候，或者就 90 年底的时候，大家第一次意识到所有网所有计算机可以互联起来，有应用可以让所有人连起来，让让每个人都时刻刻都想去上网，对吧？我们当时就觉得觉得 ChatGPT 是第一次让 AI 有这样的 Internet moment 这 Internet 时刻。

月球大叔（主持人） (01:09:39)

当时就和学生讨论了那么几次就做出这样的判断了吗？

江鋆晨（嘉宾） (01:09:43)

我们当时就就真的几次。我当时跟他们谈了几次，我之后觉得哎，真有可能就你就有，有时候你你有一个就 something clicked。你说你说这个你一旦意识到这个 application 如此不同的时候，你的脑子里面就就会想，哎，它是不是真的不同？是不是真不同？然后就每次就就会想哎，还真的跟历史上发生的事情有重合啊。

月球大叔（主持人） (01:10:04)

哎呀这个当时它就是一个 chatbot 呀。

江鋆晨（嘉宾） (01:10:07)

对呀。

月球大叔（主持人） (01:10:07)

比起现在这种能写 code agent、能做各种各样的 agent，这差的可太远了。

江鋆晨（嘉宾） (01:10:12)

但你想当时这个这个东西，它不仅仅是那它可能应用选的好。就是有可能 chatbot 这是应用应用选的好，但是聊天机器人这个东西啊，其实每个人都需要啊。对吧？我记得当时我出去吃饭，这边上一桌不知道什么就有可能卖保险的人都在那说说 ChatGPT。我当时就意识到，这个真的是第一次 AI 出圈了。不是真的专业的人会会要这，所有人都想用这个东西。that's the Internet moment。

月球大叔（主持人） (01:10:42)

哎呀这个东西当时我们其实在创业，但是就觉得这是一个大的 hype。哈哈哈但是现在回过来看的话，包括最近采访的一些人，无论是你在之前就投入这件事情，还是在 2023 年 1 月份再投入这件事情，都算是早期的 early adopter。

江鋆晨（嘉宾） (01:11:01)

对。

月球大叔（主持人） (01:11:02)

都能吃到后面陆续发生的一些红利。

江鋆晨（嘉宾） (01:11:05)

我这这个呢，我需要真的这个啊这 credit 是指给这些学生，这这包括 yuhan 啊，昆泰他们，他他都是最早一批逼着我要看这个事的人。

月球大叔（主持人） (01:11:16)

哎呀你这么一说，感觉毕业个两三年就觉得自己是个老人了。就没有那种学生时代那种一看着新鲜东西就要冲上去那种，小时候看着小霸王学习机，虽然这么简陋，但是还想玩。然后当时看这个 ChatGPT，哎呀这个东西就是能对个话，能对我的生产力、能对我的日常工作产生什么帮助？当时还试了一下 github co-pilot 这样一个产品，那代码写的一行都不能用。基本上就是很难用很难用。

江鋆晨（嘉宾） (01:11:43)

大家看到的是质量。我们当时看到的是这用的广度，对，大家兴趣。

月球大叔（主持人） (01:11:49) †

对我后来就就看到了，就是说，从之前的那种视频的 AI 分析就是到那种语音的那种分析，那些 AI 的场景都特别零散，然后一个模型一个是，就很不普及嘛，就是每个。

江鋆晨（嘉宾） (01:12:05) †

对。

月球大叔（主持人） (01:12:05) †

产品的 AI feature 只是其中的。

江鋆晨（嘉宾） (01:12:07)

对。

月球大叔（主持人） (01:12:09)

说多不多，说少不少的一部分，但是 ChatGPT 那一瞬间之后，好像 AI 本身就是产品。

江鋆晨（嘉宾） (01:12:13)

对。

月球大叔（主持人） (01:12:15)

然后每个人都可以用的那种产品。

江鋆晨（嘉宾） (01:12:15)

对，也不是说立刻可以用。但是每个人都想用，或者每个人都都觉得这东西可以有可能可以。就像当时苹果电脑一样。苹果电脑刚刚出来的时候，这其实你想 Steve Jobs 在这 over marketing 啊。你说你说可以做那么多酷的事儿，但做不了那么多酷的事儿。但是大家一样想买。因为你你啊你抓住了大家想象力。一旦一件事情抓住大家想象力之后，那这件事情就会普及。不管怎么样，这这个 cycle 这个飞轮飞起来了啊。当然这最后把这件事真的真的这个飞轮上让让跑起来的是是 open AI 或者或者一开始的 Google，对吧？但是啊等到你意识到有这个正循环开始出现了，大家都想要这个东西了，这个时候做 Infra 的人其实就应该意识到，那就是下个 Internet，这个下个 big data，下个 cloud、下个 AI。

月球大叔（主持人） (01:13:11) †

哦这个确实是，做 Infra 的人的话，其实怎么说来着，一定要看到足够大规模的事情，再去做那种优化，能够拿到的那种影响力才是最大的。

江鋆晨（嘉宾） (01:13:22) †

对。

月球大叔（主持人） (01:13:22) †

在细枝末节上去做 Infra 优化，哈哈哈其实对吧，大家都懂吧，能够产生的影响力反正微不足道吧，可以说。

江鋆晨（嘉宾） (01:13:30)

是是。

月球大叔（主持人） (01:13:31) †

所以说 infra 人要盯准大趋势。

江鋆晨（嘉宾） (01:13:33) †

对。

月球大叔（主持人） (01:13:33) †

在这个为了这个大趋势，去做各种各样的底层优化。

江鋆晨（嘉宾） (01:13:36)

要要看到大趋势，就得去学历史啊。

月球大叔（主持人） (01:13:39)

又回到了刚才这个课，就是 call back 了一下。所以说 infra 的人一定要多读科学史。

江鋆晨（嘉宾） (01:13:46)

哈哈至少至少是啊，计算机的技术史。

为什么选择 KV Cache 与 LMCache 开源

月球大叔（主持人） (01:13:50)

那么接下来的话，你们是怎么选定了 KV cache 作为你们的一个研究课题，从那之后我就看到你的研究方向，你的团队里边所有人全部都在 KV 开始？

江鋆晨（嘉宾） (01:14:01)

有些学生还是得把这个这个这论文得写完，这可以当毕业嘛。是吧？但是确实我们当时想做 KV Cache 或者想做那这大语言模型里面做优化的，推理优化的，学生我就跟你们做吧，做吧，没事，做吧。这大不了我们一年不发 paper。我反正我我那时候还评 tenure 前两年呢。就是说你没事，你们之前的 paper 可以写完。你们之后就做新的东西。我不管你们是不是要发新 paper 了。反正啊我评不上终身教职也无所谓，因为这个东西真的是非常重要。这我当时是是跟他说这啊，如果你们有对大语言模型推理上有好的建议，有有好的想法，我们就讨论，因为这东西在在在我看起来就是下一个 Internet 啊。当然当然我们为啥做 KV Cache，这是非常为为啥是 KV Cache 呢？这是非常现实的一个一个考虑就是，KV Cache 是我们就我们是做那就网络出身的嘛。啊啊所以做网络的啊做网络就需要很大的数据，你如果数据量少，那根本不需要什么网络挑战，是吧？

江鋆晨（嘉宾） (01:15:07)

那当然想，哎，这个这个 input tokens 这个这个令牌你这么多这个输入的文本。这这有啥，这有啥大的呀，是吧？然后想说，哎，第一你先看有没有输入视频，但当时 open AI 或者是这种这种啊大语言模型的这个多模态还没有做的很好。那时候根本做不了视频，生成视频也特别特别慢。所以当时想，视频做不了，那做啥呢？我后来发现模型里面这个 KV Cache 就是个 3D 的三维三维张量啊，就跟视频一样，是个 3D tensor 啊啊。而且这个东西它可以复用，它可以存它，它可以复用，它可以它可以传输，这 model 之两个模型之间可以分享这个 KV Cache。它可以分享它内部的这个这存储、这个记忆。哎哎那这倒是好东西。这这不就撞到我们枪口上了吗？

月球大叔（主持人） (01:15:59)

然后你们就做了类似于 cachegen 呀呀，cache blend 呀，LM cache 这些项目，对甚至说还把 LMCache 给开源了。

江鋆晨（嘉宾） (01:16:08)

我说了，这开源并不是一开始的计划。我们一开始计划是想想做一个 um，啊，我们当时那个叫 Internet of agent。我们当时想想这还有还有几个做 DATABASE 的老师一起在想这个事儿。本来想着说这个这就搞一个像像 sky lab，不不是 sky lab，就那个时候像像我们想像 amp lab，就是把啊做 DATABASE、做 networking、做 AI 的一些这这样的聚一起，说我们开一个研究方向，说怎么做啊这大语言模型推理里面的优化。我们是做 KV Cache，别人可能做 KV Cache 这 context database 什么的。后来就我们就先做什么呢？我们先做 KV Cache 压缩，因为 KV Cache 特别大，所以你要压缩。后来做这个 KV Cache 啊，cache blend 就做啊非前缀复用，你要把这个 KV Cache 在非前缀的地方也可以复用起来。这些这些东西做完了之后，我就开始出出去出去给 talk 了。

江鋆晨（嘉宾） (01:17:04)

我说我说你看这工业界，你看这个 KV Cache，你说复用了可以有很大的好处，所以你们肯定把存下来了嘛，肯定有个 KV Cache 存储系统，是吧？这个存储系统里面呢，那这个系统存在在那，你要存那么多 KV Cache，你得压缩吧，是吧？因为每个 KV Cache 太大了。然后你这个 KV Cache 你要更多的复用，你需要 blending，是吧？你看我们这 research paper 都写好了。然后你说那个你看这个 KV Cache 的存储系统在哪？我们要帮你 deploy 一下。什么是 KV Cache 的存储系统？我们没有这个东西。哈哈哈。这这应该是说，这我知道 KV Cache 可以复用，但是现在 KV Cache 只存在 GPU 里面啊啊。然后这个这这些推理引擎把 KV 这一个一个请求结束、这个生成完了之后，他就把 KV Cache 给丢了。这 KV 开始我也从从来没存过这个，你说的存储系统是啥？

江鋆晨（嘉宾） (01:17:53)

我说我那个时候才意识到，这个这这我们走的太超前了。哈哈哈但当然我们有两种选择。一呢就放弃吧，我们就去做别的，这这个工业界没有 ready，就给他们这个东西，他们用不了。或者呢我们就就等，继续做，等到他们想用。我们当时等不及。我当时想，你们既然没做，既然没做，我们就帮你把这套技术给做了。我们开源一个项目。就你们你们就可以用这开源项目去存 KV Cache，哎把它存在一个系统里面，然后就可以用我们的这优化了。所以当时做做 KV Cache 是为了可以让工业用起我们的用起我们的这这这研究的系统，不对，研究的研究的这些这些想法。这些这 papers。那最后发现其实这个开源项目做成功了之后啊，用的人越来越多了，然后我们也就去开公司啊这。这个这开源项目用的人多了之后，大家大家反而会觉得哎，junchen 你们不是那个，你们不是做做 lmcache 做 KV Cache 存储？哎，那些那压缩是谁做？

江鋆晨（嘉宾） (01:18:59)

那个这非前缀压，非前缀复用的那些 research，哎，那你们做不做那个？我说我们一开始就是做这个的。哈哈哈只不过你们用不了这种 idea，所以我帮你做了一个开源系统。所以这是开源系统不是一开始的计划。但后来开源系统做多了之后，大家反而觉得诶，你们是不是就一开始为了做这开源系统？

月球大叔（主持人） (01:19:21)

听你在诉说这一段的时候，是不是又回到当年你刚开始读 PhD 的时候，看到工业界很多那种视频网站野蛮生长，你抽象问题。对到大模型时代，搞出 KV Cache 以以及一系列的压缩呀这样的前缀非前缀复用这些东西。回到工业界一看诶，工业界还没有 ready。继续在那野蛮生长，用各种各样的那种开源大模型，这个推一点、那个推一点，到最后整个系统还是零散的野蛮生长，没有就是系统化的去往前更做一点，甚至说更经济、更高效那种感觉。

江鋆晨（嘉宾） (01:19:52)

真的这说实话，其实做这种事情需要很大的勇气。其实我我现在回过头想，是啊有点啊不知天高地厚的感觉。这真的做这种东西让你做一个开源项目来创造开源生态，来做一个工业界有可能本身就会做的事情，这其实这是一个真的是一个非常需要勇气的事。因为你相当于是以一个学术的学术研究组一个 research group 去挑战整个工业界。因为工业界早晚会做这一套系统，等你真的做出来的时候，工业界可能就直接抄了，或者工业界会觉得他们做的可以更好。当然，我觉得我们是这件事情呢有可能赌对了，有可能是真的赌对了。因为工业界等到他们真的想做这套系统的时候，已经很晚很晚了。到那个时候其实 LM cache 已经做的其实功能都已经比较完善了。所以所以现在很多工业就是直接复用 LM cache，或者说是甚至有时候在 Resell LM cache，然后也有也有公司就跟我们商业合作去做 LM cache。

江鋆晨（嘉宾） (01:21:03)

但是我如果回过头来说，两年前三年前的时候，我们刚刚开始做 LM cache 这个项目，你说是不是如果我再回去跟跟三年前的我说或者两年前的我说你，你们是不是应该做开源项目？我觉得这是个真的有非常大风险的事情啊。我们可能当时只是看到成功例子。你像 Spark 就是个成功例子。Spark 相当于真的直接踏着 industry 出身的，industry 多少公司想做 Spark 类似的项目，它是直接踩着他们尸体出来的。这真的把这些这些这些工业界的项目硬生生一个个干掉啊。LM cache 其实也做了这件事情。只不过我们当时没有意识到，这真的是一个这么大的挑战。

月球大叔（主持人） (01:21:47)

这之后在今年的 GTC 大会上，其实看到老黄把你们 LMCache 的 logo 在大屏幕上展示了一下，当时那一瞬间的感受是什么？

江鋆晨（嘉宾） (01:21:56) †

当时那一瞬间，我就把手机掏出来快点拍。然后然后记得当时手机那个摄像头还比较模糊，然后再拿拿衣服拼命擦，擦擦擦哈哈哈。

月球大叔（主持人） (01:22:07) †

行，待会我们就把这段这个视频，不是行，待会我们就把这个照片打在公屏上，好吧？

江鋆晨（嘉宾） (01:22:13)

那我我还我不知道还有没有，当时我拍的第一批那个比较模糊的照片，后来算，别别拍了，我直接上，他网上有直播，我就直接网上直播上截图所以。

月球大叔（主持人） (01:22:23)

合理。

从开源项目到创业

月球大叔（主持人） (01:22:24)

好的是什么原因，你觉得，你自己必须和学生一起出来创业了，甚至把家也搬到了硅谷？

江鋆晨（嘉宾） (01:22:31)

这是两个问题哈。啊为什么要跟学生一起创业？这个问题和搬到硅谷是两码事。我觉得和学生创业呢啊这说实话，是有有点不得不做的选择，因为学生做这个项目的学生其实都快毕业了，所以如果不创业，那这这项目就就做不下去了。同时呢我们也这非常清楚意识到，你想这么大一件事要要给 industry 做个这么大的 infra，然后还得把啊还还希望把 research idea 啊这些这研究出这论文里面东西让他们源源不断输送到工业界，这这这件事绝对不是一个开源项目或者或者学界可以做的了事情。必须得拉投资，必须得开公司，必须得啊让让啊工业界一起参与进来。所以开公司是必须得做的事情。那至于搬到硅谷，这是个误区。说实话我们其实前半年是可以不用不是一定要搬到硅谷来的。只不过我们这有个印象说这这开公司肯定得来硅谷，所以，哈哈哈。所以这是个这这不是一定需要做的选择。第一个呢，开公司是必须得做的，但第二个不是一定得做的。

月球大叔（主持人） (01:23:45)

但是现在来了硅谷，这也是一年多了之后，你觉得不在硅谷这件事情，能推展到今天这个程度吗？

江鋆晨（嘉宾） (01:23:51)

啊啊我只是说前半年不是一定要来硅谷。因为前半年，我们一共只有只有不到七八个人那，而且都是初创团队，都在都芝加哥大学的学生和我。所以前半年还真不用来，我们是来的太早了。但是现在呢，必须得来。现在在这个阶段，要招到好的人，要有好的客户，要有对的信息源，那必须得在硅谷。

月球大叔（主持人） (01:24:13)

然后你们就创立了 Tensormesh，也就是基于 LM cache，这个 KV cache 存储系统打造的一家公司。

江鋆晨（嘉宾） (01:24:21)

对。

月球大叔（主持人） (01:24:21)

你们官网的整个的 slogan，其实就一句话嘛，就是不要为了模型，重复去在相同的内容上计算来交钱。

江鋆晨（嘉宾） (01:24:31)

也是也是对对对。

月球大叔（主持人） (01:24:32)

给大家详细说一下，就是这个公司和这个产品的理念吧？

江鋆晨（嘉宾） (01:24:37)

这理念和或者说我们的 vision，我们的这个这个未来的愿景和这个 slogan 还不是一回事。说说实话，这个 slogan 这句这这句标语是一个现在大家能听得懂的愿景。哈哈哈这我们的愿景是更大一件事。但是现在大家能最能听得懂的事情呢，就是我们的技术能不能帮大家省钱，能不能帮大家加速，能不能帮大家用更少的资源服务更多的人。这就是为啥我们要说这句话的原因。因为 KV Cache 这个技术在现在当前这个阶段，它对工业界的优势或者这这个好处，大家能看得见摸得着的好处，就是可以帮大家减少重复的计算，帮它减少 GPU 上模型重复的计算。重复计算如果你可以把它计算结果用 KV Cache 形式存下来，那它下次就不需要再重复计算。这种就比如说你让一个模型读了一本书之后就回答一个问题，或者读了一个一个报告之后去回答一个问题，他为啥要下次看到这本书的时候再再重新读一遍呢？他就把他自己以前读过的这个信息。

江鋆晨（嘉宾） (01:25:48)

以 KV Cache 的形式，就这个模型自己内部的记记忆的这个文件形式，把它存下来，这不更好吗？对吧？这样的话，这样子这样的话模型就不会把他以前见过的内容给忘记，right 啊。这是为啥我们说啊 KV cache 或者我们公司一个现在大家看得见摸得着的好处，是可以帮大家把重复计算给减少给给避免。

月球大叔（主持人） (01:26:13)

重复计算是避免了，但是 KV Cache 又特别大，导致你占的存储又特别大，而现在的存储价格又这么高。这种价格之间的这种平衡，你怎么去抉择呢？

江鋆晨（嘉宾） (01:26:26)

首先哈，像我说的这个价格存储的价格，这是虚高。是暂时性的，因为毕竟供需需求不一样啊，需求不平衡。等到产能上去了，这个这价格自然而然会会往下降的。但是确实你说的对，用 KV Cache 就你要存更多的 KV Cache，要存更多类似 KV Cache 的数据，对存储要求就会更高。所以才会出出现新的这个这这虚的关系，这只不过供方把这个啊供给的这产能给提高上去之后，这个价格是会下来的。但是需求往上涨，这是这是绝对会发生的事情。因为毕竟有更多的啊公司、有更多的产品，它的啊它背后的大语言模型生成了 KV Cache 是在被存起来，而且存的会越来越多。这是一个非常明显的趋势。

月球大叔（主持人） (01:27:15)

那么你能不能够带大家去整个走一下，用户输入一个他的想要的 prompt，到最后比如经过 KV cache 啊，经过 GPU，对，大概的一个流程，以及成本，以及你们能够帮助到底完成怎样的一个优化，通俗易懂？

江鋆晨（嘉宾） (01:27:35)

打个比方，你是个非常聪明的这个啊这个程序员，我给你一个程序，让你去分析，然后告诉你说，能不能在这个程序里面加一个新的功能，写一些新的 code。那你做的第一件事情呢，是肯定得先读这个程序。模型也是一样。它得读这个程序来理解这个程序里面的这个程序的内容。人会把这个程序理解成他脑子里面可以记住的这些这些结构，还有一个记忆。模型也会有这样的记忆。这个记忆呢，就是所谓 KV Cache。它是一一坨的这个浮点数，很多的这个数字在里面，它是一个矩阵，它是三维矩阵，这非常多数字。但是这是模型记忆新的知识的方法。这所谓新的知识就是它它啊训练过程中没见过的东西。这个程序，我给你的新的程序，就是他没见过的东西。那这个时候他在生成所谓你说你要写新的这个啊功能的之前，他得先读这个程序，然后再读你的问题，然后就生成这个结果。下一次如果我再需要你去把这个啊。

江鋆晨（嘉宾） (01:28:49)

就在这个程序上再加个新的功能、再加另外一个功能的话，如果你把之前读这个程序的这个记忆给忘了，其实现在很多模型都在干这个事，他把这个记忆给忘了，那你下次还得不停地读这个程序。所以啊如果你的啊这个大语言模型，在处理这个这个工作的过程中，90% 比如说 90% 的输入都是这个程序，其实非常非常可能，90% 以上都是这个程序。你认为用户其实问题很短，90% 都是这个程序。那如果你把 KV Cache 给记下来，我避免的重计算就是 90% 的计算。我相当于把把模型啊重复做 90% 计算，把它跳过了，模型直接就就可以 load 的进就把把他自己的记忆给重新输入回去，直接进入他的大脑。

月球大叔（主持人） (01:29:42)

所以说你们这家公司，就一直把 KVcache 当成了一个大模型的记忆，来作为一个管理。

江鋆晨（嘉宾） (01:29:48)

对，它就是个大模型的记忆。现在呢大家觉得大模型记忆，或者把记忆给存下来的好处就是你可以复用这个记忆，对吧？但是你想想，如果你复你存下的是记忆，除了复用，你还能做什么别的吗？你还可以去理解一下他记忆里面是什么东西，你还可以去理解一下模型到底记住了什么，模型到底对哪些 TOKEN 注意力更集中，哪些 TOKEN 他觉得更重要。甚至你还可以去优化他的记忆，可以让他以后行为可以更好。他以后得到这个记忆之后，可以做更好的生成。

月球大叔（主持人） (01:30:23) †

就是不单单在只是一个啊，就是所谓的 KV Cache 存储。

江鋆晨（嘉宾） (01:30:28) †

对。

月球大叔（主持人） (01:30:28) †

公司我是变成一个，甚至能去帮助大家理解大模型本身的工作原理。

江鋆晨（嘉宾） (01:30:34)

哎对。

月球大叔（主持人） (01:30:35) †

然后提高这个工作效率。

江鋆晨（嘉宾） (01:30:38) †

对啊。

月球大叔（主持人） (01:30:38) †

提高这个记忆原理，这样一家公司很像。

江鋆晨（嘉宾） (01:30:41)

确实那啊，就是我们现在，这是一个愿景，这是一个我们长期的 vision。但是毕竟公司是要做生意的，对吧？但但咱咱们先解决大家燃眉之急。燃眉之急就是这个 TOKEN cost 太高，大家这个在大家都在烧 TOKEN 啊。如何让大家烧 TOKEN 的时候，这个不用不用花那么多钱，不用花那么多算力，是吧？可以 serve 的快一点。KV Cache 就是可以直接帮你做到这件事情的方法。但是以后，我们是相信 KV Cache 还可以做更多的现在大家没有想到的事情。

新推理芯片、输入处理与 KV Cache 的未来

月球大叔（主持人） (01:31:14)

那现在的话，一些的计算范式在可能产生变化，甚至说一些新的计算芯片也在产生，无论是前一段时间上市那个 Cerabras，还是过去一段时间英伟达去收购的 Groq，甚至最近推出的 LPU 这样的一些东西，你觉得这样一些新的芯片，会不会对你们目前在软件层面上做 KV 开始的优化产生一些影响？在回答这个问题之前，你能不能跟大家分别解释一下，这些芯片相比较现在的 GPU，最大的一些优势，以及对于 KV Cache 冲击是什么？

江鋆晨（嘉宾） (01:31:52)

我的理解呢是当当然，我不是做硬件的，我也不能说的太绝对啊。我的印象印象呢是现在的硬件上的创新，绝大多数都是集中在如何做更高效的 decoding，就是这更高效的生成。我们做的优化呢，多数是在于如何做更高效的输入分析，叫 Prefill。这记住这个词叫 Prefill。Prefill 是模型在看到作为长文本输入时候，它需要做的理解这个长文本的过程。decoding 说的是你一旦理解完了之后，你怎么样一个一个 TOKEN 去生成出来，一个一个字儿去把它蹦出来，或者一个一个词儿去把它蹦出来。很多现在这种记这种新的芯片它优化的是 decoding 的过程。因为 decoding 是绝大多数用户能直接看到的问题。你说这个我在等这个这个给我生成一篇文章，我这等着它它一个个字蹦出来。但其实很多时候大家忽略一件事情是，就人的感官上，90% 的时间，这个模型在做在做 decoding，在做生成，在做生成这个输出。

江鋆晨（嘉宾） (01:33:05)

但其实 90% 的算力花在的是 Prefill，花在的是处理 input。

月球大叔（主持人） (01:33:11)

这个有数据统计支持？

江鋆晨（嘉宾） (01:33:12)

这没有没有直接数据统计支持。但是你如果去看所有的这个 agent 的 trace，就 agent 的=、这种分析啊，大家都会知道，其实 agent 在 input 输入比输出要长很多很多。一般输出呢，可能个可能几千个 TOKEN 差不多了，或者或者大小几万最多了。输入可能是几十万、几百万的 tokens。因为你任何的输出以后都有可能变得变成以后的输入，你现在的输出永远都会变成以后的输入。这也是为什么其实这大大你如果真的看这个这 GPU 的这个算力分配，绝大多数的算力都是放在输入上面。但是呢输出非常重要，输出的速度非常重要。因为人真的体会到的是输出的这个速度快慢。你在那等这个文章，输出的慢，那我我这就不舒服啊。我哪管你这个输入啊，这处理的多快，或者这输入处理的多。但是你如果从啊这个 infra 啊这个基础设施的角度上来说的话，其实多数算力放在是输入的处理上面。这其实是个很大众非常非常有意思的误区。

江鋆晨（嘉宾） (01:34:24)

现在大家都觉得啊，这些这些芯片公司在在优化输出，那输出就是算力的这个这个大头。其实输出不一定是算力大头啊。

月球大叔（主持人） (01:34:32)

这个是挺有意思的一个见解哈，有点反直觉了。

江鋆晨（嘉宾） (01:34:36)

就非常反直觉。

月球大叔（主持人） (01:34:37)

对那么如果说在这种情况之下，会不会出现这样一种未来，openAI 和 anthropic 他们某一家一家独大，他们把 API 的价格打的也越来越便宜。随着科技软件的优化呀，随着硬件的优化，那么大家就跟打开自来水一样，用他们家的 API 就好了。那么此时，KV cache 在其中能够扮演怎样的一个角色呢？那 KV cache 是不是就消散了呢？

江鋆晨（嘉宾） (01:35:03)

首先，这是有可能，那就就说你你说这个这个前提是有可能发生的。任何的技术，有可能会有一家公司去一家独大，会会有可能垄断，这是这有可能发生的事情。但是呢我并不觉得，即使有一家公司或者少数公司垄断这个领域，就不就所有人都值得用这几家公司的服务。就可能他们可能垄断了 80% 的这个这个用户的这个这需求，但是剩下 20% 谁做？对吧？就跟视频流一样啊，你确实觉得全世界的视频都很多对就全世界视频公司千千万万，对吧？但你如果看，那些公司这如果看这个这 video 视频的这个这流量分布，绝大多数流量都是 YouTube，其次 Netflix，当然如果把 XX 网站去掉的话。哈哈哈但是，但是你可以想就就一个一个产业它可能非常这个这个流量的分布非常不均匀。但是这确实有几家公司，它流量是巨巨大无比的，但是还是有很多公司它要——它需要服务它自己的用户啊，就跟视频一样，对吧啊？没人会说 HBO 它的它做视频流不重要，很重要啊。对吧但是它只给它自己用户用。

江鋆晨（嘉宾） (01:36:28)

这 AI 模型呢，未来也有可能这样。即使 anthropic OpenAI 大到像 YouTube Netflix 一样，也有很多是也有很多 AI 提供商会像现在视频服务商一样，大家都叫得上名。可能你的 traffic 没有像像 YouTube 或者 Netflix 这么多，但是还是非常重要的。我觉得，我觉得这是这是未来有可能出现的方向。那不管是什么方向啊，回到你刚刚说的第二个问题，对我们的影响。其实这件事我觉得很有意思，就是我们做的东西，它和模型本身并没有直接的并没有直接强绑定。我们做的东西是任何模型都会出现的问题。任何模型它都会有 KV Cache。至少现在肉眼可见的所有大语言模型，包括多模态模型，它都是 Transformer 架构。当然它可能 Transformer 和，这种 linear model 结合一下， Hybrid model，但是它永远都有 KV Cache。

江鋆晨（嘉宾） (01:37:28)

这个 KV Cache，如果所有模型把 KV Cache 需要存起来，它都需要一个独立的 layer。可以让它从不同的啊硬件从不同的啊，啊这个推理引擎，从不同的啊，然后存到不同的啊存储系统。

月球大叔（主持人） (01:37:49)

所以说，你们想做的就是完全把 KV cache 这一层和其他所有的存储介质，所有的模型都解耦开来，变成一个独立的套件。

江鋆晨（嘉宾） (01:37:59)

对啊。当然我们不是要和模型本身解耦，是毕竟 KV Cache 还是模型来生成的。但是我们要和其他的组件给解耦，比如说啊运行的环境对吧，存储的结构，存储的这个这硬件还有 GPU，这些东西都可以解耦。这其实现在 LMCache 就是在往这个方向走，让所有可以用啊大语言模型的这些系统，不管你用什么样的啊推理引擎，不管你用什么样的存储系统，不管你用什么样的推理的架构，这运行架构啊，它都可以把 KV Cache 存到 LM Cache 里面。LM Cache 就就是作为公共的 layer。

月球大叔（主持人） (01:38:36) †

那么这里有一个比较尖锐的问题。你们从推理引擎，从模型本身，从存储介质全部给接我开来，那之后的话，怎么样说服用户必须去用你们这个东西？我为什么不说直接用推理引擎本身自带的那个 KV Cache，或者说某种啊什么云上自带那种 KV Cache？

江鋆晨（嘉宾） (01:38:54) †

对。

月球大叔（主持人） (01:38:54) †

对吧？我为什么一定要买你这个服务？

江鋆晨（嘉宾） (01:38:56)

首先，开源这件事情就是让让大家有选择。对吧开源的最开源，用户最大的需求就是我，我用你的东西，也可以用别人的东西，我随时可以换。各个层上的这个选择，我可以我也选这个 engine，可以选这个 storage，可以选这个 GPU。就确实你如果从啊，我如果只给一个用户，让他现在的这个系统做到最好他以后再也不变了，那没有必要要做一个解耦的东西，他做一个强并耦的东西就可以。你像像苹果，他把他从芯片到应用全自己做了。是吧但是绝大多数公司并不需要，并不是这样的这种想法。所以啊确实有很强需求，需要有一个这个强解耦的 KV Cache layer。但是这 KV Cache layer 必须得在各种场景下性能都得足够的好，让大家看，让大家并不会觉得这个强解耦对于性能和对于这个 support 有多大影响。

月球大叔（主持人） (01:39:56)

所以说这就是你们觉得和其他家能够不一样能够持续做下去的一个目前为止的底层原因吗？

江鋆晨（嘉宾） (01:40:04)

是现在，对目前为止的一个一个重要原因啊。当然这件事不是那么容易做的。这是一个非常需要啊这个社区的这大家大家一起做的一件事情。因为你比如说要跟不同的芯片和不同的存储介质，要跟存存储商，要跟他们合作。我们没法去写这么多 code 的，我们不可能去写写这么多的这个 integrations 啊。这些友商得有工程师一起来做这件事情，才能可能做得成。

月球大叔（主持人） (01:40:34) †

那所以往深了讲的话，你们相当于制造一个工业界的 KV cache 的标准，希望大家一起来建设这样一件事情。

江鋆晨（嘉宾） (01:40:42) †

对。

月球大叔（主持人） (01:40:42) †

如果说某一家公司更愿意接入你们这个标准，那么可能的话，其他的模型厂商就更愿意用这一家的存储介质，或者某种存那个推理引擎。

江鋆晨（嘉宾） (01:40:55)

对这也是很多现在和现在和我们合作的公司和我们合作的这个原动力之一。就他们觉得，接入 LM cache 可以给他们更多的可能性，可以给他们啊和更多其他厂商合作的可能性。

月球大叔（主持人） (01:41:11)

这个可能在硅谷已经看到过不少这样成功的范例了。哈就是做大一个社区，做大一个开源，变成一个事实的标准。

AI 智能体与模型原生记忆

月球大叔（主持人） (01:41:19)

那么最近其实越来越火的一个 topic 就是 coding agent。之前你刚才也提到，就是你们是在做的一个大模型的记忆管理。如果说我把这个 coding 想象成一个一个在那个 GPU 当中存活的个体的话，那么你们相当于我理解就是，其实给每个 agent 都做了一套记忆管理，而且是模型原生的记忆管理。就是你存的是模型直接可以理解，可以用起来的记忆。那在这个场景之下的话，你们觉得相比于之前的普通的那种 chatbot，你们能提供的更大的价值是什么？

江鋆晨（嘉宾） (01:41:55)

首先 agent 是一个很有意思的东西。它的能力来源并不是来源于这个模型本身有多是不是更厉害了，而是它和环境的交互更多了之后，它可以有更好的它有更好的这个适应性。

月球大叔（主持人） (01:42:14)

这个东西，其实还是源自于一部分模型能力。

江鋆晨（嘉宾） (01:42:18)

是是是，模型得支持这件事情。但是你如果只去用模型一次，那是这个能力没有用上。对吧 agent 呢，是相当于把这种能力最大化了。但是在最大化的过程中，你和环境，和模型交互的这个次数也会变得越来越多。你知道模型在完成一整个任务过程中，需要记住的东西也会越来越多。并且他记住这个这些内容的复杂的这这，他这个，这不是简单的就把这些东西全记住。他需要不停的 shuffle，他需要不停的啊取出最相关的记忆。他需要找到哪些记忆跟现在啊，就哪些记忆应该应该放前，哪些记忆应该放后。就这些这些，你说交互越多，他记忆越多。你交互你那种你，你任务越复杂，他记忆的管理方式也需要越复杂。这些东西都是最后都是都是放到啊这记忆管理模块。现在呢，绝大多数记忆管理模块都是以啊人人可以懂的话去管理记忆，就人就管他的，管人话，就管那些那些文本啊，管管那些 code 啊，管管那些图片啊。我们呢管的是这些文本和人话，他在模型能理解的这个范畴里的镜像。

江鋆晨（嘉宾） (01:43:42)

你可以想象，他是把人话翻译成了模型直接可以看得懂的记忆，让你在那直接管模型的记忆。

月球大叔（主持人） (01:43:49)

这个其实前一段时间 Openai 一直在发一些相关的 blog。他们现在能够提供更好的 memory 机制。随着你用 Openai 越来越多，

江鋆晨（嘉宾） (01:43:56)

对。

月球大叔（主持人） (01:43:58)

它能够更好地吐出更适合你的一些那种，

江鋆晨（嘉宾） (01:44:01)

是是说实话，这个挺 annoying 的。这个挺 annoying 的。我我每次都 ChatGPT 说你，就忘了我之前跟你说的话。因为你知道很多时候我跟有时候跟 ChatGPT 讨论这个公司的事情。哈哈哈。然后我有时候会会问他是是一些其他的事，然后说这个这应该有有什么建议？干别的事。然后他就会突然蹦出来说哎，tensormesh 是哈哈哈。我说根本跟这个事一点关系都没有，你跟我说是以前的记忆。就他这个，他确实可以看到啊，ChatGPT 在啊想要啊想个人化你的记忆，想个人化你的记忆对你之后啊这个交互的影响。但是这有时候这挺 annoying 的。哈哈。

月球大叔（主持人） (01:44:45)

就是你们刚才说的是在管理模型本身那套记忆。

江鋆晨（嘉宾） (01:44:50)

对。

月球大叔（主持人） (01:44:50)

你，相比于这种在上层直接管理用户的 Prompt，直接管理用户过去的输入，这种 最大的优势是什么呢？你觉得。

江鋆晨（嘉宾） (01:44:56)

你可以这样想哈。所就一般先先有三类人，有三类所谓 AI engineers。你第一类呢，是真的写 train model 的人训练 model 的人。他们觉得他们改变世界的方式是改变 model weights，改变模型的权重。然后他 train 出个新的更好的 model 出来，大家都用这个 model。另外一类人呢，是写 application 的人，写应用的人，写 agent 写 agent 的人，对吧写 prompt 的人，写 context engineering 的人。他们觉得他们改变世界的方式是，给我最好的 model，我去改这个 context，我去改模型的输入，然后让模型呢就最大化模型的这个潜力。我们是做中间的人，我们是在走第三条路。第三条路是什么呢？是去直接看模型，一个 train 好的模型，和已经已经写好的 application，它产生在 model 自己模型内部的记忆，去尝试理解，去优化去存储模型的记忆。

江鋆晨（嘉宾） (01:46:04) †

可以让然后这个，这个方法，它可以有三个好处。它可以既提高系统的效率，同时又可以给你模型内部的一些 insight。你可以知道模型到底在想啥，你可以知道模型到底对什么关注。同时你也还可以改变模型的模型的行为。如果你篡改了，可不要篡改，篡改这个词有点不太好。就是你你如果优化了 KV Cache，那就可以改变模型的行为。你可以让他看对的地方，去生成对的结果，而不是看所有东西去看去生成一个平均的结果。

月球大叔（主持人） (01:46:37) †

你刚才在说这一段的过程当中，我脑子里边出现一个画面。就是最近特别火的一个词叫做 self improvement，就是自进化了，那些 agent 嘛。

江鋆晨（嘉宾） (01:46:46) †

对。

月球大叔（主持人） (01:46:46) †

就是用户和 agent 之间随着交互的越来越频繁，然后或者说是 agent 本身，可以用来去提升下一代模型的一个能力。哎，刚才听到你说能够去直接修改 KV cache，直接修改模型的记忆。有没有想过把这一套东西在那种自进化这一套那个体系之下？

江鋆晨（嘉宾） (01:47:10)

哎你说的对。你说的对啊。自进化呀，或者啊你说 personalization 啊，或者这这这种这种都是范式上的就是这目标上的改变。那你说我 AI 可以有一个新的目标，你要 self improving，或者说 personalization，这都是在目标上的改变。你有新的目标，像我刚才说有拥有三条路。第一条路 train model，第二条路改 agent application 改 prompt，第三条路改 KV Cache。这三条路呢，我觉得互补的，其实是互补的。所以所以确实这这是一个新的新的方向，然后 KV Cache 可以是条路。但我想说说就是，可能我没有强调这件事情没有强调很清楚。我觉得确实啊，我说的很多东西在多数人看起来啊非常奇怪。因为在多数人眼里面，kv cache 它就是模型在生成过程中的一个一个啊暂时性的数数据，这是个啊一个一个生成完了之后就丢掉了东西。

江鋆晨（嘉宾） (01:48:15)

大家不觉得这是，就很多做真的懂 model training 的人除了训练模型的人，在他看起来，kv cache 就跟就跟 GPU cuda 一样，这是他看不到的东西，他也不关心这个东西。绝大多数做 inference 人也觉得诶，这个东西就就是个就是个 model 自己生成出来一个天书一样没人看得懂的东西。但在我们看起来，kv cache 它就是金子，它就是未来的石油。这个数据可能现在大家觉得是欸，这个你说，不像 Prompt Prompt engineering 一样大家直接可以看得懂了，也不像模型训练一样，这么多公司在背后撑腰，说模型训练是未来。这个东西现在只有 Tensormesh 在说。说实话我们是是第一个做这个，也是第一个吃螃蟹的人。但是呢我们看得非常清楚，KV Cache 一定会是下一个做模型啊在模型优化和 Prompt 优化之后，下一个最大的机会。这个数据本身非常重要。

月球大叔（主持人） (01:49:14)

所以说你们感觉所有的 KVK 是能存储的都应该被存储，然后用于下一代模型，或者说下一代范式的提升。

江鋆晨（嘉宾） (01:49:22)

你可以这样说，但但那可能有点极端。但是确实，我们就觉得啊，任何的这就大家觉得重要的 context 上下文，任何重要的上下文，都应该变成 KV Cache 的形式。

月球大叔（主持人） (01:49:35)

无论如何嘛，咱们之前也聊过一个话题，就是乔布斯嘛，现实扭曲力。哈哈哈在一个世界上，

江鋆晨（嘉宾） (01:49:41)

你觉得我在洗脑是吧？

月球大叔（主持人） (01:49:43)

对无论如何，在一个世界上，如果说你相信一件事情，你不通过创业去扭曲一下现实，那人生也都没意思呀对不对？

江鋆晨（嘉宾） (01:49:53)

对当当然。但这样说吧，我觉得每个人的这个这个角度不一样。说实话你如果看乔布斯传，多数讲到现实扭曲力，这这这 reality distortion distortion field 这些东西都是个贬义词。绝大多数人看这个词是个贬义词。所以这说实话，这这中国，中国人说就就 XN 是吧？洋人说这个是现实扭曲力，但是但其实中国人说人话就是 XN。这不一定好事。但是呢确实，我们做的一件事情是一个工业界现在还没有承认的事情，或者说我们相信工业界即将会承认，但是还没有承认的事情。这是需要些需要些勇气的，我觉得。开这公司啊，然后用靠我们一点微薄的力量，去告诉大家说，这件事情真的很重要啊，是个很大的挑战。

月球大叔（主持人） (01:50:39)

那我也用一点微薄的力量把这些对话全部记录在互联网上。哈哈哈之后如果真的成真的话，大家可以来反复去看一下，好吧？是这个世界上还是有相信现实扭曲力，还是在一直在朝着现实扭曲力这个方向去做的一个人。

融资、行业共识与和自己赛跑

月球大叔（主持人） (01:50:54)

这一轮融资的话，你们有英伟达呀，有 AMD 呀，各个厂的那种融资。甚至说他们之间还有一些互相的竞争关系。你觉得你们是如何打动了他们？

江鋆晨（嘉宾） (01:51:07)

这是好问题啊。我我也一直以前我我以前一直是觉得啊，工业界呢是一个就非黑即白的地方。是吧这竞争关系，就说明他就互相看不上眼啊。说实话大家确实互相看不上眼，但是在互相看不上眼的时候，大家也会对某些技术趋势有有共识。很有意思就是他们，他们两家都分别觉得 KV Cache 这个技术他们是觉得非常有潜力的未来。我从来没有跟，至少，这 Nvidia 对我们这个技术感兴趣和 AMD 一点关系没有。AMD 对我们这个技术感兴趣也不是因为 Nvidia 对我们感兴趣。他们都是独立觉得 KV Cache 做到最好的，KV Cache layer 可以是是一个所谓让他们的硬件有最大发挥性能的能发挥最大性能的一个关键因素。所以他们都想在 KV Cache 上投入钱。他们自己人也会做，他们也会跟我们一起做。所以啊，我也不是说他们投了我们钱，他们自己就不做了。他们自己会做是吧？

江鋆晨（嘉宾） (01:52:18)

但是他们相信这个技术必须得，是啊就如果这个技术做不好，他们自己也完蛋，所以他们必须得投钱做在做这个领域最好的公司里面。现在呢我跟你说做做 KV Cache 估计最好的公司也就是我们了，因为这个这个领域还没有那么大。哈哈。

月球大叔（主持人） (01:52:36)

貌似，这个领域应该只有你们一家公司吧？哈哈哈对吧？所以这应该是你第一次公开谈及就是他们两家投资，并且在互相不知道的情况下投资你们的，一个啊，

江鋆晨（嘉宾） (01:52:48)

at some point 呢，他们是知道了。但是他们一开始找我们，都是啊互相不知道的情况下。对。但当然估计他们内部可能有人知道。哎，因为大家在跟 Tensormesh 做哎，那那 AMD 也去跟他们做。但是，来找我们的时候并不是因为这个。但是我觉得是真的，他们想觉得 KV Cache 是啊必须得有好的 KV Cache，啊这个技术，存储包括传输，传输存储和优化啊，才能让他们的硬件有最大的效率。

月球大叔（主持人） (01:53:19)

从上一次融资到这一次融资，一共间隔了多久啊？

江鋆晨（嘉宾） (01:53:22)

我们确实融了两轮当中过，隔了也就 8 个月吧。

月球大叔（主持人） (01:53:27)

那在过去这就是 8 个月到一年的创业当中，你觉得遇到的最大的困难是什么？

江鋆晨（嘉宾） (01:53:31)

最大的困难其实是如何在没有直接竞争对手的时候给自己最大的动力去往前走。因为在学界，你说在学学术界，我们以前写 paper 都有 DEADLINE。工业界没有 DEADLINE，对吧？工业界没有一个 paper 截止日期的对吧？当然，如果有有人跟你竞争，那也有个动力是吧？比如说大家熟知的两大推理引擎巨头，然后真有动力是吧？但是啊我们呢，没有这种这种这种特别强动力是外部因素来推动的，做这件事情。但是有也有，但是是那种，就大公司里面有些组像啊有些工程师，要这样 justify 他们的自己的价值，就去做一些这个。但他们并不是以以跟我们竞争的方式来做啊。就这是对我来说我觉得最大挑战，就如何跟自己赛跑。但确实我们都知道，这时间非常紧迫啊。现在还没有到 KV Cache 最重要的时刻。大家还没有意识到这件 KV Cache 这件事儿这么重要。等到大家真的意识到 KV Cache 这件事儿这么重要的时候，所有大公司都会抢着来做这件事情。

月球大叔（主持人） (01:54:54)

这么笃定吗？

江鋆晨（嘉宾） (01:54:55)

我绝对相信。我可以跟你赌。这件事情真真的是真。at some point，可能不需要一年。真的但到那个时候，所有的公司或大公司都会推出 KV Cache 相关的产品。我们到那个时候，必须得跟他们可以平起平坐，至少至少平起平坐，或者只或者超过他们，让他们追不上我们。这件事情是我们一直知道这是个压力。但这个压力呢，不像 paper deadline。paper deadline 就放那说说，你们说赶不上你，就你就 paper 投不出去了。这个呢没有这种 deadline。就我觉得这是一个，我就从学术界出来看做创业时候，非常非常啊，你需要你需要有种不同的方式来激励大家。

月球大叔（主持人） (01:55:35)

那我们就继续嘛。这个赌我们可以打。那我们之后看一看这个到底结果是什么。这是你过去遇到了最大的一个困难，就是如何跟自己赛跑。

从学者到创业者的思维转变

月球大叔（主持人） (01:55:44)

那么相比较你过去做学者这十几年，最大的思维转变和提升，你觉得是什么啊？

江鋆晨（嘉宾） (01:55:50)

那提升太多了。确实。你说这工业界里面那一整套东西我们都是第一次学。这相当于是这个这直接把你丢大海里跑，丢大海里游泳的感觉。这没有在泳池里训练过，直接把你丢大海里去游泳。因为做创业公司，比在大公司生存，需要的技能还是不一样，甚至有可能会更多。这是非常非常难的事情。学所以这其实学了很多东西。我甚至有时候跟我的这个学术界的这些朋友说，我说我这两年学的东西，比我之前 15 年的这个学术界的东西啊从某种角度上多还还多很多。那有一个我觉得很有意思的事情是，我以前从来就就去，你在工业，你在学术界里面说，说不定还会接触一些工业界，但在学术界里面从来不会接触投资人。这是个有意思的东西。投资人对对于我来说是个完全新的生物，新的这个对象。我说这从来没跟投资人聊过啊。投资人想要啥？投资人关心啥？这是真的。我幸好硅谷这么多投资人可以让我一个个练过去。不然的话，真的如果就两个投资人，我真不知道不知道不知道，这个这个错过这两个我就找不到了。我记得很清楚。

江鋆晨（嘉宾） (01:57:02)

当时我找第一次投资人的时候，那个啊 piece on Cindy 啊，其实都不是我找，是是张辉帮我联系的。当时啊我跟他啊见过几次，我都不知道他在面试我。过了几次之后，张老师说不行不行不行，我得跟你讨讨论，你这个东西应该怎么 Pitch。哈哈哈然后然后。然后过两天，还真的 Pitch 又找我了，然后就跟他又聊了一次。聊了之后呢，他也没理我。我一开始以为他他这个是这没有下文，这说明他没兴趣。但其实他每隔两周都来找我一次，我在想这到底有没有兴趣啊？这我这投资人是一个这是我从来没见过的生物。然后甚至有一次他直接跟着他那个跟他一起的一个 manager，直接飞到芝加哥来了。然后说跟着我跟我的那个那几个联合创始人聊一下。我当时想这么有意思吗？他说，他是去一个其他地方路过芝加哥。然后就行，我们找咖啡店聊一下。然后那天我就去学校边上咖啡店。然后那天开车去学校路上我跟张辉打打了电话之后，说张老师这个 Peter，他飞到这来是干啥？然后张老师说，你准备怎么跟他聊？

江鋆晨（嘉宾） (01:58:19)

我说我找个咖啡店。他说我去你这，你这太不正规了。就找他咖啡店聊一聊吧？你至少给他给俩做 presentation，你可以直接找个房间给他 present 一下。我说完了，我根本不知道他来是干啥的。哈哈哈。但是 Peter 其实他也知道这个第一次创业，这帮教授，也不知道这投资人怎么干的。就是他其实耐心非常好，他一直聊着。因为我当时也没有聊其他人，所以他也不急。等到他真的给我 offer 了之后，给我 term sheet 了之后，我突然在想哎，我是不是应该我是应该应该了解一下，这个 term sheet 里面到底有什么东西？然后我连夜给辉给律师打电话，说这个这应该怎么理解，这事应该怎么谈判？就这什么东西都是新的。我说投资人，这是一个很多教授都踩过的坑。我后来很多老师啊，因为我这个领域计算机系统领域里面，现在有很多老师在创业。大家都知道我在创业，大家都来找我，然后说说说我当时是怎么学这些东西。

江鋆晨（嘉宾） (01:59:23)

我说这没什么好学的，这个这投资人其实都知道，我们做不来，做不来融资。

月球大叔（主持人） (01:59:29)

哈哈哈那最后，为什么你觉得他们给你们这个融资？

江鋆晨（嘉宾） (01:59:32)

但说实话，投资人呢，看人下菜碟了。他是知道你这你你你们也不懂这个东西，我也不跟你来这些套路了。如果，你上来就，如果你是以前融过很多资的人，这个这搞过很多创业的人，你如果还犯这种低级错误，那我不能原谅你。但你这教授，反正你也从来没干过这事，是吧你犯些低级错误啊，也无所谓。只要你做的东西是真的，只要你做东西真的是他觉得是金子的东西，他看到未来的东西。我觉得这点呢，投资人还是有这个品位的。这至少啊，跟学界的人做过投资的，就合作过的投资人是有这个品位的。

月球大叔（主持人） (02:00:10)

就是自己的东西足够好，无所谓自己会不会那些套路，投资人自有自己的判断。

江鋆晨（嘉宾） (02:00:17)

投资人有他的判断。至少是，和学界的人做过的投资人，是有这个判断的。他们见过我们这样人的。

和学生共同创业：信任与决策

月球大叔（主持人） (02:00:25)

啊那么你就是在拿到融资之后，这个公司开起来了，和自己的学生开，最大的感触是什么？从师生身份变成了 Cofounder 身份。

江鋆晨（嘉宾） (02:00:36)

我首先说这有些东西确实没有变。我觉得，我有一个观点，可能很多老师会觉得有些奇怪。就是真的就老师很多时候创业不成功，有一大部分原因是学生没有跟他一起做。因为学生是师生关系，说实话，就大家可能看到一个好处是有一个非常稳定的结构，对吧？老师有 vision，大家 trust，相信老师的 vision。同时呢老师相信学生的执行力。这件事情是一个非常稳定的结构。但我觉得大家没有意识到的事情是，这个结构会对公司的发展，至少前期的发展有非常非常大的好处，有根本想不到的好处。就是很多时候，你说如果说大家这说实话，如果我是跟我一个朋友创业，完全不会有这么顺利。因为大家这个长处是没有磨合过，然后也是有可能是冲突的。对吧但跟学生创业，这点上是一个先天的优势。当然当然，很多老师会会说哎，我=我也没跟我学生创业，我学生不想创业，我自己出去创业，我找了个好的 professional CEO，最后做的也很好。也有的也有，也有非常多这样。

江鋆晨（嘉宾） (02:01:56)

但我觉得如果你要做真的做技术创业，和学生一起创业，是一个非常好的选择。并且我见过很多，我不说谁了，在我身边，一起同样背景的创业的，创业的时候没找上学生一起去创业，最后都没成。

月球大叔（主持人） (02:02:16)

百分百吗？

江鋆晨（嘉宾） (02:02:16)

几乎。这我小数就这样。所以所以，所以就没有啥统计意义。

月球大叔（主持人） (02:02:21)

那在这个过程当中，比如说肯定也会做很多的决策嘛。如果说学生同时反对你，甚至说有些决策，回头看来就是他们对了，你错了有没有这种事情发生？

江鋆晨（嘉宾） (02:02:33)

有有。绝对有绝对有。但是我觉得还是还是回到我说的这个结构，这个大框架的这个结构是有好处的。即使短期他们觉得哎，从技术上说，junchen 你这个你这个想法太激进了，技术上现在做不了。那我也会相信，他们说哎，确实你们说技术上做不了，确实我相信你们技术啊现在做不了这件事是对的。但是我就，你们如果 push back 说这个事技术上做不了，那前提也是你们觉得这个方向是对，但是只不过现在技术上做不了。大家大家有这个 trust 是吧？并不是因为他们不相信你的 vision，然后以技术的理由来搪塞你，而是真的，他们就觉得技术上做不了。然后我也相信你们，我也会相信，他们说你们是以技术的，就你们是真的觉得觉得技术上暂时不能做这件事，但是以后我们还可以讨论这个问题。对这是一个，我觉得这个这师生这个关系还是挺重要的。但是呢，换句话说，我们我们现在创业之后，三个人还是平等的。包括其实其实联创三个人，但是其实我们当时就啊开的时候啊，几乎所有学生都有原始股。

江鋆晨（嘉宾） (02:03:45)

大家都是一起创。只不过这 3 个学生毕业了，这两个学生毕业了跟我一起当，可以全职出来当联创。但其他学生呢，也是在在这里空闲很多东西。所以，我想刚刚说的就是一旦开公司，像你说的开公司，这关系就变了。关系是变了。大家是平等的关系，不是就同事的关系。但是呢这，因为之前有这个这一起合作的这个经历，他有这个 trust。我 trust 你的，我相信你的技术实力。他们相信我的 vision。

月球大叔（主持人） (02:04:12)

对这个 AI 时代，agent 时代，人与人之间的 trust 反倒成了最珍贵的一件东西。

江鋆晨（嘉宾） (02:04:19) †

反正我这种感触也是。因为大家都不 trust agent 的时候呢，就是人和人之间就帮的非常好。

月球大叔（主持人） (02:04:25)

很多时候就是有些事情，只有在互相很相信的情况下，才能走得走得长远嘛。比如一个人走得快，一群人走得远。

江鋆晨（嘉宾） (02:04:33)

对我特别特别相信这一点。

OpenAI API 与互联网的共同标准

月球大叔（主持人） (02:04:35)

对那么你最近在一些社交媒体上一直在转发一个论据，就是 Openai 的 API 就是他们的这种是新的时代的 IPv4。对吧站在一个网络系统的角度，然后这个观点，你能够继续深入讲一下吗？啊他们是 IPv4，你们是什么？

江鋆晨（嘉宾） (02:04:55)

这样子说吧。哎，我说那个论点其实是个我真的觉得是个有意思的论点。它并不跟我们公司战略或者是有没有什么直接关系。但这个论点本身是有深意的。像我说的，我们这 AI 现在经历的是一个啊刚经历了 Internet moment。你想 Internet，在 Internet 网在 90 年代末爆发的时候，他爆发了之后 20 年，你想想看，这就多少的这个这个啊就架构上的变化？这些价格上的变化，最后导致了因特网是个非常啊繁荣有非常丰富生态的一个一整套全球的系统。在这过程当中，你必须得有某些的部分它是啊就大家公认的，大家认为重要并且必须得啊，稳定下来的这些这些这些部分，这些节点吧。你可以说这个啊所谓层级结构里的节点啊。我们以前学网络，最大的一个漏斗结构，就你有你有中间一个细腰。细腰就是 IPV，就就 IP layer 啊。这个 IP layer 是所有的应用都会啊都会承认的一个一个通信接口。IP layer 上做 Innovation 是非常非常难的。

江鋆晨（嘉宾） (02:06:14)

大家在这个 layer 上面去，这个协议上做啊，创新非常非常难。曾经有有有个东西叫 IPV6，我不知道，大家知不知道对吧？IPV6 是大家都觉得比 IPV4，这比原先的这个 IP 的这个协议要好很多，你可以支持更多的优化，你可以支持更多的 applications。但是最后没有没有成，是因为所有人都已经在用 IPV4 这个协议。那为什么说这个历史呢？就是你在一个啊一个新的生态在野蛮生长，一开始高速成长期，它必定会有某些结构会被稳定下来。因为工业界大家都会意识到，如果这个结构不定下来，我们都没法发展。open AI API，其实不是 open AI 自己发的那个这这提供的那个 API。我说的是 open AI API compatible 那个 format，那个 query format 这种形式。这个东西就是现在所谓这所有这些提供商，应用提供商，模型提供商，还有这个推理推理服务商，所有这些人承认的一个中间的所谓稳定下来的这个这个结构。

江鋆晨（嘉宾） (02:07:30)

这个结构，其实我当时说这个事儿，其实是想要想要把现在的 AI 的这 ecosystem，以 AI 这这整套框架，和当时 Internet 发展了十几年之后那框架做个对比。就是说其实 AI 的框架它发展成熟的非常快。它有某些某些部分已经都都产生共识了。那为什么说这个上呢？就是未来会有更多的像 IP layer，像 Openai API compatible format 这种这种，这种 protocol 这种，这种稳定下来的结构，稳定下来的这个这数据形式是，会有更多这样形式在这这就发展出来。KV Cache，有可能就是下一个或者再下一个。KV Cache，因为现在啊，做 KV Cache 的人不多，或者或者想要复用 KV Cache，想要在不同的 service 服务之间传输 KV Cache 人不多。但等到这些服务越来越多了之后，KV Cache 也会变成这样的一层，也会变成类似的这样的一层东西。

月球大叔（主持人） (02:08:39)

还是回到 AI Infra 这个问题。你刚才一直在强调 KV Cache 变成一个独立的 layer 的重要性。那么你觉得现在除了 KV Cache 之外，有没有什么特别被低估的东西，之后的话可能会被大家特别的重视？因为就跟过去 20 多年的互联网的发展一样，哎呀，越很多宝藏是在后边被发掘出来的。

江鋆晨（嘉宾） (02:09:00)

对对对对。KV Cache 这个东西，很多人都以为它是跟 key value store 有关系，但没关系。它就是跟这两个 tensor，两个大矩阵。这跟传统数据库的 kv store 没有任何关系。

月球大叔（主持人） (02:09:15)

没问题。

江鋆晨（嘉宾） (02:09:15)

很多人听完我 talk 之后说，这跟 kv store 什么关系？我说啊完了，我白说了。哈哈哈这但 OK。那回到你你刚说的问题哈，就是啊我觉得有一个盲区，是什么呢？你知道，其实现在硬件提供商有个趋势，我把它管它叫 IBM 化。什么意思呢？硬件提供商他为了要啊最大化他的利益，最大化的他的这个 margin，他会把所有东西绑在一起，变成一台大型机，或者大型的设备一起卖。包括啊处理器，包括网络，包括存储，包括所有东西都放在一起卖。

月球大叔（主持人） (02:10:00)

哎呀我知道是谁了！

江鋆晨（嘉宾） (02:10:02)

对但是，但一想啊，这其实在走 IBM 的老路。我不是说 IBM 本身，这都是大公司，都是非常好的公司。但是啊你如果学习学习历史，你会发现，大型机最后并没有成为数据中心的主流。为什么？是因为大型机从技术上来说并不是最省钱的方法，并不是最灵活的方法，对吧？90 年代你如果去看那些大银行啊，都买的都是大型机啊。对吧大型机，就惠普啊，IBM 给他们做这种大型机。当时还是这这这 EMC 什么这都是做大型机。但是最后真的变成大规模计算的平台，是什么？是把便宜的 memory，便宜的存储，便宜的 CPU，便宜的网络把它连起来，用最聪明的方法把它连起来。这是后来 data center，对吧？你是标准化之后，用聪明的方法把小块的东西给结合起来。这件事情呢，其实我我觉得啊，这是这历史发展趋势，早晚都会发生的事情。但是不代表啊，大公司现在走这条路，这些最大的公司啊，走的这条路是这，他们一样会存在。

江鋆晨（嘉宾） (02:11:22)

但是我觉得早晚会有类似这种 competitor 出来，就竞争的，这种小型的啊，更灵活更啊 scalable，的这种更有延展性的这种这种系统出来。

月球大叔（主持人） (02:11:33)

所以说你觉得接下来的话，这些东西可能会逐渐被挖掘出来？

江鋆晨（嘉宾） (02:11:37)

啊有可能啊。其实你听说过一个词叫 disaggregation，分离式架构。做到最极端，其实就是把每一块东西特殊化，然后可以随时的替换对吧？你其实把它组合在一起的这个方法才是最大的，这个核心才是最难的部分。这件事情如果做到了，那确实会有一种新的架构出来。会有一种新的新的 AI Infra，就 AI 技术设施的这个这组织结构出来啊，有可能会是颠覆性的。但我这你如果问我说，这除了 KV Cache 以外有什么东西，我觉得 promising，that's promising 哎。

月球大叔（主持人） (02:12:16)

那我们就后边拭目以待。

选择模型、应用还是基础设施

月球大叔（主持人） (02:12:18)

好我们说，其实很多本科生或者在读一些研究生的同学，都觉得工作有点难找嘛。对吧如果说你给他们的一些建议，你觉得他们应该还继续押注大模型呢，押注大模型应用呢，还是押注大模型的 infra？

江鋆晨（嘉宾） (02:12:32)

首先，我觉得大模型还是非常重要的东西。大模型还是有很大的这个发展空间的。毕竟，做 AI 本身还是有，这件事情并不是个解决了的问题。大家大家都知道 AGI 啊，现在大模型的这条路非常 promising 啊，也有提高空间，但是很有可能会有一条新的路出来。对吧所以押注模型，或者是学习模型啊，不要去做大家已经都一直做烂的这个模型，就做些新的模型，我觉得是个好的方向。当当当然，这是这是对于研究员来说，就是读 PhD 的人来说哈。infra 最好去工业界。但是去工业界呢，不能是纯粹是真的就就是写程序的工业界，因为现在写程序能被 AI 替代的东西太多了。但 AI 替代很难替代的东西是什么呢？是人的这个，这是什么，这人能担责的能力。不是说你要你要说我特别有勇气，我说 AI 写出来 code，我可以我可以保证可以维护什么的。不是这个意思。而是啊你有能力可以去把 AI 给你写 code 这件事情啊结构化你。

江鋆晨（嘉宾） (02:13:53)

说了说了，说直接你就是啊，这英文叫 taste 嘛，这 design taste。你知道什么样的点你知道，什么样的设计好，什么样的设计更持续更持久，什么样的设计更好维护，什么样的设计更灵活。当然 AI 现在也有能力去帮你做做这些建议。但是很多时候，你如果自己都不知道什么是好，什么是坏，就像 AI 给你张画，你也不知道这画是好是坏，你怎么卖给别人？如果你的设计完全依赖于 AI，你写的 code 你自己都没法维护。对这是这，我觉得做 AI infra 的人一个需要考虑清楚的事情。那你说最后一个，做 application 是吧？做 application，哇这这个问题这个问题我就没啥发言权了。说实话 application 现在这个形势，我也非常非常难说。你说一方面呢，application 这东西发展前景可大了。你就这么多的这么多的现在用就以前的传统的这个商业模式都可以被 AI 颠覆。但是你颠覆了，完了回头两天又被 anthropic 颠覆了。

江鋆晨（嘉宾） (02:15:05)

是吧这个这确实我很难说，这事我真的很难很难预测。

月球大叔（主持人） (02:15:10) †

那这就是纯粹讨论了嘛，这个谁都很难说。

江鋆晨（嘉宾） (02:15:12) †

确实。

月球大叔（主持人） (02:15:13)

就是你现在把 AI 当成新一代的互联网，然后你做个 APP。然后很快，这个 APP 就变成它的互联网本身已有的能力了。

江鋆晨（嘉宾） (02:15:20)

对就很难很难说。

月球大叔（主持人） (02:15:22)

对那如果说对于你个人来讲，回到过去，你最不希望自己做出哪一个决定？最希望改变什么？

江鋆晨（嘉宾） (02:15:31)

如果如果让我再选一次我可能，所以说我会尽早开始做 AI Infra 啊。我如果当时就看到 Transformer 有这个有这个潜力，我会尽早开始做这个事情。说实话，我现在觉得 AI 你像我说嘛，23 年开始做这个东西，其实真的还是有点晚的。幸好这些学生，这些学生强。说实话你知道，我当时都不知道 KV cache 是啥。我当时第一次看到 KK cache 是说，这玩意好像可以复用，THAT's breakthrough。后来发现，这所有人都知道的事好像就是。我们，其实是运气好。真的是运气好。如果不是这些学生这么强，不是，就我们有一个一开始招到很好的人，就是包括商业上，包括技术上招到很好的人，完全不会是现在这种状态。所以如果如果要我再回选一次的话，我要不然说告诉我自己说这件事，这件非常非常有风险，你必须得想清楚，这个失败的概率太高了。或者呢我就告诉更早的自己说哎，你要知道，以后 transform 会成，你快点去做。哈哈哈这个。

月球大叔（主持人） (02:16:54)

因为你当时在 Microsoft research 实习啊，当时应该那边有很多很多的 AI Infra 大神，对吗？

江鋆晨（嘉宾） (02:17:00)

当时的 AI Infra 系统里面，AI Infra 做的都是 training。这点、我是一直相信的。我从来不相信 training infra 是未来。

月球大叔（主持人） (02:17:10)

就是太一次性了对吧？太不那个可持续了。

江鋆晨（嘉宾） (02:17:14)

这太幕后了太幕后了。

月球大叔（主持人） (02:17:18)

对你还你，你是更想做一些幕前，然后直接面对用户的那些，

江鋆晨（嘉宾） (02:17:21)

对。

月球大叔（主持人） (02:17:21)

infra。

江鋆晨（嘉宾） (02:17:23)

对对对。

给不同职业阶段的建议

月球大叔（主持人） (02:17:25)

那么最后一个问题吧，应该是一系列问题啊。我们分别给不同的人一些感悟，或者建议，都行。一给那个 22 岁的大学生啊，一个建议或者感悟，快要毕业那种。

江鋆晨（嘉宾） (02:17:41) †

啊。

月球大叔（主持人） (02:17:41)

对对吧？

江鋆晨（嘉宾） (02:17:42)

首先做对自己最有挑战性的事情。这点是我也听不少的人提过，我自己也非常同意。

月球大叔（主持人） (02:17:53)

AMD 的 Lisa Su 就一直在说，是吧？越年轻的时候要越勇于接受挑战。

江鋆晨（嘉宾） (02:17:59)

他不是我听到这个话的人之一。哈哈哈但是 good，他也说过这个话对吧？你先不用管这什么东西做的最适合你，什么事情做的就比如说收入更多，什么事情给你那个稳定最快可以稳定。22 岁，你做最难的事情，因为你只有做最难的事情，才能学得最快。我说实话，我去读博士，一方面是因为就是最好的就当年最好的学生去读 PhD 了，去美国读 PhD。但是读 PhD 是个非常非常难的事情。因为我们当时我记得我们当时这本科的时候，都觉得这写一篇 sigcomm paper 这感觉是不可能发生的事情。现在大家都觉得很容易了，是吧？所以做真的对你最有挑战的事情。

月球大叔（主持人） (02:18:57)

那么给二十六七岁的 PHD，你会有什么建议呢？

江鋆晨（嘉宾） (02:19:01)

二十六七岁一定是 PHD 吗？

月球大叔（主持人） (02:19:03)

先给 PHD 吧。

江鋆晨（嘉宾） (02:19:05)

PHD 如果，如果已经在 PHD 里边了 OK。那那我觉得想想是不是你真的想当老师。因为在这，我说的是 CS 哈，这计算机里面，如果是计算机里面，你如果想当老师，那必须得把 PhD 读出来，并且还是得做到这个这 PhD 这个领域里面最好的人。这是这是毋庸置疑的。但是如果你的未来不是一定想当老师，我觉得这个年头呢，想一想做什么样的做什么样的研究，可以啊让你接触到工业界最前沿的东西。因为工业界和学术界的关系现在是跟以前完全不一样的啊。为什么我这样说哈？就是这是个暴论，可能工业界的现在里面 PhD 太多了，或者工业界里面的这个研究生太多太多了。这怪我们自己，怪老师，怪学校生产了太多 CS 毕业生。哈哈哈对。工业界其实其实做做研究，如果真的工业有个东西值得做研究，工业界一定会做得很快。所以啊，如果你不是一定要去当老师，你不是一定要教书育人，那去想想怎么去怎么去做一些跟工业界最前沿的东西相关的工作。

月球大叔（主持人） (02:20:25)

PhD 的话就是只要不想当老师，就应该多去接触工业界。

江鋆晨（嘉宾） (02:20:29)

对接触工业界前沿的东西，而不是接触纯粹接触工业界。你接触工业界，你说你去工业界写个网页，没有用那，那真的浪费时间。

月球大叔（主持人） (02:20:39)

那个其实就是，如果能接触到工业界前沿的东西，该走人走人，不读这个 PhD 也可以不读对吧？

江鋆晨（嘉宾） (02:20:45) †

我没有这样说。哈哈哈哈。

月球大叔（主持人） (02:20:48)

这个已经很接近了对吧？好。其实就是现在工业界的资源多，然后工业界的 PhD 整个其实也有很多的研究氛围了。

江鋆晨（嘉宾） (02:20:57)

我并不觉得是因为资源多。其实最主要原因是因为太多的有研究背景的人在工业界。所以工业界如果真的有好问题，他们可以做的很好啊。只不过有些需要静下心来做的东西，那工业界肯定做不了。

月球大叔（主持人） (02:21:13)

那么对于那种已经在工业界，没有读 PHD 的二十五六岁的人呢？

江鋆晨（嘉宾） (02:21:19)

如果想读 PHD，现在是个好时候。为什么呢？因为你想哈，现在的工业界里面的人啊，最大挑战是什么？是他以前做的东西未来早晚会被 AI 替代。对吧你要充电，你要去想一个以后你的你的你的这 differentiator 对吧，你跟别人区别的地方。说不定说不定就你说，赚够钱了，回去读个 PhD 还是很合适的事情。哈哈哈真的真的。我们现在我们现在看到 PhD 的这个 applicants 里面，申请人里面好多都是从工业界来的。

月球大叔（主持人） (02:21:54)

其实就是这个 weave，现在赶不上，或者说已经赶上了能挣到一些钱的人，都回到学术圈，慢慢想一下，下个下个，

江鋆晨（嘉宾） (02:22:03)

对大家充充电。说说实话，你充电，不是一定要去啊去学术界充电是吧？啊你也可以，你也可以去 STARTUP 充电。startup 呢，有一个好处是，它有非常强大这个生存意识，要做新的无法替代的东西。你去那边做一个新的无法替代的东西，这就是充电。

月球大叔（主持人） (02:22:24)

对帮助自己在未来取得一席之地。

江鋆晨（嘉宾） (02:22:27)

对。

月球大叔（主持人） (02:22:28)

对。这个建议确实挺棒。就是你不读 PhD 的二十五六岁的人，你要么当然你可以去申请个 PhD，要么就好好去 startup，去创业为了未来去搏一把。

江鋆晨（嘉宾） (02:22:37)

对。

月球大叔（主持人） (02:22:38) †

哎这个建议如果说返回到 2020 年，2021 年 哟，那个时候 AI 已经有点日薄西山对吧？但是 Openai 其实在蓄势待发。

江鋆晨（嘉宾） (02:22:50) †

对。

月球大叔（主持人） (02:22:50) †

你那个时候一选择 Openai，哎呀直接一个起飞的不行了。

江鋆晨（嘉宾） (02:22:56)

哈哈哈对啊。但是，那时候，open AI 还其实还没有押注 GPT 呢。

月球大叔（主持人） (02:23:00)

对啊对啊。那越早越牛逼嘛。

江鋆晨（嘉宾） (02:23:02)

你如果去 open AI，做的是那个 RL 做那个做打游戏那个东西的，估计最后也是被裁了可能。哈哈哈。

月球大叔（主持人） (02:23:09)

但现在那个后训练之后，RL 又火了呀。这个经验是很难被取代。

江鋆晨（嘉宾） (02:23:14)

对对确实对。那这确实去啊，你说现在去 startup，或者当年去 openAI，都是我觉得非常好的选择。

月球大叔（主持人） (02:23:22)

那最后就是给 30 岁的就是职业生涯初期的这些人，你觉得有什么样的经验可以分享啊？

江鋆晨（嘉宾） (02:23:34)

这你这到 30 岁呢，你需要你需要考虑东西就多了多了。我觉得，确实你很难说我得只给自己最大挑战，这确实可能也不一定负责任。但是如果有机会，可以跟志同道合的人一起做一件大事，这种经历是非常非常少的。我不是说一定要创业。你可以在公司里面做一个啊完全跟别人这大家不一定看得上的东西。对吧你在学术界里面可以做一个，大家就没有那么多人相信的方向。或者说你自己创业啊，做一个真的有潜力，但是不是那么多人看好的东西。我觉得这 30 多岁还有这个机会，这一直都有这个机会。只不过三十多岁，这正好是有积累，并且你有可能啊长期把这件事做成的时候。我说实话跟我一起创业的几个学生啊，我最大的压力是别让他们浪费了这次机会。这你知道，这他们都可以拿很高工资的。

月球大叔（主持人） (02:24:47)

对啊那几个人的实力都太强了。我太知道他们的实力了。

江鋆晨（嘉宾） (02:24:50)

是。

月球大叔（主持人） (02:24:51)

那么其实经过今天的讨论，大家能感觉到就是鋆晨就是那种希望就是突破极限。对吧在能有的时间之内，尽可能的，无论是自己也好，还是给大家建议也好，去多做一下挑战自我，然后突破上限的事情。对吧这是你一以贯之的一个做人做事的方式。那么最后，就感谢鋆晨接受我们今天长达两三个小时的采访。

江鋆晨（嘉宾） (02:25:19)

谢谢。

月球大叔（主持人） (02:25:19)

希望大家能够喜欢。继续支持我们月球大叔的频道。谢谢大家。

江鋆晨（嘉宾） (02:25:23)

好的。

月球大叔（主持人） (02:25:24) †

好的。

† 该段至少有一处说话人切换或短应答需结合音频复核。