主持人： 月球大叔
嘉宾： 朱邦华

来源：中文字幕。正文依据字幕合并分段并补充标点，保留口语、重复与片头摘录。

说话人依据上下文推定，尚未逐段核对音频；标有 † 的段落存在归属疑点。时间戳对应原字幕，同一条字幕中的短问答可能使用同一个时间戳。

目录

片头摘录

朱邦华（嘉宾） (00:00:00)

甚至本科生有的会干的比 PhD 更好。

月球大叔（主持人） (00:00:02)

在去年，就是八九月份的时候被英伟达收购，然后去年 12 月又跑出来做第二家公司。

朱邦华（嘉宾） (00:00:07)

相当于是提了一些这个比当时 OpenAI 的 RLHF 稍微更好一些的算法。一旦到了比如说千卡甚至万卡 level，其实对于系统，整个 infra 的要求其实是完全不一样的。

月球大叔（主持人） (00:00:17)

其实说句实在话，就是见了足够多的人之后，你会发现正直善良真的很重要。

朱邦华（嘉宾） (00:00:21)

其实国内的同学其实 infra 的水平其实都很高。

月球大叔（主持人） (00:00:26)

其实在我的视角当中，就是一个判断力超强的人遇到了一个判断力超超强的人。

朱邦华（嘉宾） (00:00:31)

所以我就特别擅长考试。比如说就不管是当时高考，还是，当时在清华，我基本上也都是系里第一。

离开 NVIDIA，与 RadixArk 的愿景

月球大叔（主持人） (00:00:40)

大家好，这里是月球大叔。今天我们请到了朱邦华，也就是 RadixArk SGLang 背后的公司的 CTO，来接受我们的采访。 RadixArk 最近拿到了 1 亿美金的融资，可谓风头正盛。先让邦华来自我介绍一下自己吧。

朱邦华（嘉宾） (00:00:56)

嗯，大家好，我是朱邦华。然后现在是 RadixArk 的 co-founder 和 CTO。嗯。在这之前，我本科在清华电子系，然后在伯克利嗯， EECS 读 PhD。后面我毕业以后创立一家公司， Nexusflow AI， 主要是做这个 enterprise agents， post training 和强化学习相关。然后后面这家公司大概在去年年中被英伟达收购，我就加入英伟达去这个做 NeMo-RL 的一个 tech lead。然后最近的话就是我们，我和我的 long term collaborator 盛颖一起，嗯，这个创立了 RadixArk。对。很高兴认识大家。

月球大叔（主持人） (00:01:36)

就是在去年，也就是八九月份的时候被英伟达收购，然后去年 12 月又跑出来做第二家公司。因为我之前创过业，所以我我知道这一波肯定损失了很多很多被收购那波钱。是什么驱使你在损失这么多钱的情况之下，也要出来干第二次创业？

朱邦华（嘉宾） (00:01:55)

我觉得最重要的就是一个是：嗯社区的技术和人，还有一个就是公司的使命和要做的事情。我觉得这两点加在一起可能就是非常吸引我的点。这个我们可以之后也再展开讨论讨论。对。

月球大叔（主持人） (00:02:10)

那么能方便透露一下，你当时差不多放弃了多少钱吗？

朱邦华（嘉宾） (00:02:15)

这个具体不太能说，但是可能就是也算是足够躺平生活了吧。然后，但是肯定不如这个我们颖老板从 xAI 这个放弃的多。对。

月球大叔（主持人） (00:02:24)

好的，行，那我们就正式开始今天的访谈。我们先聊一下创业这一段，好吧？就是聊聊 RadixArk。最近这家公司风头特别特别的旺盛，刚拿到了 1 亿美金的融资，然后估值有 4 个多亿。嗯，和国内的 DeepSeek 呀，等等都有很多的合作，和北美的 Thinking Machines 也有很多的合作。就是能不能跟大家介绍一下 RadixArk 这家公司在做什么？你们的愿景是什么？

朱邦华（嘉宾） (00:02:52)

嗯， RadixArk 其实本质上就是在做一件事情：其实就是把 Frontier AI Lab 这种级别的甚至是比他们更好的这样的一个 AI 基础设施，去这个， democratize，变成更多这个公司啊，开发者他都能用上的一个更加 open，更加 reliable， efficient 的这样的一个 AI infra，然后把它做好以后 share 给所有人。然后所以本质上来说的话，我们其实是一家 AI Infra 的公司。然后呢，核心的话是围绕大语言模型的这个训练和推理系统。然后在训练这边，我们现在在做一个 RL 的强化学习的框架，就是 Miles。然后在推理这边的话，我们做一个开源的这个这个推理开源的推理框架就是 SGLang。

朱邦华（嘉宾） (00:03:36)

然后这 SGLang 和 Miles 都有很多开源的上的 adoption，然后包括北美这边基本上头部的几家这个 Google Microsoft Oracle NVIDIA AMD 等等，也包括国内的阿里腾讯、字节等等，其实大家都有很深的合作。对。

月球大叔（主持人） (00:03:55)

嗯，你刚才提到了你们既做推理也做强化学习。在创立这家公司的时候，是怎么让你们定了这两个方向一起开始做呢？

朱邦华（嘉宾） (00:04:04)

对。嗯，其实因为我们是一家嗯基础设施建设的公司，嗯，所以其实我们希望的是把 AI 的整个 life cycle 其实都能够 cover 的比较好。这个其实就包含了这个目前 AI 最相关的 Infra 其实就是 pre-training 到 post-training 以及最后到 inference。就是先把模型训完然后再去做它拿它去做推理。然后 pre-training 这块的话，其实这个需要的公司，因为它投入的成本很大，所以想做 pre-training 的公司其实不多。然后 post-training 就是 RL 这块，其实它反而是这个会有更大的需求。因为相比 Pre-training 来说，它的成本会更低，同时你又可以通过 RL 的方式能在某一个特殊的任务或者是你感兴趣的一个 agent task 上面能够把模型提升得非常非常好。

朱邦华（嘉宾） (00:04:49)

然后当然推理这边就是最大的需求，因为所有的有基本上所有地方，如果需要使用 AI 都是需要这个 talk to AI 然后使用一个 inference engine 去做推理。所以这个需求来看的话，其实是 pre-training 是小于 RL 小于推理的。所以我们现在是先从推理开始，然后一步一步做到 RL 的 infra。然后甚至一步一步有可能的话，也会做到 pre-training 的 infra。

月球大叔（主持人） (00:05:14)

刚才你说了，你们帮了很多公司打算做 post training 也就是强化学习，因为前一段时间的时候有一个公司叫做 Cursor，他们用了国内的 Kimi 的模型进行了 post training，你觉得这种方式之后会成为主流，是吗？因为你们选择了这样的商业模式。

朱邦华（嘉宾） (00:05:32)

嗯，我们是想，我们的愿景或者是我们的押注是觉得这样这样的事情会越来越多的发生。是因为嗯之前大家有这么多的开源模型，大家大部分的需求是直接去和这个开源模型交流。但随着越来越多复杂的 Agentic task 这个不断的涌现，其实这个如果你做很多推理的时候，其实 naturally 会有会产生非常大量的数据，然后这些数据其实是非常有助于去在这些 agent task 上面进一步提升模型的能力的。尤其是一些 private data 一些， private vertical sector 的 data 其实是非常，对于 rl 来说非常有用。所以 eventually 如果大家为了从一个降本增效的角度考虑，是肯定更愿意去先把这个模型训练一下训练到自己这个更满意的状态，然后再去做 Inference。所以就像 Cursor 一样。

朱邦华（嘉宾） (00:06:24)

他们也会比如说先把 Kimi 进一步提升在 Cursor 内部的能力，就是 Cursor 比如说自己的 agent 相关的能力上，然后再去做 inference。对。

月球大叔（主持人） (00:06:35)

所以说整体来看的话，在你们的视角，这就是一个很好的闭环，对吗？

朱邦华（嘉宾） (00:06:40)

是的。

月球大叔（主持人） (00:06:40)

我帮他们提升私有模型的能力，他们用我的推理，推理的同时又能拿到数据，继续帮他们提升私有模型的能力。

朱邦华（嘉宾） (00:06:49)

对，可以这么说。

月球大叔（主持人） (00:06:50)

那么这两个方向的话，你们觉得商业模式啊，之后的发展呢？你们是怎么看待的这个问题？

朱邦华（嘉宾） (00:06:57)

目前其实最直接也是最大的这个需求，尤其商业上的需求，肯定还是推理侧。嗯。强化学习这边我觉得是，或者是所谓的这种 post training for agent，嗯，其实是刚刚起步的状态。就是有，慢慢有越来越多的人会意识到就是说你可能需要训练一下模型。这个事情它最开始的时候只发生在 frontier lab，大家会说我需要训练模型，然后给大家用作推理。然后慢慢的会传到一些 NewLab 和这个 AI native 的公司，比如说 Cursor。然后再往后，我们我们觉得也会慢慢会传到这更离更 AI 稍微更远一些的公司，就传统的企业，包括包括财富 500 强公司。如果一旦他们意识到他们需要用的 AI 的能力其实是这个 bar，是超过了这个他们现在 AI 能提供的能力的时候，他们可能就会选择去自己再做一些 post training，然后再去把这个再去做 inference。

月球大叔（主持人） (00:07:45)

明白。这个 Neo Labs 呀等等这些话题，我们后边可以再慢慢展开，好吧？

朱邦华（嘉宾） (00:07:52)

对。

SGLang 的缘起与转向大语言模型

月球大叔（主持人） (00:07:53)

然后因为我是比较了解 SGLang 这个社区的。一开始的时候你就参与其中了吗？还是后来有成立公司的时候才慢慢加入的？

朱邦华（嘉宾） (00:08:00)

我其实这个一直都，一直到加入公司之前，其实也都不算是 SGLang 的社区的人。对，这里面其实是一个比较长的故事吧。我其实和盛颖和郑连民，然后他们两位是 SGLang 的这个 co-crea- co-creator。我们三个其实是在读 PhD 的时候就是比较好的伙伴或者是 collaborator。然后当时，是我在读博，读 PhD 第五年，嗯， GPT 刚出来的时候，我在这之前我一直在做这个 Machine Learning Theory，和这个 Statistics，这个， Reinforcement Learning Theory 等等。然后嗯，当我用 ChatGPT 的一刹那，我觉得这个，感觉这个可能会是一个划时代的东西。所以我在 22 年年底， 23 年年初的时候，我决定要，这个就是做一些和 language model 和 GPT 更接近的一些的方向。所以当时我就就是在找到底应该做什么样的方向。

朱邦华（嘉宾） (00:09:05)

所以我当时其实非常积极地 outreach outreach 了非常多的人，就是想和大家一起去合作。理解一下大家在做什么。然后当时 outreach 比较嗯，比较 responsive 的，嗯，其实是两拨人。然后一拨是 John Schulman，然后他是这个 OpenAI 当时的 co-founder，然后也也是相当于伯克利的师兄。然后呢当时我，嗯，我们当时做了一篇 RLHF theory 的 paper，然后相当于是提了一些这个比当时 OpenAI 的 RLHF 稍微更好一些的算法。所以我当时 email 给 John 说，我们可能有一个更好的算法，我们可以一起讨论讨论。然后 John 回得非常快，然后我们其实就嗯讨论了非常多关于 RL 怎么设计，关于， LoRA 甚至是关于一些其他系统上的问题。对，然后我们就至今也还会经常一起交流想法。然后另一封邮件其实就发给了这个盛颖。

朱邦华（嘉宾） (00:10:00)

因为当时他们有一篇最早期的 paper 叫 FlexGen，是一个这个讲在大概是在大大大概是在 CPU 上怎么做 LLM Inference，一个非常早期的 Inference paper。我当时读了以后就觉得非常有意思。然后就直接 reach out 到盛颖，然后盛颖后来这个又把当时在伯克利的郑连民一起拉过来。所以我们三个就开始做了很多很多这个在 research 上的合作。然后后来他们他们两个是非常非常有想法的人。然后当时就是连续做了包括 LMSYS，这样一个 non-profit organization，然后在下面有很多开源的项目。包括这个 Vicuna，是一个最早期的 distill 的 language model，然后也是在 hugging face 上大概有千万量的这个 download 在那个时候。

朱邦华（嘉宾） (00:10:42)

然后后来做了 Chatbot Arena，然后也是一个这个非常非常火的一个嗯 model benchmark 比较的一个这样一个 tool。当时 OpenAI Anthropic 然后 xAI 就大家都在刷这个榜，来去这个证明自己的模型是最强。然后这个后来也变成了 LM Arena，然后现在也是一家大概 1.5， billion 左右的公司。然后后面呢，盛颖和连民就开始做这个 SGLang。然后当时其实这个，嗯，就不得不提，在 SGLang 之前还有一个 competitor 或者是一个另外一个非常 popular 的 open source inference engine 叫 vLLM。然后呢，他们其实当时做得非常好，然后也已经做了将近一年。然后我其实个人当时不是特别看好 SGLang。

朱邦华（嘉宾） (00:11:29)

因为我觉得如果你在一个 domain 已经有一家做得非常非常好 domain 的情况下，你再去做一个完全一样的这个或者是非常接近的一个产品，和和一个 open source software，他可能就没有办法去这个就是说服别人去使用 SGLang 而不是 vLLM。然后，所以那段时间我其实就是在和我的导师做第一家公司， Nexus flow AI。然后呢我们也没，我也，就基本上没有参与 SGLang 这个 project。然后但是经过那一两年，其实 SGLang 就是经历了各种各样的事件吧，但是 eventually 就是这个它的 adoption 变得越来越好，然后呢就是社区也越来越活跃。有很多人都愿意去贡献 SGLang 甚至有很多人的这个职业生涯或者人生轨迹都是因为 SGLang 这个有所改变。所以就是大概在去年年底的时候我和盛颖和又又非常多的聊了一下这个话题，然后 catch up 了一下。所以我是觉得这个社区变得越来越好。

朱邦华（嘉宾） (00:12:25)

然后同时大家也想不光是只做推理而是做更多和 Frontier Infra 相关的东西，也包括训练，然后这个就是和我的 expertise 可能也也就会更 match 一些。所以我大概就是在那个时候我就决定可能可以就是和大家一起做做更多的开源，然后做更有意思的 frontier 的 system research。

月球大叔（主持人） (00:12:47) †

妈呀，这个信息量这么大吗？这刚才这个……

朱邦华（嘉宾） (00:12:49) †

没事，没事，没事。

月球大叔（主持人） (00:12:50)

okok 刚才这个故事真的是特别特别的长。出现了 John Schulman 呀， OpenAI co founder 呀，然后 LM Arena 呀，然后 SGLang 呀， vLLM 等等各种社区，各种名人，对吗？我在听你刚才讲述这一段的时候，我就发现你的反应非常非常的快。在那一瞬间，就是因为当时我也是 PhD 刚毕业，嗯，也在做一家公司。但是当那个 GPT 出来的时候，其实身边的很多人都是在质疑，哎，幻觉太多呀，然后这个东西可能只是昙花一现呀，等等等等。你当时有多笃定这个事一定会是下一波浪潮？

朱邦华（嘉宾） (00:13:26)

嗯，我其实当时，我，当时完全没有接触过 NLP。所以其实我在 GPT 出来之前，我其实都不知道有 GPT 2， GPT 3 的存在。

月球大叔（主持人） (00:13:36)

我也不知道。

朱邦华（嘉宾） (00:13:37)

对，所以，所以当时的时候我就觉得，我就试了一下 GPT 3.5，它这个写 code 就其实写的现在来看非常非常烂。但当时就是，我从来没有想到，就是说一个一个这样的一个 next token prediction 的 machine 它能把能够把一个比如说，简单的 Leet Code question 它能给你写出来，我这个事情当时确实是让我非常震惊。然后我其实当时的导师这个 Michael Jordan，嗯，其实我跟他说过这个事的时候，他其实也是比较质疑的。他觉得这个在统计上来说，其实就是一个 next token prediction problem 它和以前的东西没有任何区别。然后他觉得这个可能只是就是另一次 OpenAI 的炒作吧。

朱邦华（嘉宾） (00:14:14)

但是我我我个人是觉得，就是说如果在那个阶段，在，就是说并没有做很多非常仔细的这个 training 的情况下面，他就已经能达到这样一个水平，那如果你接着 scale 的话，不管是 scale，嗯，当时是 scale， parameter 后面是 scale，比如说更多的 data、更多的这个 response length 就是这个 test time thinking 这种，我觉得可能它的潜力会非常非常大。所以我当时这个试用完我就觉得可能必须要投身这个方向。对。

月球大叔（主持人） (00:14:44)

哇，你这个认知有点太深刻了。在当时那一瞬间你能反应过来这个东西做的还比较糙，然后只要慢慢的慢慢 scale 更多，然后做得更精细化，接下来效果一定会更好，然后上限可能短时间都看不到。你在当时就已经有这种认知了。

朱邦华（嘉宾） (00:15:00)

嗯，准确来说的话是这个，就因为我们是做理论的，所以其实我们当时看了一下比如说当时他后训练 RL 里面做的一些这个算法，就发现其实就非常的 Ad Hoc，就说它不是特别的 principle。然后有很多方法是可以把它这个算法提升得很好，但他当时没有这么做。所以我就知道可能这个东西可能也是就是比较比较着急地堆起来的一个一个东西。但是它确实，对，我觉得其实当时比较， surprising 的一个点，其实就是这样一个 RLHF 算法就是看起来非常 trivial，非常 straightforward，它居然能够让这个模型能够变得如此的那个自然的和人交流。这件事情我觉得就是如果你让我去 predict，我会 predict 出来完全相反的结果。我会觉得这个算法不可能 work。对，这一点我觉得其实至今我都觉得非常神奇。

月球大叔（主持人） (00:15:48)

就是你刚才说这段话确实让我很震撼。因为怎么说来着？就是前一段时间不是姚顺雨在采访的时候说，不要相信老登，然后自己要有自己的判断，就类似于这样的言论。反正你在那一瞬间把这个事看得这么清楚，因为本身你也有很，因为本身你就是强化学习的 Ph D，强化学习理论的 Ph D。

朱邦华（嘉宾） (00:16:04)

嗯哼。

月球大叔（主持人） (00:16:08)

然后你就发现这么糙，然后结果还这么好，那如果说真的做对了，或者做得更精细化，那还了得，是吗？就这种感觉对吧？

朱邦华（嘉宾） (00:16:14)

对，是的，对。

月球大叔（主持人） (00:16:15)

哎，太厉害太厉害了。哈哈哈，就是这个这个这个，就是这波浪潮就是应该就是你这样的人来那个，就是，怎么说来着？就这波浪潮就是应该由你这样的人来引领。反正我刚才听完那一段话的时候，我就这样感觉的。就是你准确的判断出来了接下来的一些发展。同时又跟很多目前的当红的人都有交集和沟通。然后你就 all in 了，对吗？

朱邦华（嘉宾） (00:16:45)

嗯。差不多，但是我其实觉得现在还非常早。我觉得其实就是说这个在这么一个早期，其实谁都有机会。所以这个游戏才刚刚开始。

月球大叔（主持人） (00:16:54)

对。在 2026 年，五月份，你觉得游戏才刚刚开始。

朱邦华（嘉宾） (00:16:58)

对，是的。

Thinking Machines 与新模型适配

月球大叔（主持人） (00:16:59) †

行，那我们后边再展开一下这个话题。对， OK， 那就是因为你刚才也提到了 John Schulman 嘛， John Schulman 不仅是 OpenAI 的 co founder 还是 Thinking Machines 的 co-founder，对吧？然后 Thinking Machines Lab 最近也发布了他们自己的新的那种多模态交互的模型。然后在 x 上也发现它和你们的互动特别多，而且说了也是你们提供了一些 infra 的支持。然后你能跟大家介绍一下你认为这是一个不同于 OpenAI Anthropic Gemini 的一个怎样的模型吗？以你的认知。

朱邦华（嘉宾） (00:17:31)

对。嗯， Thinking Machines 他们发布的是这个 interaction model。然后他们其实，嗯，放了很多大量的这种演示的视频，确实非常的 impressive。其实它就是一个更加 real time 的一个 voice 的交互的一个模型。也是他们一直我的理解，他们一直想做的一些就是说，更偏 multimodality 的一些， Human AI interaction 的一些新的尝试。所以我其实一直觉得，很喜欢 Thinking Machines 的文化在于就是他们很愿意去让人让大家，允许， researcher 去尝试各种各样不同的东西。然后呢，就算这个里面有些尝试的结果可能是不是特别好的，但是他们总会有一些尝试的结果他能够最后 flourish，成为一个就是比如说引领下一个时代的一些东西。

朱邦华（嘉宾） (00:18:14)

所以我自己还没有玩过这个 interaction model，但是我觉得，看到他们的这个很多 demo 我其实觉得非常期待能够这个试用一下。对。

月球大叔（主持人） (00:18:24)

那比如说在 SGLang 和 Thinking Machines 合作的过程当中，有什么比较有意思的事情，你觉得可以分享给大家吗？

朱邦华（嘉宾） (00:18:32)

这个目前暂时还不可以，但是只能说敬请期待。

月球大叔（主持人） (00:18:35)

明白。那么你觉得对于接下来这种新的交互模型，对于大模型 infra，比如说 SGLang 这样的推理 infra 的范式会有所改变吗？

朱邦华（嘉宾） (00:18:46)

我觉得它首先它是一个已经是一个非常 multi-modality 的模型，就是它会有语音的 input 和语音的输出。然后呢这部分就是尤其是对于，比如说这个怎么去准备这样的 data，比如说你看到，你会看到 Thinking Machines 这个自己的 release blog 里面会说，它这个模型它知道该什么时候去这个等你，他什么时候去这个去这个回话。然后这些其实都是在 text 里面它可能不会不太会不太会出现的这种非常嗯，自然的一些这种 multi turn 的这种对话的形式。所以这个其实对于这个整个 data pipeline 来说，它会有一些很不一样的这个东西，和和普通纯 text 很不一样的东西。然后呢，同时，当然这个语音模型的话，它其实就包括这个 token 的设计，以及就是说这个整个这个 infra 的设计，对于就 omni model 的支持，其实都会是一些新的挑战。

月球大叔（主持人） (00:19:36)

那么当然了，不止和 Thinking Machines 呢，和国内的很多公司，大家都知道，其实 S G Lang 就是永远都能在 D1 当当这个模型发布的时候就做出支持，在这个过程当中你觉得，啊，实际上付出了怎样的努力呢？

朱邦华（嘉宾） (00:19:50)

对，做这个生态其实是需要很多这个这个 coredev 小伙伴夜以继日的这个努力和支持。然后这个尤其是在于有非常非常新的 architecture 出现的时候，这个它对于推理的 infra 甚至是训练的 infra 其实都会有更多这个挑战。比如说 DeepSeek V4，其实它在 model architecture 上做了非常非常多的创新。这个就导致了这个在做推理和做这个训练 Infra 的时候，其实大家要针对他们的特殊的 architecture 做很多新的优化和改动。比如说 SGLang 这边提出的一些 ShadowRadix，是针对于这个 prefix cache 的一些专门针对 DeepSeek V4 的一些改动然后和优化，以及就是说这个甚至是一些 Hi Sparse 针对这种 sparse attention 的一些优化等等。

朱邦华（嘉宾） (00:20:40)

所以当时，比如说做 DeepSeek V4 Pro 这一个 project，可能就花了大家这个可能有一半的 core-dev 的时间，这甚至公司一半的人大大部分的精力，去支持这个事情。对，当然结果也是非常 rewarding。就是，就是对于这个 DeepSeek V4 在刚开始拿到的时候的 performance 和最后这个 SGLang deliver 的 performance，他们真的就是优化了非常非常多倍。

月球大叔（主持人） (00:21:03)

那在整个过程当中，作为一个 CTO 你觉得你的角色主要的作用是什么？

朱邦华（嘉宾） (00:21:09)

嗯。我目前来说的话，其实做训练还会更多一些。然后呢 DeepSeek V4 这个事情，其实我也是比较后期才这个参加。所以其实就是说前期的一些工作，很多时候都是由公司另外同学在在调度。对，大家都非常的靠谱。

月球大叔（主持人） (00:21:26)

对，就是大家都太强，就自发了，这个这个事就能搞定，对吗？

朱邦华（嘉宾） (00:21:30)

对，是的。对。

月球大叔（主持人） (00:21:31)

OK。那就是因为和这么多的中美不同的大模型公司都有合作，你觉得体验上最大的不同是什么？

朱邦华（嘉宾） (00:21:38)

嗯。我觉得体验上的话，其实国内的同学其实 Infra 的水平其实都很高。然后嗯大家可能写 code，然后都写得非常快，非常 reliable。然后美国这边的话，其实我觉得大家这个，做从零到一的事情的能力其实觉得更更天马行空一些。就说大家其实更，想的会更，有有更多，更 crazy 的 idea。有有很多可能不会 work，但是一旦有一些 work，它其实就能创造一些非常更新的东西出来。但是一旦这个，比如说大家知道这个事情大概是怎么做的时候，我觉得就是国内的小伙伴从一做到一百，也是做到 perfect 这个能力是非常非常强。

中美模型差距与强化学习环境

月球大叔（主持人） (00:22:20)

对，我在硅谷也采访了很多 AI infra 的同学。然后大家都说，如果一个社区里边，当一个框架基本搭起来之后，尤其是对于一个 AI Infra 的一个 project 的，如果说中国人的数量不能超过一半的话，这个项目的代码质量会急剧下降。你同意这个说法吗？

朱邦华（嘉宾） (00:22:36)

嗯。我只能说这个美国人也有很多很多非常强的，但是。嗯我觉得现在这个时代就是因为，嗯，因为 AI 这个事情，它其实是主要就是看 coding 和或者是一些 math 的 capability，就说是人的这个能不能去比较好的理解怎么去写最好的 system，或者是这个做最好的 data 和算法。然后在这方面，其实我觉得都是中国人比较擅长的吧。

月球大叔（主持人） (00:23:04)

对。那我们继续聊一下这个就是刚才说的那个对比嘛。就是 DeepSeek V4 这些开源大模型，包括 Thinking Machines 啊，还有 OpenAI 啊， Anthropic 这些闭源大模型，因为你们是第一线在支持这些模型的选手，你们觉得模型的差距有多大呢？ 6 个月？ 1 年？

朱邦华（嘉宾） (00:23:22)

嗯，我其实觉得你得看地域。就是如果你比较的是嗯中国的开源和美国的闭源，我觉得大概是 6 个月。如果你比较的是美国的开源和美国的闭源，那大概可能是更接近于一年。对。

月球大叔（主持人） (00:23:36)

就是美国这些 New Labs 的开源和美国的闭源长达一年？

朱邦华（嘉宾） (00:23:42)

啊，美国现在倒还没有什么太多 New Labs 这个还在做这个开源模型。然后就是就是我我只是说 release 的这一些，比如说，比如说 NVIDIA 的 Nemotron 模型。

月球大叔（主持人） (00:23:52)

这个我知道。

朱邦华（嘉宾） (00:23:53)

因为我们我们之前从 NVIDIA 的 Nemotron 出来，所以大家是在这个还是在走一个 catch up 的这个路线，但是最近的进步是非常非常快的。所以可能这个距，我我觉得这个差距是在慢慢缩短。对。

月球大叔（主持人） (00:24:06)

所以说美国的开源大模型距离中国的开源大模型差 6 个月。中国的开源大模型比美国的闭源大模型差 6 个月。大概是这个量级，对吗？

朱邦华（嘉宾） (00:24:14)

我觉得差不多，对。

月球大叔（主持人） (00:24:16)

因为你亲自就是做过这些模型嘛，那你觉得这些模型的差距主要来自于哪些方面呢？ Infra 数据啊，算法调优啊，。

朱邦华（嘉宾） (00:24:23)

嗯，对，我觉得这个也分中美。就是从开源大模型的角度来说，我觉得国内的话，其实大家的 Infra 其实做的还是挺挺不错的，挺 solid 的。但其实可能数据这边是一个比较受限的地方。我其实反而觉得，就是说，因为国内，可能， For some reason，这个大家其实对于真正的复杂的 RL environment，投入可能可能不会比美国这边多。所以其实这个在美国这边，就说大家不断地去 invest in 这个更复杂的这个 agentic RL infra 的时候，国内这边它就会稍微有些落后。

月球大叔（主持人） (00:25:00)

刚才聊到了强化学习环境这一块，能跟大家深入讲一下这一部分吗？

朱邦华（嘉宾） (00:25:05)

嗯。就是强化学习环境是一个比较容易被忽视的一个，但是也是非常重要的一个 AI infra 的一环吧。就是说它这个尤其是在现在这个大家 agent 环境越来越复杂的情况下面，其实很多时候，这个大家的 bottleneck 这个甚至是整个 training 的 bottleneck，很多时候是在这个 function calling 它的一些这个 latency 没有办法控制，然后甚至就说这个 concurrency 不够高上。所以这也是为什么最近大家这个突然发现 CPU 非常重要。因为很多时候这个这个比如说在做 code execution 啊，这，一些其他的这个 multi docker 的这个 environment 里面，这样的一些 cpu 上的调度其实变得越来越重要。然后这块的话，就是一方面是这个 AI infra 这个也带来一些新的对于针对 AI Infra 的挑战。

朱邦华（嘉宾） (00:25:51)

然后另一方面呢，其实也就是说构建真的非常高质量的这种环境，尤其是怎么去设计这个 reward 是一个艺术问题。所以就是说能够去把这个 reward 设计好，同时就说能够让这个模型在复杂的环境下接着涨点，甚至就说你在多轮的这种像 Claude Code 这种 environment 里面，怎么去 simulate 一个非常好的 user？这些都是一个非常 open 的一些扩问题。所以就说如果能把这些数据都做好的话，其实强化学习应该还有很大的路可以走。对。

月球大叔（主持人） (00:26:21)

那所以说你觉得比如说硅谷有很多这种强化学习环境公司，比如说 E 2 B 啊，我知道的，你觉得很有必要，对吗？

朱邦华（嘉宾） (00:26:28)

嗯，有的是强化学习环境的 infra 嗯。有的是就是专门构建这个强化环境强化学习环境的这个数据，也就是这个 prompt 和和这个对应的这个 reward，然后去卖给这个 frontier lab。然后我觉得两两者都很重要吧。对。

月球大叔（主持人） (00:26:43)

这一点又比较奇怪的一点就是在国内的创业者当中，好像这种公司相对比较少。但是硅谷的话感觉已经有很多很多这样的公司了，对吗？

朱邦华（嘉宾） (00:26:51)

对。因为我觉得可能这个美国这边大家为了去更好的 push frontier，就是对于很多 frontier lab 来说，他们唯一让模型接着变强的方式其实就是去构建更复杂然后模型现在这个会 fail 的一些环境，然后让他们模型在这些环境上面变得就是就是成功起来。所以这部分他们的需求会更旺盛一些。

月球大叔（主持人） (00:27:13)

所以说你们在开发自己的强化学习 Infra 的同时，也会跟这些公司合作，然后去让你们的强化学习 Infra 和这些 Environment 更好的去适配，对吗？

朱邦华（嘉宾） (00:27:23)

对，这个也是我们的 focus 之一。

Nexusflow 创业与 PPO 训练

月球大叔（主持人） (00:27:25)

对。那我们大概聊完了 SGLang。我们先回到第一次创业吧。就是你们第一次创业这个 Nexusflow AI 的契机是什么？是怎么想到和你的导师一起创这个业？

朱邦华（嘉宾） (00:27:37)

嗯，当时 Nexusflow 创业其实有几个当时的想法吧。嗯，第一个也， Nexusflow 创业其实也是大概在 23 年年初年中的时候，也是 GPT 刚出来，然后我决定要这个转行的时候。然后呢，那个时候这个，嗯，一个是，我们当时做了一个开源的模型叫 Starling，是一个 7B 的，当时用这个比较多的这个开源数据去做了一个这个 RLAIF 的这个开源的版本。然后呢，当时这个模型在 Chatbot Arena 上面刷的分数刷的非常非常高。然后呢就是是确实是 demonstrates 了如何通过这个 RLAIF 能够让这个模型和这个就更接近于和人交流，对，然然后同时就是，会给出的结果更让人满意。然后所以我们当时觉得，就说我们可能是，当时唯一一家把 PPO 在开源这边调通的一个地方。然后我觉得这个事情，如果你能把就是 RL 这个事情就做得非常非常好，其实你是可以就是拿这个同样的 insight 去把 agent 做好。

朱邦华（嘉宾） (00:28:43)

所以所以当时二三年的时候，我们就想说这个应该把 RL 这个东西用在 function calling 上面。用在，甚至是这个 verifiable 的一些它的 task，比如说 math，甚至是 coding，然后甚至就是后面的这个， function calling。所以这是当时做 Nexusflow 的一个契机。然后呢，后面其实就是我们也尝试去 scale up 到比如说在当时还是比较大的 30B 甚至 70B 的模型，然后也去帮各种企业去做这种 RL 这个 as a service，就是 post training enterprise agents。然后呢，这个当时确实是有很多人非常关心这个话题。然后呢也是有一些这个非常好的 early signal。所以这个就是一个主要创业的 motivation 对。

月球大叔（主持人） (00:29:24)

也就是在 2023 年的时候，你们就把 PPO 在自己的环境，自己的数据下调通了。

朱邦华（嘉宾） (00:29:30)

嗯，对，那个时候其实就是说，因为 OpenAI 说他们把 PPO 这个做的做的很好。然后呢，我们其实就是很多人在试的时候，其实发现，嗯 PPO 其实不 work。然后呢，当时比较流行的是，比如 DPO 一些更简化的版本，然后同时也不需要比如说 value value function。但是其实我我我们当时的 belief 其实就是说这个，这个其实更多是更多是因为你这个没有把 PPO 真的调通调好。这个里面它有很多的 trick，然后如果你能把这个 trick 都做好，那你其实 PPO 的上限会非常高。所以我当时是一直有这样的 belief。然后当时在，各种 conference 上面也会和人各种 battle。然后呢，但是 eventually 确实证明了，就是说，就如果你能把 PPO 做得很好的话，它的上限是很高的。当然最后面是，就是再后面就有 GRPO 这些就是相相对来说，更简单一些的算法。

朱邦华（嘉宾） (00:30:18)

然后现在慢慢的，嗯，做 PPO 的人就会少了一些，然后用 GRPO 的人也会多一些。

月球大叔（主持人） (00:30:23)

对。那你觉得你们当时调通的话，最重要的因素是什么？是你的 RL 强化学习背景？还是你们构建了更好的数据集，更好的 Infra 等等，方便分享吗？

朱邦华（嘉宾） (00:30:33)

嗯，我觉得 Infra 其实是有比较大的权重在里面的。因为它有很多地方是 implementation 和这个真正训练的时候它可能会出错的地方。就如果你做的就 Infra 它并不是一个 fancy 的东西，但是如果你很多东西做的不仔细的话，那其实就会会在各种地方有暗坑，然后就让你这个就让你得出了完全不同的或者错误的结论。然后当然就说另一方面其实说，就是说 PPO 它的要把 PPO 调对它要做的东西太多了。就是比如说 critic，就是 value function 该怎么去训练？然后呢，怎么去 design 这个所有的这个 discount factor，然后以及就是说整个的这个， PPO 里面所有的 hyperparameter，所以这个事情是需要比较多的这个调参的一些经验吧。对。

月球大叔（主持人） (00:31:15)

这种调参的经验，你觉得是你通过 5 年的学习积累下来的，是吗？

朱邦华（嘉宾） (00:31:19)

其实并没有。因为我之前是纯做理论的，所以其实，当时这个上手做 Language Model，也是在这个，也是在差不多同一时期吧。对。

月球大叔（主持人） (00:31:28)

那最终你们是怎么样调出来？这个过程是有多艰辛呢？

朱邦华（嘉宾） (00:31:33)

倒也不是艰辛。其实很很多时候就是做这种模型训练，这个，因为它这个搜索的范围实在太大了，所以你其实很难就是非常 principle 地去找到这个东西。而更多的就像像是一些 in intuition。就如果你觉得 intuition，你觉得这个方向是对的，你就就朝这个方向去尝试。然后呢，你觉得如果他这个方向，就如果你， val validated 一些你的 assumption 你就会，你就会就是 valid 其中一部分这个 intuition。然后你再去 propose 新的 intuition。因为它这个问题 dimension 太高，所以导致就是说你没有办法就是 greedy search。但 instead 你就需要用自己的这个嗯，非常非常直觉吧，用自己的直觉去把这个事，就是探索出一条路来。大概是这个意思。是不是说的有点太抽象？

月球大叔（主持人） (00:32:16)

对。对，就是说的有点太抽象。能给大家举一个特别准确的例子吗？一个就好。

朱邦华（嘉宾） (00:32:23)

对，比如说一个例子，就是说这个 critic，就是说在 train value function 的时候，这个就是一个很很很简单的 trick，就是说你如果一开始直接上来 initial randomly initialize 一个 critic，或者甚至就是说你这个 critic 是从 reward function initialize 出来，然后加一个 hat，然后你会发现它这个上来的这个 loss function 都会非常非常高。它可能就会从这个什么就个位数开始，二、三，但平时 loss function 可能是零点零点零几这种。然后你要训练一段时间，它才会这个往下走。然后但这个时候，如果你拿这个 critic function 去直接去 optimize 你的 policy，也就是 language model 本身，那它其实就会让这个 language model 这个 Weights 就会被改变得非常得多。

朱邦华（嘉宾） (00:33:06)

而且非常的，因为这个 direction，这个 update weights 都不对，就是说或者这个 gradient 这个都不是特别正确。所以可能更好的一个做法，就虽然它 mathematically 其实是错误的，但是是你可以先拿这个一些 data 去 warm up 这个 critic，去把它先训练一段时间，让它这个 loss 降到针对当前这个 policy 降到比如说一个比较低的位置，让它 converge，然后你再去用这个 critic 去 initialize 整个 ppo 的 training。像这种就是这样的 trick 可能有非常非常多个。但是你如果不把这个比如说你如果你没有做这个的话，他可能上来就会把这个 model 给破坏了，然后你后面怎么去救也救不回来了。对，就像诸如此类的 trick。

月球大叔（主持人） (00:33:46)

所以说你们当时从 2023 年开始，就通过自己的直觉，一步一步把这些 trick 刷出来了，最终能够在 LM Arena 上那个榜单上拿到一个很高的分数，是吗？

朱邦华（嘉宾） (00:33:58)

对，那个是当时这个做的比较有意思的一件事情。对。

月球大叔（主持人） (00:34:02)

大概调通这个 7B 是吗？

朱邦华（嘉宾） (00:34:05)

对，当时最开始是 7B。对。

月球大叔（主持人） (00:34:07)

大概调通这个 7B 的模型花了多长时间？

朱邦华（嘉宾） (00:34:11)

这个其实，倒也没有花特别多时间，可能就不到一个月。但是其实包括准备数据的时间其实是比较久。因为当时，开源那边其实没有太多这种 multi comparison 的 data。就是你一个问题，然后有很多个不同的 response，然后呢这个， response 你还要给它让人去或者让模型去给它做一个 ranking。这个当时开源是不太存在这样的数据的。因为这个 RLHF 本身的概念也很新，所以其实我们当时是也花了很大精力去准备这样一个数据集。对，然后把它这个数据集和这个 pipeline 都开源。

月球大叔（主持人） (00:34:43)

哇，这个确实做的太牛逼了。因为你当时说你从来没有接触过 llm，但是从知道 ChatGPT 到创业到训出这样一个 R L H F 的模型，就花了这么短时间。是不是有点天才的成分在里边？

朱邦华（嘉宾） (00:34:58)

我觉倒也不是。这个其实就是说，现在现在如果让一个比如说本科生，他有一个对应的想法，我觉得他可能也可以非常快的做出来。然后我其实觉得更多的像像是就是说这个，在 23 年那个刚开始的时候，其实，属于是这个百花齐放的一个阶段。就是所有的 LLM 相关的东西其实都是非常 under explored。所以你当时做 inference engine，做 model evaluation，做 RL，其实都能做出来非常非常多很有意思的 impactful 的 work。

月球大叔（主持人） (00:35:29)

对，但是当时你们通过做这些工作已经预见到了， function calling 啊， agent 接下来一定会成为一个趋势，并且已经开始帮一些企业来部署这些东西了，是吗？

朱邦华（嘉宾） (00:35:39)

对，比如说我们当时其实也做了一些包括 function calling 的 benchmark，以及就是 fun- function calling， Agent synthetic data generation 的一些 pipeline。当时其实也和 llama team 有过比较多的交流。然后后来，很多 trick 都是用在了 llama two、llama three 的这个 post training 里面。

月球大叔（主持人） (00:35:54)

这是不是也是促成你们最后被英伟达收购的一个重要的原因呢？

朱邦华（嘉宾） (00:35:58)

我觉得英伟达这边当时的一个契机主要是因为 DeepSeek 这个 V 3 的 release，让大家慢慢意识到了 RL 这个东西其实非常重要的。因为在这之前，可能很多人都还是觉得我只做 SFT 或者从 FST 直接 SFT 一下 GPT 的 output，就可以这个把模型开源模型做得很好，那我可能就不需要做 RL。但是 DeepSeek V3 这件事情证明了，就是说你做 RLVR 训练，它是能把模型的这个 intelligence 提升非常非常多。甚至你直接从一个 pretrained checkpoint 做 RLVR 就可以。那这件事情其实引起了很多方面的关注，也包括 NVIDIA 的关注。所以其实当时 NVIDIA 也确实希望大家做这个更好的这个就说有更多的人来去做 RL 这件事情。对。

月球大叔（主持人） (00:36:42)

明白，其实你刚才说了两个比较关键的单词嘛：一个是 RLHF，一个是 RLVR 能跟大家大概介绍一下这两个概念吗？

朱邦华（嘉宾） (00:36:51)

对， RLHF 的话就是 Reinforcement Learning from Human Feedback。所以它，这个它主要的思路和目的是说让这个模型，这个说话更像人，然后就说更容易被人喜欢。所以他的想法就是说这个先学习到什么样的 response 能够更让人喜欢。然后它这个方式就是它训练一个 reward model。然后这个 reward model 是从这个一个 response 生成很多个啊，一一个 prompt 生成很多个不同的 response，然后呢让人去打分，就是说哪一个 response 更好，哪一个 response 更不好，然后通过这个里面这些数据里面训训练出一个打分的模型。然后拿这个打分的模型再去 guide 这个大语言模型的训练。然后这个的目的最后就是让这个模型说话更讨喜。所以就说如果你和 GPT 聊的时候，之前你会觉得它你问它一个问题，它可能说话非常的简洁，然后同时没有给你足够的信息。

朱邦华（嘉宾） (00:37:47)

但是在 GPT 3.5 之后，它就会变得这个是更有人味，然后呢说话也会更详细，然后这样的话大家可能就会更喜欢这个给出的回答。然后 RLVR 呢，它其实更像是它，它的全称是 Reinforcement Learning with Verifiable Rewards。所以它其实是这个主要针对的是可以真正被验证的这个领域。比如说你有个数学题，然后或或者有一个代码题，然后它可以直接你可以直接算出来它这个数学题到底对不对，或者这个代码写得好不好，这个是否写得正确。所以在这种情况下面，其实这又是一个嗯客观的 reward。然后你通过这个，你就可以直接在一些更客观的领域去做一些更好的 improvement。也包括最近的，包括更多的一些，agentic，的一些 task 其实它都是可以通过 verify 的方式去直接 verify 它这个是否达成了最终的目的。然后这种方式的话也会更 objective 一些，就是更客观一些。

月球大叔（主持人） (00:38:43)

所以说可不可以这样理解：就是 RLHF 让模型就是在 chatbot 那个环节做得很好。但是真正变得工具化，变成 coding agent、变成各种什么 web agent，它更需要的确实就是新一代的范式， RLVR。

朱邦华（嘉宾） (00:38:58)

嗯，可以这么理解。对。只不过 RLHF 比如说在现在的时候也会做一个模型，最后一个 stage 的这这样一个这个训练。就让它变得更 align，比如说和人类价值观更 align，然后呢，比如说更 safe，然后这些也都是通过 RLHF，这样一个 reward model 的 signal 会给出来的。对。

创业时机、被收购与 NVIDIA 经历

月球大叔（主持人） (00:39:18)

明白。刚才给大家科普了一波这重要的两个 RL 的范式。 OK， 我们回到一个创业的过程当中。你觉得 Nexusflow AI 这段创业最艰难的一刻是什么？是怎么走出来的？

朱邦华（嘉宾） (00:39:30)

我觉得第一段经历还是太短了，所以可能这个很快就结束了，所以其实倒也没有特别艰难的时刻。

月球大叔（主持人） (00:39:37) †

我明白，就太顺利了，对吧？可以。那么你在第一次创业当中有没有学到一些创业的比如说认知呀，想想应用在第二次创业当中？

朱邦华（嘉宾） (00:39:45)

嗯，我觉得一个想法就是说：嗯，很多时候，嗯，做这个做最正确的事情，他一定要在最正确的 timing。其实就是说当时，比如 23 年的时候，其实我们很多时候在给大家讲说我们在做 agent 的时候，大家会问什么是 agent：是不是就是什么 RAG 就是 Retrieval Augmented Generation，是不是就是我 search 一下这个文本？然后就去给你一个 response？所以我们其实当时需要花很多，时间去 educate 这个 market 和这个市场。就告诉大家 agent 其实是 model 可以 take action，可以用 tool，然后它可以在 multi-turn 的时候把这个 tool 用好。那这件事情其实，整个 market 在当时是不是特别 bad，所以这个事情，虽然我们 relatively 来说的话，可能 predict 对了它这个 trend，但是可能这件事情发生的时间还是会稍微晚了一些。

朱邦华（嘉宾） (00:40:32)

所以因为这样的一个错位，所以其实导致了，就是说，你可能没有办法一下子进入最火的这个 market。所以在这件事情上面，这个可能是我们第一次创业的时候学到的一个比较有意思的 lesson。嗯。

月球大叔（主持人） (00:40:43)

因为我也创过业，我特别特别认同这句话。创业其实就是在对的时间找一波对的人，干一件正确的事情，对吧？

朱邦华（嘉宾） (00:40:49)

对，对， exactly。

月球大叔（主持人） (00:40:51)

对，所以说就是，其实很多技术大牛他们一开始的时候可能过于的有先见之明，然后过于的进入这个市场，但是呢，就是要过于的去自己亲自去教育这个市场，那后来他发现，其实第三第四名进入这个市场的反倒能够活下来，而且活得很好，对吗？

朱邦华（嘉宾） (00:41:09)

对，是的对，很多时候都是这样的。

月球大叔（主持人） (00:41:11)

那就是说聊一下你们被收购的整个过程啊。比如说在收购那个 offer 签了的当天，你的心理状态是怎么样的？然后你干了怎样的一些事情？

朱邦华（嘉宾） (00:41:21)

其实，这个收购并不是个 surprise，其实我我也是比较早就知道了这个事情。然后呢，所以当时这个当天还是比较比较淡定，然后就是觉得有一个新的开始吧。然后呢，也确实当时是，很期待从 GPU poor 变成一个 GPU rich 的一个状态。

月球大叔（主持人） (00:41:40)

对，那你们当时做这个创业的时候有多少 GPU？

朱邦华（嘉宾） (00:41:40)

当时可能有什么两到四个 node，就是比较比较奢望奢奢求的状态了。

月球大叔（主持人） (00:41:49)

什么，四个，四个 node？

朱邦华（嘉宾） (00:41:50)

H100， 就是 32 张卡吧。对。

月球大叔（主持人） (00:41:52)

就把这个 30 b 的模型也训出来了？

朱邦华（嘉宾） (00:41:54)

对，当时其实也能训 70 b。对。

月球大叔（主持人） (00:41:57)

啊，太厉害了。那你们被收购之后，加入英伟达那几个月，你的个人体验是怎样的？

朱邦华（嘉宾） (00:42:03)

英伟达还是非常不一样的体验，然后也非常有意思。我在里面其实当时主要是 initial 的一个 effort，叫 NeMo Gym。然后呢当时的想法就是说这个， nvidia 其实是一个非常大的组织。然后呢，其实，每个地方其实大家都会有各种各样的好的想法和这个好的 data。我们希望就是做一做这样一个类似于 openai gym 的一样一个一个 nvidia 的 gym，使得就是我们把所有的这个内部的一些 agentic data 大家想做的东西都收集起来，然后用用在自己模型的训练里。然后这件事情其实这个一开始的时候是，只是我们这个小 team 组织的一个 efforts。但后面慢慢的就变成了一个这个公司外，这整个公司的一个 efforts。就是每一家，就是每一个组都会想把自己的 data 放到 Gym 里面，然后把这些 jim 的 data 再用去 train。

朱邦华（嘉宾） (00:42:50)

然后之后参与这个项目的人大概就非常非常多，然后大家都贡献了各种各样的非常有意思的这个强化学习的环境。以及就是一些甚至一些 SFT 的 data。然后我觉得这个当时，这个体验还是非常 positive，然后觉得大家其实这个就算在这么大的公司里，可以有很多人一起去做一件非常有意思的事情。

月球大叔（主持人） (00:43:10)

那么能跟大家介绍一下这个项目具体用来干什么的吗？

朱邦华（嘉宾） (00:43:13) †

哦，对， NeMo Gym。 NeMo Gym 的话其实主要是一个就是目前是一个，嗯， Agent data 的一个 collection。我们 eventually 本来是想做成一个更 solid 的一个 Agent Infra，然后保证就是说你在做 post-training 的时候，你其实只需要和 NeMo Gym 交互就可以了。然后 NeMo Gym 会把所有的 data 都 collect 起来，然后帮你去决定到底怎么去这个用什么样的 data 来去训训练现在这个模型，然后怎么去 optimize 整个这个 agentic Infra 这一块。当然这个是一个比较 ambitious 的 target。目前它，大概只做了这个 data collection 这一部分。但是已经对于这个 Nemotron model 这个 RL 这部分就起到了很大的帮助。对。

月球大叔（主持人） (00:43:52) †

明白，那么在英伟达那几个月的话，你觉得和你之前的创业相比，最大的区别是什么呢？

朱邦华（嘉宾） (00:43:59)

嗯，那当时卡就卡卡太多了。嗯。这个虽然其实不如 Frontier AI Lab，但其实和 Startup 相比，嗯，确实是天差地别。

月球大叔（主持人） (00:44:07)

那对于你这种头部的 researcher 来说，卡多意味着什么呢？

朱邦华（嘉宾） (00:44:12)

嗯，其实就是很多时候，从比如说系统的角度考虑的话，嗯，你的系统很多系统，这个搭起来，如果你在这个几个 node 上面，这个做 training 其实是比较容易的。然后或者你训练一个比如说 100 b 左右的模型，其实都不会特别特别复杂。但是一旦到了比如说， trillion level 的这个 parameter count，一旦到了比如说千卡，甚至万卡 level，其实对于系统整个的 infra 的要求其实是完全不一样的。你需要做很多不一样的 fault tolerance，然后你要保证，就是说在这些都做好以后，你的 accuracy 也还是能 match。然后你你要去保证，比如说整个这个 fleet 它对应的 MFU 都是比较比较比较好的。所以这个里面它需要做的对于系统的 challenge 是会大很多。对。

月球大叔（主持人） (00:44:56)

所以说这个只有在大规模的卡在大公司里边能感受到，然后在之前的创业公司的话是没有怎么体验到的，是吗？

朱邦华（嘉宾） (00:45:02)

对，这也是为什么，就是我觉得现在很多这个所谓的 frontier lab 大家其实都这个，就是说大家觉得从 frontier lab 出来的人都会是一个比较稀缺的人才。这说明其实人都是被卡养出来的。然后很多时候，如果你摸过很多卡，你其实就大概知道这个该怎么去训这样一个很很大规模模很大规模模型。但如果你只是做一些非常小规模的训练，那其实你这个经验就没有办法 generalize 到大规模。

月球大叔（主持人） (00:45:29)

嗯，你这个话和前段时间姚顺雨那个访谈也是遥相呼应了。只要把本科生放在这个大规模的卡的环境之下，本科生也能干这些事，对吗？

朱邦华（嘉宾） (00:45:38)

我觉得是这样。甚至本科生有的会干的比 PhD 更好。因为有时候 PhD 他经过太多这种训练以后，反而就是说可能会过于严谨。或者是这个不太愿意去 YOLO。但其实这个很多时候，这个真正好的 run 可能就是 YOLO 出来。

月球大叔（主持人） (00:45:54)

跟大家仔细说一下，什么是 YOLO 出来的，你之前？

朱邦华（嘉宾） (00:45:57)

YOLO 的意思就是说这个：我我觉得这个，就是凭直觉，我觉得这个 run 它就是好。然后我我就直接 launch。然后我不会我不会说这个，就是说我一定要精打细算，我去做很多 ablation。因为这个就是就还是之前的那个，就是靠 intuition 来做一些比较正确的选择。然后去在这个非常 high dimension 的 search space 里面，去找到最好的 data 然后，算法和 infra 的 combination。对。

月球大叔（主持人） (00:46:22)

所以说你也是支持那种给小灯足够多的卡，让他们去 YOLO 那种人，是吗？

朱邦华（嘉宾） (00:46:27)

就我觉得 training 这边的话是这样，对。

月球大叔（主持人） (00:46:30)

明白。那么，你这么快又出来创业，你的家庭呀，创业伙伴呀，英伟达那些同事怎么看呢？分别。

朱邦华（嘉宾） (00:46:39)

嗯。家庭的话，我，我我老婆和父母其实也都非常支持。对，让他们其实理解，就是说，嗯我这个 motivation 其实也并不是从钱的角度考虑，而是更多像是说我们觉得就是这件事情非常值得被做，然后如果做的话，它可能会有非常非常大的 impact。然后以前的创业伙伴其实这个，当时也是有些挽留吧。但是这个大家也都非常理解，就是说在怎么说，感觉时代在召唤，这个确实是需要做一些这个更有意思的事情。对，然后，NVIDIA 这边其实也都非常支持。对。嗯。

月球大叔（主持人） (00:47:17)

整个是一场很精彩的第一次创业，实际上来说是吗？

朱邦华（嘉宾） (00:47:21)

很有意思吧。对，就是收获了很多体验。

从理论研究转向系统

月球大叔（主持人） (00:47:24)

明白。那我们创业这段就暂且聊到这里。我们进入第二段，就是邦华的研究。因为邦华其实是强化学习理论的博士。这个，博士圈其实有一个不成文的鄙视链，不知道你听过没有？

朱邦华（嘉宾） (00:47:42)

嗯哼。

月球大叔（主持人） (00:47:43)

就搞理论的鄙视搞算法的，搞算法的鄙视搞 infra 的。你当，对，就大家都会说那个，理论爷，怎么会过来一直在开始搞这个 Infra 这件事情？而且你一直在强调 Infra、Infra、Infra，到底是怎么让你到底是怎样让你发生这样的一些转变？

朱邦华（嘉宾） (00:48:00)

其实我觉得就是这个转变其实就是在 GPT release 之后。就是以前大家其实做 machine learning 的时候，其实这个规模都比较相对来说比较小。就是可能最最重要的 infra 可能就是 recommendation system 的 infra。那这种模型的大小，其实相比于现在的模型来说，其实小了非常非常多数量级。这个导致就是说 infra 里面的问题，它没有那么的复杂，没有那么的就是大，没没有没有上升到那么大的规模。然后在以前那个时代，其实就是很多时候算法然后和这个理论还是能 get 很多这种 model training 啊，以及就是说整个 machine learning 的一些发展。所以在那个时候，尤其是比如说我刚进 Berkeley 的时候，比如说 Mike Michael Jordan 就是我现在的我当时的老板，或者 Martin J. Wainwright，其实都是这个，比如说进伯克利的时候一个大家都想跟的一个导师。

朱邦华（嘉宾） (00:48:49)

对，然后呢，在 LLM 出来以后，其实这个问题就发生了非常本质的变化。因为这个 LLM 它的 size 越来越大，大家发现就只要 scale data， scale 这个 infra as- scale 整个这个 model parameter size，它就能让这个模型变得越来越聪明。那这个时候你其实做太多的理论，你说我 predict 它能变得多聪明，这件事情其实意义不大。反而是说这个问题变成，最难的问题变成了就是说我到底怎么去让这件事情用最小的 cost 发生。因为我如果花 10 个 billion 能训一个非常非常大的模型，但是如果我有非常好的 infra，我能把这个 cost 降成 5 个 billion，那这个其实相比于我这个可能做一些这个理论上的证明，可能会对于这个世界带来的直接的 impact 会大上很多。所以就慢慢变成了，就是说这个做 System 的人的做的东西就会越来越重要。

朱邦华（嘉宾） (00:49:38)

然后，所以我觉得，本质上其实也就是一个供需关系的问题。

月球大叔（主持人） (00:49:42)

哦，就是，你也是那种希望自己做的东西能够对真实世界产生影响力的那种研究员。

朱邦华（嘉宾） (00:49:51)

对，这这个是一定，对。

清华、计算生物学与伯克利

月球大叔（主持人） (00:49:53)

明白。那么肯定伯克利这段 PhD 经历有很多故事。我们先从最开始讲起。我们先讲一下你是怎么考入清华的？然后在清华的整个的求学生涯是怎样的？在清华做了怎样的研究？

朱邦华（嘉宾） (00:50:07)

嗯。对，我，考入清华，我我是江苏江苏省连云港人。然后我们当时那边这个苏北这个比较落后，然后呢，所以其实就是说这个一个学校能考上清华的也不是特别多吧。对，然后……

月球大叔（主持人） (00:50:21)

江苏考上清华的不是特别多吗？

朱邦华（嘉宾） (00:50:23)

就江苏竞争比较激烈，然后苏北属于是相相对来说落后一些的。对，然后当时就是，运气比较好，就是去了清华电子系。对，然后就是在里面做一些通信相关的研究。然后大三的时候去了斯坦福交换，做 UGV R，然后是一个这个在斯坦福访问的一个项目。然后就是那个暑假在跟斯坦福 EE 的一个老师叫 David Tse，他本来是做通信的人，然后他这是应该是通信领域的鼻祖。然后呢，当时做了很多非常奠基性的工作。然后但是他在在那个时候呢，他的方向兴趣突然转向了 Computational Biology，就是计算生物学。然后呢，所以我当时就去跟他做了一段时间计算生物学。然后这个就导致我后面的兴趣也发生了一些转移。我就去这个申请的时候，我就去申请计算生物学了。啊，甚至当时差点拿到了斯坦福医学院的一个 offer。对。然后，但是 anyway 反正就是我最后其实在进入伯克利的时候，其实也是通过 computational biology 这条路。对。

月球大叔（主持人） (00:51:25)

那为什么？哎，等一下啊，就是这个信息量有点大。对我们先说一下那个 UGVR 是什么东西？

朱邦华（嘉宾） (00:51:32)

啊，嗯， UGVR 其实是一个，就是，是斯坦福的一个 Undergraduate Research Program。然后呢，其实当时就是国内的几所学校和 Stanford 合办。就是让大家这个就是有机会能够去 Stanford 进行一个暑假的 summer research。这里也非常感谢这个 u g v r 的老师们和赞助赞赞助商们提供的这个帮助。对。

月球大叔（主持人） (00:51:54)

明白。嗯。那你当时说就是你们苏北考上清华的不多。那你觉得是什么让你考上清华的？是天才的智力？然后夜以继日的学习，还是家庭氛围比较好，你觉得？

朱邦华（嘉宾） (00:52:06)

嗯。就就首先这个，我觉得我不算是特别努力的那一档，然后。可能智力上来说，我之前参加各种竞赛其实也都不太行。但是我觉得我有一个比较特殊的一个点，就是，嗯，就是我的我的，如果以大语言模型来举例的话，就是我的嗯，处理 long context 能力会比较强。嗯，就是比如说这个，所以我就特别擅长考试。就比如说就不管是当时高考还是当时在清华，我基本上也都是系里第一。然后呢，但是就是说这个，我我是属于是比如说当时第二天要考固体物理，然后我一般前面没怎么学，然后比较比较划水，然后最后一天晚上我就会去或者前一两天我就会去这个抱抱个佛脚，然后去把这个书看一遍，然后第二天我就考，就应该能考的比较好。但是考完以后我就会忘。所以就是说我很难去内化和做一些训练，就我的脑脑子里的权重其实不怎么变化的。所以我现在就是说，虽然当时上了很多课，但其实现在基本上已经完全忘记电子系学了什么东西。

朱邦华（嘉宾） (00:53:10)

但是就说如如果让我现在再去重新学固体物理，我可能再过两天晚上，我可能又又能把它 pick up 起来。所以我就是属于是那种，这个能够处理比较大的 context，但是大大概基本上都训不进去脑子的那种人。

月球大叔（主持人） (00:53:23)

这是为什么呢？这是怎么办到的呢？

朱邦华（嘉宾） (00:53:26)

我我我也我也不太了解，对。

月球大叔（主持人） (00:53:28)

这可真的是太强了，这个。对，那么我们回到那个，你从清华到了伯克利这一段，怎么一开始就做了计算生物学？而又怎么又从计算生物学跳到了当时非常非常出名的 Michael I. Jordan？那个统计系算是对吗？

朱邦华（嘉宾） (00:53:45)

嗯，对，是。其实这个，做计算生物学的契机也是因为我当时觉得嗯如果要产生 impact 的话，其实说不准通过 Deep Learning 方式来去做一些 genome prediction， genome assembly 甚至就说最后怎么去做一些这个，对于人类和这个生物的一些这种基因和医疗方面的探索，其实可能会有更直接的影响。所以当时又刚好有这个契机去和这个斯坦福这些老师进行一些交流，所以我其实当时就是这个在做在本科期间其实做这个觉得会比较有意思。当时也是比较早期这个 AlphaFold 那个刚出来的时期，所以其实那段时间还是非常 exciting。然后去接触到这个统计和机器学习理论，也是因为当时我刚进 Berkeley 的时候，是我当时的老板焦剑涛，然后呢他也是这个这个刚进伯克利当 faculty。然后呢我之前和他认识，因为他也是我们电子系的学长。然后呢就跟他聊，就是说这个要不要一起做一些科研。

朱邦华（嘉宾） (00:54:49)

然后他是这个做统计，做信息论的，当时的一个非常强的人。然后所以我就跟着他一起合作了一些这个统计、信息论相关的内容。然后当时还还有一起的是另外一个差不多同一时期进 Berkeley 的 faculty，叫 Jacob Steinhardt。然后这个就是和他们一起合作了很多。这个统计啊，以及这个嗯机器学习啊，就是相关的一些 paper。然后后面也就是通过这个契机。嗯，就是慢慢走向了理论的不归路。

研究文化、导师与代表作

月球大叔（主持人） (00:55:22)

那你觉得在伯克利这段求学生涯和清华最大的不一样是什么？个人体验。

朱邦华（嘉宾） (00:55:28)

嗯，我觉得清华或者是国内的学校，其实大家一般会这个，大家 measure 一个人的方式会比较 low dimension 一些。就可能就是几点，比如说你这个 gpa 多少，然后比如说你有没有拿过特奖，然后比如说你这个你你参加了多少社工等等。但其实你到伯克利这个开始读 PhD 的时候，就发现其实，嗯，大家都有自己的绝活。然后大家没有说我就把你压到一个档位上说比较这个人，他就是比这个人什么分数高一些。反而就是说你其实能够更更多的去接触各种各样的怪才，然后大家其实每个人都会有一些自己的绝活和擅长的东西。然后然后你其实会发现，就是说通过和这些 cohort 的人相处，你会发现你可以从每个人身上都会学到很多很有意思的东西吧。对。

月球大叔（主持人） (00:56:16)

嗯，举一个最偏的怪才你见过了，在博客里？

朱邦华（嘉宾） (00:56:21)

我可以说一个 faculty 吧。就是我刚刚提到那个 Jacob Steinhardt，嗯，他是一个我觉得很有意思的老师。就他是统计系的。然后呢他当时在第一年的时候和我做很多嗯，他自己的， PhD thesis 项目叫 Robust Statistics，就什么这个翻译翻译成中文叫鲁棒统计学习这种。然后呢，我们当时写了一篇大概将近 200 页的 paper，然后投到了那个 Annals of Statistics 里面，当时也是统计系最好的一个期刊。然后但是他第二年他就这个，我本来想接着和他合作，但他突然说他这个他的兴趣转移了。他要做 Science of Machine Learning。然后在我当时看来就是玄学。他就做什么 interpretability，然后做什么这个什么一些 language model evaluation 在那个时候。我觉得这个东西 doesn't make sense。他他的当时一篇 paper。

朱邦华（嘉宾） (00:57:09)

就做这个所谓的 MMLU，然后这个东西就是说，它问语言模型一些常识问题，然后让这个语言模型回答。我当时觉得这个语言模型是个什么东西？说你这个不好好做理论，跑去做做这些东西，我觉得这个真是无法理解。然后，后面这个 m m l u 就成了这个大语言模型这个 evaluation 的一个 golden standard。然后就我觉得其实，就是现在， in retrospect，我觉得他们其实是非常有远有远见。

月球大叔（主持人） (00:57:34)

那么像，比如说跟这几个老师啊， Michael Jordan 呀，焦剑涛呀，在合作的过程当中，你觉得他们影响你最大的是什么东西？

朱邦华（嘉宾） (00:57:42)

我其实主要觉得就是说是能够大概观察到，就是说这个领域里面最顶尖的人，大家都在思考什么样的问题，大家 taste 是什么样子，大家觉得什么样的问题会是重要的，会是甚至会是影响未来比如说五年或者十年的一些问题。但他们的判断不一定对，但是他们会有自己的一套逻辑。就是说怎么去这个用通过这种自己的一些逻辑来去推导外未来到底会发生什么。我觉得这个可能是其实是一个最重要的一个技能吧，对。当然技术上来说的话，就是从他们这当然学到了很多，就是因为我完完全不是一个做理论背景的人，所以其实基本上就是如果没有他们的话，可能就是在这块就没有办法，甚至都没有办法迈出第一步吧。对。

月球大叔（主持人） (00:58:25)

当时我理解的话应该是深度学习大行其道，对吗？

朱邦华（嘉宾） (00:58:29)

对，当时就是是，对。

月球大叔（主持人） (00:58:31)

其他同学都在各种深度学习啊， CVPR 啊，各种各样的地方，狂狂发顶会顶刊。然后你当时有心理压力吗？在 PhD 的时候？

朱邦华（嘉宾） (00:58:41)

嗯，其实也还好。我们当时也会发一些，对，就是都都是跟风。然后呢，就是，我觉得在那个时候已经慢慢的就是说学术界他不会特别的看这个就说你到底发了多少 paper 或者多少个顶会。但其实最终还是看，就是说你到底你这个，大家不看的是 average 也不看这个 number，而是看 maximum，就是你做的这个最 impactful 的一个工作是什么。就如果你这个一整一整个 phd 只有一一个工作，一一篇 paper，那这篇 paper 让所有人都知道，所有人都在用，那这个其实就是一个 star phd。而不是说我一定要每年都会有什么 10 篇 cvpr 或者 NeurIPS，这样才代表你你是最好的。

月球大叔（主持人） (00:59:18)

真的，数量不重要已经是一个大家一直在提的话题了，对吧？

朱邦华（嘉宾） (00:59:23)

对，一定要做最好。

月球大叔（主持人） (00:59:24)

对。最 star 的一篇工作就可以。

朱邦华（嘉宾） (00:59:27)

对，是。

月球大叔（主持人） (00:59:28)

那你觉得，就比如说当时，和 Michael Jordan 合作这么多，因为他也是江湖泰斗嘛，对吧？就是你觉得是什么让他一步步成长到如此级别的地位的？

朱邦华（嘉宾） (00:59:41)

对，我觉得有几个点我当时觉得非常让我觉得非常钦佩。一个点就是 Mike 其实当时这个岁数也很大了。啊，但是呢他其实每周组会，我们会有一个两个半小时的一个 reading group，然后他都会出现，基本上就是除非有非常重要的事情，然后他都会自己去这个静下心来去读书。就是读一些这个就说他不懂的，然后他想带着我们一起读的东西。然后这个，这个我们当时那几年主要读 Optimization，然后甚至读一些 Economics，就是因为当时麦克觉得， human in- human AI interaction 非常重要。然后这个里面它就不再是一个 machine 之间交互的问题，而是一个 machine 和 human 怎么 collaborate 的问题。那这个问题本质上就是要 machine 去理解 human，那这个其实就是个经济上的问题。所以他就开始读一些经济学书籍。然后我们当时就跟着他读了好几年这个 econ 的 theory。

朱邦华（嘉宾） (01:00:31)

这，包括 game theory，然后也包括一些这个什么 auction 的 theory，就拍卖的一些理论。这个其实当时也非常有意思。我甚至写了很多 paper 在这个方面。然后我觉得就说，麦克他，他的兴趣也是会经常转移的。就是他之前一开始会做，他是从这个做心理的这个 PhD 开始，然后呢慢慢他自己学了统计，然后开始去做统计，然后开始做机器学习，然后现在其实又开始看这个 econ。所以其实就是说他自己也是一个就是一直在不断学习。但他从来不会觉得自己是机器学习的所以他就只做机器学习。他反而就是比如说这个其他任何的，他都会愿意去这个在他这个年纪还会去不断地吸收新的知识。所以我觉得这个是让我非常 impress 的一点。就甚至我觉得我 60 岁或者是 70 岁的时候，我可能，就完全不会有他这样的这个经历和这个想法去就是在一一直学下去，一直学新的东西下去。对。

月球大叔（主持人） (01:01:23)

Hinton 是不是也是心理学的？

朱邦华（嘉宾） (01:01:26)

好像是。

月球大叔（主持人） (01:01:26)

对，嗯。就他们这些人是不是就是那种一直在保持好奇，一直在不断学习，就这种状态？

朱邦华（嘉宾） (01:01:32)

对，是的所以我觉得我我是非常非常佩佩服麦克。

月球大叔（主持人） (01:01:36)

对这种，因为这个学习的过程，其实如果说你不 enjoy 的话，实际上是非常痛苦的。因为学习相当于重塑大脑里边的神经元嘛，对不对？

朱邦华（嘉宾） (01:01:44)

对，是的。

月球大叔（主持人） (01:01:44)

对，然后他们能够到现在为止还在一直学习这种过程当中，那确实就是天生就是应该做 research 那那一批人，对吗？

朱邦华（嘉宾） (01:01:51)

对，是的。我我其实就不属于这种人。因为我这个这个一一一旦看完就忘，所以我其实这个当时和 Michael 看过的一些书，我现在其实已经完全不记得它在讲什么了。但是我大概还是记得，就是说那些 philosophy 和一些这种 principle 在在背后。

月球大叔（主持人） (01:02:07)

对。但即使这样，你也是论文不断的哐哐发，对吗？

朱邦华（嘉宾） (01:02:11)

我当时倒是也没有，就不算是发很多的这个人。对，我是可能更喜欢静下心来写一写，对。

教职、博士与研究资源

月球大叔（主持人） (01:02:18)

嗯，那么在博士生涯的末期，基本上要开始找工作了。然后当时你选择的是去华盛顿大学找教职，对吗？

朱邦华（嘉宾） (01:02:27)

嗯，对，当时其实也就是这个，嗯，就我们我们这个 cohort 人，就是这这这一波 phd 其实大家都是在各种就工业界和学术界基本都投了一遍。然后呢，所以其实包括我，包括 Ying 啊， Lianmin 啊，就是大家其实都去，申请了一波教职，对。

月球大叔（主持人） (01:02:48)

那么到最后的话，你是没去，然后就开始创业了，是吗？

朱邦华（嘉宾） (01:02:52)

就目前还在 defer 的状态。对。嗯。

月球大叔（主持人） (01:02:54)

对，然后学校你是比较支持的嘛，对吗？

朱邦华（嘉宾） (01:02:57)

学校还是比较支持的，对。

月球大叔（主持人） (01:02:59)

明白，那么这一波就是说推迟去入职，就是因为看到了 ChatGPT 这波机会，就是我们刚才聊的，是吗？

朱邦华（嘉宾） (01:03:07)

嗯，对，是的。其实现在学术界和工业界确实这个在资源和其他方面的差距都会比较大。所以其实很多时候自己想做的事情，如果是必须要有比较大的资源才能支撑的话，其实在学术界可能，尤其是对于一个比较年轻的 faculty 来说，可能就会比较比较有难度。对。

月球大叔（主持人） (01:03:24)

那么就是如果说你要给刚读 PhD 的同学一个建议的话，最诚恳地讲，你会给他们什么样的建议？

朱邦华（嘉宾） (01:03:32)

我觉得就是不要太有压力。因为其实你现在做的和可能你五年后做的就完全都不是一个方向。所以我其实觉得就是说，你如果现在比如说这一两年或者两三年，其实觉得完全没有成果，这个我觉得其实也没有什么大的问题。我就觉得，比如说包括我，我也是第五年的时候嗯，才开始决定要转这个方向，才会有一些更引人注意的成果。啊，甚至当时我刚提到那个 Jacob，不知道今天为什么 call 他这么多次。但是他也是第五年的时候才开始做真正相关 Robust Statistics 的 paper。然后也是第五年的时候才，找到了伯克利，就就就是上 market 的时候，根据第五年的那个 paper，才找到了伯克利的 faculty。所以我认识的很多人。其实大家都是就是不断地去探索，然后在自己慢慢这个，就是探索到了一些比较好的机会的时候，然后那个时候，嗯，就那一次或者那一篇工作，让自己变得非常非常的就说，让让自己，就是，拔高了自己的这个工作的高度吧，对。

月球大叔（主持人） (01:04:30)

是不是可以这样总结？就是不断地去探索，然后找到自己的兴趣点，同时等待那一个机会。

朱邦华（嘉宾） (01:04:36)

对，对，。

月球大叔（主持人） (01:04:36)

有一句游戏里边的话叫做“版本砸脸”。

朱邦华（嘉宾） (01:04:39)

啊，对，大概就是这个意思。对，但是也也需要判断：什么时候是版本到来的时候。

月球大叔（主持人） (01:04:44)

这句话怎么说呢？

朱邦华（嘉宾） (01:04:46)

就说，就比如说 Language model 这一波，其实就是说，也有很多人会会觉得比如说这个它并不是一个 relevant 或者是不是一个特别火的东西，或者就说它可能再过一年它就会 die down。那这样的话，其实你可能就不会去 invest in 这个方向。那可能确实也会错过一些东西。

月球大叔（主持人） (01:05:06)

明白，就是看到机会的时候还是要抓住，对。如果说现在有同学在纠结读不读 PhD，你更建议他去工业界还是去读 PhD 呢？

朱邦华（嘉宾） (01:05:16)

嗯，我觉得如果有好的机会的话，也是可以考虑去这个所谓的这个资源比较多的地方去看一看。然后因为读 PhD 我觉得更是一个长期的过程。然后其实如果你真的感兴趣的话，可能 30 岁读， 35 岁读，甚至是 50 岁， 60 岁再重新读个 PhD 也都没有问题。嗯，但是反而来说，我觉得现在是一个嗯 AI 革命的时代，不太清楚会不会是一个像工业革命这么大的一个影响，但是我觉得可能最近这几年会有很大的变化和变革。嗯，比如最直观的一个例子，其实就是说如果你在公司的话，你可能可以有无限的 Claude Code 可以用，你可以一个月用 2 万刀或者更多的这个这个 token。你可以去 explore 怎么让这个 agent 更 efficiently，这个 work for you。但如果你在学校的话。如果你按照一个月 2 万刀烧，你可能就把导师的所有经费都烧完了。

朱邦华（嘉宾） (01:06:08)

所以我觉得其实在从这个角度考虑的话，其实可能这个去一些资源比较丰富的地方，就能够看一下看一些这个 AI 最前沿的一些东西，我觉得其实还是比较比较重要的。对。

月球大叔（主持人） (01:06:21)

所以说你的判断标准其实就是资源的丰富与否： GPU 的多与否呀， Claude Code 的多与否，因为这个东西能够把人给养出来，对吗？

朱邦华（嘉宾） (01:06:28)

嗯，对，大大概就是这个意思，对。

月球大叔（主持人） (01:06:30)

对，待在学校里边的话，如果说一直没有这么多的资源去供给自己的话，其实到最后的话，并不会练出来一套工业界甚至学术圈所需要的一些东西。

朱邦华（嘉宾） (01:06:40)

对，是的。或者尤其是针对这个 AI 和 Language model 这个方向来说的话，确实是这样。

月球大叔（主持人） (01:06:45)

所以说还是回到最早的一个话题，其实就是人还是环境和一些机会养出来的，对吗？

朱邦华（嘉宾） (01:06:52)

我觉得确实是，对。

月球大叔（主持人） (01:06:53)

对，感觉创业成功过一次，或者说一些比较做得比较好的人，都很难去否定这句话，对吧？

朱邦华（嘉宾） (01:06:59)

对对，是。事情。

持续学习、多模态与训练范式

月球大叔（主持人） (01:07:02)

那我们进入下一个大的板块，就是对于未来的一些展望吧。就是先说第一个，嗯，大模型这波浪潮，你觉得现在是刚刚开始，因为你刚才也提到了。那么你觉得最近这一两年最重要的问题应该是什么？

朱邦华（嘉宾） (01:07:17)

嗯，其实有很多。就是如果你按照线下来看的话，其实有很多非常多的 new labs spin up，大家在致力于解决 continu- continuous le- learning，或者是类似的问题。然后这个问题本身的定义其实也不是特别清晰。就是到底什么样的什么样的一个场景和这个范式可以被定义为 continual learning？然后，比如说现在有人说 anthropic 他们，其实 in some sense 也实现了 continual learning，因为他们现在是在用 Claude Code，然后这个用最新的模型去 improve 自己的 infra， improve 自己的这个 data， quality，然后呢再去训练更强的模型。然后如果真的存在这样一个拐点，使得，就是说这个这个事情它会， exponentially 的 explode，那可能就会有一家公司，它突然有一个非常大的一个 intelligence 上的 leap。

朱邦华（嘉宾） (01:08:08)

所以这个可能是一个很有意思的问题：就是这个拐点到底会不会出现？然后如果出现的话，这个会是谁先到达这个拐点？

月球大叔（主持人） (01:08:17)

所以说你信这波自进化吗？就是说持续学习吗？

朱邦华（嘉宾） (01:08:21)

我希望他是信的，或者说我希望相信他。对，但是也有可能受制于，比如说资源，比如说这个能源上的这个限制，所以它可能就算是实现了，但它也没有办法 explode 到这个就是我们最想要它达成的这个 ASI 的地步吧。

月球大叔（主持人） (01:08:40)

那么如果说再往前看一看呢？比如说五年之后呢？

朱邦华（嘉宾） (01:08:44)

五年之后我觉得就 pure text language model 可能就会 less relevant。 less relevant，然后可能大家肯定会更多的走向， Native native multimodality，甚至 Omni，就是说任何的 modality， input、任何 modality output 这样一个范式。以及就是可能 Robotics 也会有些更多新的这个新的这个进展吧。

月球大叔（主持人） (01:09:06)

所以说就不是什么纯文本，接下来就是多模态，然后具身智能，机器人这一些。

朱邦华（嘉宾） (01:09:11)

对，我觉得 puretext 的 scaling 它可能会，就是它，可能不会再需要这么多年才去完全就是理解。但是就说对于更多的 modality，它带来的一些新的 data 和这个新的 interaction，和新的 training paradigm，这个可能就会有，更多更更多新的问题要做。

月球大叔（主持人） (01:09:28)

明白。那么现在大模型的整个训练范式还是预训练呀， SFT 啊，还有 post training，这一套，对吗？你觉得这一套目前每一个阶段还有多少潜力没有被释放？

朱邦华（嘉宾） (01:09:41)

这个问题其实我觉得不同的 Frontier Lab 出来的人可能大家的想法也都挺不一样的。

月球大叔（主持人） (01:09:45)

对， share 一下你的意见。

朱邦华（嘉宾） (01:09:47)

对，我觉得， pre-training 这边其实，嗯，就说，洗 data 洗的多好，这件事情非常非常重要。然后这个事情目前来看好像还没有一个还没有 hit 到一个 war。就说你如果能把 data 洗得更好，你有更多高质量的 coding data For example，就比如说 coding 这个方向，如果你有更多的 coding 高质量 coding data 的话，其实，它模型的能力 boundary 其实还是能提升。就 pre-training 它一般设计就是决定了你， post-training 这个能最最好做到多少然后它其实决定了一个边界吧。然后呢， SFT 或者 post-training 其实现在其实更多像是一个对 pre-traning 的一个小的 fix。

朱邦华（嘉宾） (01:10:30)

然后或者就是说让它这个模型能够有，有一些这个嗯，比如说，简单的 instruction following，或者是一些简单的这种嗯，用 slightly higher quality data 去把这个 pretrain 的一些 noise 给去掉。然后后面再去做这个真正的 RL run 或者 post training，其实更多上就是说看看能不能把模型的能力推到这个边边界，推到这个 pre training define 的这个边界。然后，甚至就是说现在大家做的比较多， on-policy distillation，就是看能不能就是把几个非常好的不同领域的 expert，就 merge back 成一个这样一个比较好的这样一个最后的一个比较 well rounded generalist model。

开源强化学习、万卡训练与平台愿景

月球大叔（主持人） (01:11:08)

对，那你们现在，比如说因为你们也一直在帮各个公司做 RL 的 infra 呢。你觉得这一套东西的话，提升空间还有多大？

朱邦华（嘉宾） (01:11:17)

啊，您说 RL infra 本身？还是说就是？

月球大叔（主持人） (01:11:20)

就是 RL 吧。

朱邦华（嘉宾） (01:11:22)

嗯，RL 这边的话，其实我觉得，嗯有一个点就是说，现在 Frontier Lab 和 open source 的差别还是挺大的。所以就是说这个， open source 这边的话，其实可能会有更多值得做的东西。然后是可能就说，是是是这个大家现在很多公司还没有的，但是就说如果一旦有的话，其实大家可能会有更有机会被 empower 成一个更接近于 front Lab 的一个这样的一个 style。

月球大叔（主持人） (01:11:45)

那这一段怎么理解呢？就是差距这么大？

朱邦华（嘉宾） (01:11:50)

对，其实就包括，比如说这个强化学习的环境，它对应的 Infra 和 Data 的 quality，以及就是说本身的这个 RL 的 Infra 的一些各种各样的细节。说，如果你没有在非常大规模去做过验证，那其实这个 Infra 本身它可能没有办法去非常 reliably 去训练一个比如说万亿参数的一个模型。然后这个其实很多时候你需要有很多卡才能去 verify 这个事情。然后才能把这个事情就你运行很多非常各种各样不同 case 的 run，你才能去理解就是说这个它到底是否真的 reliable？我会不会有些真的小的问题，非常多的 corner case 是我们之前没有发现的，它可能就会导致你的 accuracy 有些偏差，甚至你就会得出一些错误的结论。对。

月球大叔（主持人） (01:12:32)

所以说你觉得现在开源社区还不具备这样的一些条件，对吗？

朱邦华（嘉宾） (01:12:36)

嗯，这也是 partially，为什么我们希望就是通过 RadixArk 来，就是说嗯把这件事情给做起来的一个原因。因为本身来说的话，其实，嗯。你光从一个开源社区的角度，它其实很难撑得起就是说，比如说一个千卡的一个 testing，或者万卡的一个 testing。但是你通过一些这个商业上的这个机会。你其实是有可能去让更多的人去摸到这个千卡和万卡。这样的话，这个， access 就可以被更好的 democratize。对。

月球大叔（主持人） (01:13:06)

所以说，比如说，你们在通过 RadixArk 帮助一些公司完成一些万卡的后训练的建设，然后这些东西你们也会逐步地放出来，在可接受的范围之内。

朱邦华（嘉宾） (01:13:19)

Miles 其实现在已经经历过就是千卡这个 level 的这个 testing。就它其实是非常 reliable。当然万卡的话。其实可能需要有更多的一些这个 fault tolerance，和一些更多 acquisition layer 的一些这个优化。所以这块的话，就也还是大家努力的一个方向吧。对。

月球大叔（主持人） (01:13:34)

对放出这么多东西的话，那你们如何让自己的商业模式，更具有延续性的？

朱邦华（嘉宾） (01:13:40)

对这这部分我们考虑的是：就是我们希望能尽可能降低它的成本去 access 到一些大家这个平时生活中能用到的一些场景。但如果在非常极端的场景上面，它需要的一些极端的优化，其实有的时候，开源出来反倒不会对整个 community 会有很大的帮助。

月球大叔（主持人） (01:13:59)

所以说这一块东西也是你们保证商业模式的一个技巧？

朱邦华（嘉宾） (01:14:03)

嗯。嗯，它不一定是保证商业模式的一个技巧。只是说，就是说这部分就算开源的话，其实可能也不会有太多的人他会用到。对。

月球大叔（主持人） (01:14:12)

OK， 那，刚才提到了比如说机器人呀，就是无论是国内还是硅谷这一块都有很多机器人这样的公司。那对于他们的话比如说你们，提到的 SGLang 这样的推理引擎，有帮助吗？你觉得？

朱邦华（嘉宾） (01:14:31)

嗯，是肯定会有的。就是说，当然就说也看机器人的具体的使用场景。嗯，如果它是，嗯，比如说机器人上面的一些这个对话的形式，或者是你要机器人让它做一个 VLA，然后呢让它去针针对 VLA 做的一些推理。这些可能需要针对对应的 hardware，和这个新的 model architecture，和新的这个比如说它 Prefill 比较 heavy 的这样一个 setup 做一些优化。但是 eventually 它的这个推理引擎的很多的底层的逻辑，比如说 kernel 啊，这个 compiler，这些其实都是可以复用。

月球大叔（主持人） (01:15:08)

对。你们现在有类似的一些合作吗？

朱邦华（嘉宾） (01:15:11)

目前机器人这边还比较早期，对。

月球大叔（主持人） (01:15:14)

明白。那么接下来就是长期来看，那对于推理 Infra 和强化学习 Infra 最终的终局会是怎样呢？是不是可以理解会未来会有一家 DataBricks 或者 Snowflake 这样的 Infra 公司，帮着全世界各种各样的很牛的大公司做 Infra 管理，类似这样的情况？

朱邦华（嘉宾） (01:15:38)

嗯，有可能。但也取决于你的终局是多多么终的终局。就是我觉得在某个 state 的时候，是会存在这样一家公司，它更像一个平台，然后去 enable empower 更多的人去 build frontier-level 的这个 AI，然后甚至是就是用 frontier-level 的 infra 去做这个 training，和 inference。但是甚至在这之后到底会发生什么其实我觉得才是更有意思的事情。就是会不会这个，就如何再定义，那个时候 agent 到底会长什么样子？然后呢，是 agent 到底会和人怎么去交互？然后 agent 之间的交互，和这个 agent 和人之间的交互到底会有什么样的不同？然后是不是有一家公司它需要去 empower 所有的这种 personal agent，然后这所有的 personal agent 他们之之间的交互，以及这个和人交互的 interface 是不是都会需要一家公司来定义？

朱邦华（嘉宾） (01:16:28)

那这个其实我觉得可能会是未来更有意思的一些问题。然后所以我们 RadixArk 其实一方面是想做这个做成为一个平台。另一方面也也会也会希望变成一个 Infra First 这样的一个 frontier lab，去探索更多这种更前沿的一些新的问题吧。对。

月球大叔（主持人） (01:16:46)

我大概理解一下。最近有很多公司比如说是那种做 Agent 拍卖，我去把一个任务发布过去，然后各家 build 自己的 Agent 去承接这样的任务。相当于就是说由之前的外包给人变成外包给 Agent，或者外包给人家 Agent。

朱邦华（嘉宾） (01:17:04)

嗯哼。

月球大叔（主持人） (01:17:05)

然后你刚才说的就是，可不可能 RadixArk 这样的推理 Infra 或者说强化学习 Infra 最终能够支撑这么样若干家公司的这种运行，对吗？

朱邦华（嘉宾） (01:17:18) †

他可能不是若干家公司，而是可能最后就是全世界大家所有的公司的运行方式可能都是通过 Agent。那这个时候其实，就是他后面也需要有个类似于电力公司的一样的这样的一个公司去 empower 所有人。那我们有可能希望，比如说这家公司是 RadixArk。当然其实你刚说的这个。比如说人去雇 agent，但其实现在之前也会有这个这个 OpenClaw 衍生的这个社区，是存在 agent 雇人的这种。所以这个它，大家其实都在探索一些新的这种 agent 和人到底该怎么交互。比如 agent 它会说我要出多少钱，然后说这个派人去帮我去一个地方做点事，然后这个可能也会更更有意思一些。

月球大叔（主持人） (01:17:59) †

比如让人去跑腿之类的。

朱邦华（嘉宾） (01:17:59) †

对。

月球大叔（主持人） (01:18:02)

所以说我大概理解一下你刚才那种愿景。就是未来的话，人与 Agent 的协作就跟现在人用电一样自然。然后， RadixArk 这样一家公司要做那个电厂。

朱邦华（嘉宾） (01:18:15)

嗯， hopefully。对。

月球大叔（主持人） (01:18:17)

啊，这个，愿景，我是第一次听你讲，所以说我感觉还是挺伟大的哈。

朱邦华（嘉宾） (01:18:24)

我是觉得，这个只是一个万千未来可能性中的一种。然后这个可能也完全不会发生，也可能确实发生的就是：比如说 at some point， Anthropic 或者 OpenAI 一家独大，然后就把 ai 这个游戏给结束了。只是我们其实更希望看到的是一个百花齐放的一个时代。对。

月球大叔（主持人） (01:18:41)

对，如果说他们家做到，就是模型一骑绝尘，他们就是那个世界上最终极的黑客帝国里边的一个母体那样的 Infra 对吗？

朱邦华（嘉宾） (01:18:52) †

对，他们既是模型公司，也是 Infra 公司。

月球大叔（主持人） (01:18:54) †

然后大家只要 call 他们 API，然后所有的 agent 它都存活于他们那个母体当中。

朱邦华（嘉宾） (01:18:58)

是的，对，这是一种可能的结局。但是我们希望的是另外一种结局。对，就是有更多的不同的这个 agents 在互相 interact 然后这些 agent 都来自不同的公司，然后我们成为 empower 这些公司的人。

月球大叔（主持人） (01:19:11)

所以说你参与这次创业，最终的目的就是能够朝着这个方向更推进一步，无论成败与否，反正你觉得你做出了自己的努力，对吧？

朱邦华（嘉宾） (01:19:19)

对，是的。

月球大叔（主持人） (01:19:20)

啊，这个东西真的是第一次听你讲，真的太太棒了。

朱邦华（嘉宾） (01:19:24)

这个这个比较玄学。

月球大叔（主持人） (01:19:25)

对。但是我还是觉得，就是确实是我比较相信一句话。就是因为相信所以看见嘛，对吧？你要是让这个世界努力去按照你想要的那方式去走一走，虽然失败了，但是最起码它是一件很有意思，很有意义的一个过程。

朱邦华（嘉宾） (01:19:40)

对，是的。对。

月球大叔（主持人） (01:19:42)

甚至说可能会启发很多人，对吧？可能自己不是那个成功的人，但是到最后启发了很多人继续朝这个方向努力，某一个人接力，他就成功了。

朱邦华（嘉宾） (01:19:52)

对，我们会觉得那样的世界会更有意思。对，所以我们其实就是希望能够，大家一起去把这个这样的世界给 build 起来。对。

月球大叔（主持人） (01:19:59)

确实好像是挺有意思的。

Neo Labs、世界模型与创业机会

月球大叔（主持人） (01:20:02)

嗯。对，那么刚才也提到了嘛，就是很多 new labs 对吧？就是无论是中国还是美国，都是越来越多的公司在自己训大模型。对这些 Neo Labs 你的看法是什么呢？

朱邦华（嘉宾） (01:20:15)

我其实觉得，就是说现在这个其实是我们很希望看到的愿景的第一步。也就是说有越来越多的人，他去愿意去挑战 Frontier Lab。就是他们不会觉得， OpenAI 和 Anthropic 就是终局。他们反而觉得，就是说我们我们现在可以创造一些新的范式，去创造一些新的 AI。 这种 AI 它甚至不一定是通过现在的， pre training、post training 这个 paradigm 出来。比如说 David Silver 公司做的这个，他们说要做从零开始做 RL 的这样的一个思路这就是一个非常有趣的一个思路。当然不知道最后是否会成功，但是就是有有这样越来越多的尝试，大家才有可能在范式上做出新新一代的改变。然后我们其实也希望，就是说能够 empower 越来越多这样的公司，让让他们去推动时代的 frontier。同时我们和他们一起去合作，去推动这个让让他们更更快更 efficient 去推动这样的一个 frontier。

月球大叔（主持人） (01:21:07)

就是怎么说呢？作为我，因为我也是一个研究员嘛，我就觉得之前从来没有遇到过这样的一个情况。就是资本大举的去推动这个实验室的成立。

朱邦华（嘉宾） (01:21:19)

嗯哼。

月球大叔（主持人） (01:21:19)

对吧？现在是进入到一个你只要是一个足够好的研究员，然后可以在工业界拿着很高的薪水来做研究，就是站在这样一个角度，我觉得就是真的是科学技术是第一生产力，然后接下来就是努力去做这些研究，然后努力去探索，努力去产生实际的价值，是不是对于一个学生来说是最好的一个职业方向？

朱邦华（嘉宾） (01:21:44)

对，我觉得是的。其实现在就是大家都在赌一个 agi 的未来。所以其实不管是这个投资人还是说公司，大家都愿意去花更多的资金或者是成本去赌这样一个事情。我觉得这个其实，也对于很多做 AI 研究的人来说还是非常 encouraging。对。

月球大叔（主持人） (01:22:01)

对，这就是好事啊，对吧？

朱邦华（嘉宾） (01:22:02)

确实是好事。

月球大叔（主持人） (01:22:03)

之前哪有过这样一种情况，对不对？

朱邦华（嘉宾） (01:22:05)

对，是的。

月球大叔（主持人） (01:22:05)

这个卡，无论是 NeoLabs 的那个就是人才也好，还是 NeoCloud 上面的卡也好，对吧？这些钱全部变成了人才和卡，就这种感觉。

朱邦华（嘉宾） (01:22:15)

对，是的。

月球大叔（主持人） (01:22:16)

对，就是无论成与不成，其实就应该去做这样的事。你的观点是吗？

朱邦华（嘉宾） (01:22:22)

我觉得是的。因为其实就是说，你就算这次不成不成，你可能还会有下次。但是如果你一直不去做的话，你可能就没有机会会成。

月球大叔（主持人） (01:22:30)

对，尤其是 OpenAI 这一波，还有 Anthropic 这一波就是已经逼近万亿市值了嘛，对吧？大家也看到了，如果说你一开始投了几亿或者十几亿，然后万一出现了一次就是范式革命，很可能你的 1 亿就变成了 1 万亿，对吧？

朱邦华（嘉宾） (01:22:45)

对，是的。

月球大叔（主持人） (01:22:46)

对，这种吸引力也是很大的，对吧？

朱邦华（嘉宾） (01:22:50)

对，而且这个机会是，就是，它是真的是取决于时代的。就如果你再倒推前十年，其实它可能没有这么大的机会。就是反而是，就是说如果这个事情它 AI 刚出来这一段时间，它其实是这个在一个混沌的状态，就是乱世出英雄。所以其实反倒这个时候，反倒就更应该去拼一拼。就就就算 worst case 真的就是什么东西都没有做出来，那其实也还是可以回大厂养老，我觉得。

月球大叔（主持人） (01:23:16)

嗯，这个，大家一定要认真的把这段话反刍一下。这就是职业的黄金建议好吧。对，那么除了这些 Neo Labs 和 NeoCloud。那对于最近越来越火的世界模型你有了解过或者有自己的看法吗？

朱邦华（嘉宾） (01:23:31)

对，我觉得其实世界模型也是一个就是对于新的 modality 的一个 exploration。所以我觉得其实是非常自然的。同时就是说如果你能做非常非非常好的这个所谓的 world model，当然这个怎么定义这个 world model，其实大家也都有些争议吧，但是就是说如果你能去非常好的去 predict physical world，然后或者就是说你能够 generate 非常非常好的 physical simulation environments，这个其实对于 robotics 或者对于一些甚至是游戏领域，其实都会有非常非常大的这个帮助。这个其实就是一个和 language model 完全不同的范式。那当然我自己没有太 work on world model 但是我确实觉得这个是一个也是下一个比较非常重要的一个点吧。对，。

月球大叔（主持人） (01:24:14)

对，我发现你在看待这些方向的时候，和你刚才说的 Michael Jordan 的状态挺像的。你就是鼓励大家，探索去吧。你没有像很多那种大 v 一样，对某一个方向进行单点的爆破。啊，这个不行，那个不行。但我发现你就说，哎，这个大家应该试一下，那个大家也应该试一下，对吗？

朱邦华（嘉宾） (01:24:32)

嗯，因为我我知道我这个，我的观点会就是可能会很 bias。就是说，如果我，我确实会觉得，比如说，当时会觉得比如说， for example 非常小的点，比如说会觉得 DPO 不行，我觉得 PPO 其实会更好。那这个事情我也不会去就是说把它说死。因为我觉得就是说它，它这个它这个问题就会是，没有办法一个人通过一个人力量去 predict 出来。你必须要有非常严谨的 observation，你才能真的把这个给说死，。

研究探索、判断力与 Arena 评测

月球大叔（主持人） (01:25:00)

那我们进入收尾阶段吧。就是回顾你过去这么精彩的本科，博士，第一次创业，第二次创业，就是你会觉得如果怎样的话你还可以做得更好一些？比如说 25 岁那个阶段，你会更多的去做什么，更少的去做什么？

朱邦华（嘉宾） (01:25:20)

我其实觉得那个时候我可能还是会多去尝试各种新的方向。嗯。就是如果我当时，比如说，没有去尝试过通信，没有尝试过 computer biology，甚至我当时还有一段时间看了一些 blockchain 的 theory，或者是在后面的 econ theory，其实我觉得我可能对于，一些东西的认知不会有现在这样比较更完备一些。就是说我大概知道，比如说通信到底要解决什么样的问题，然后， computer 到底要解决什么样问题，为什为为什么这些问题在当时重要，然后在现在可能会 less important 或者在当时不重要，但是现在变得重要。所以其实我觉得，看看过各种 research direction 的兴衰，其实反而对我来说会让我更有更有底气去判断一些后面到底会发生什么事。

月球大叔（主持人） (01:26:10)

对，我刚才能够感觉到，你说你的判断力是一个非常非常准的一个人。其实我其实我在过去也一直在反思，和创业的伙伴呀，和跟很多朋友在反思，我就发现，在某一个节点，你能否做出那样的一个决定，那就是一个人认知的最高的体现。

朱邦华（嘉宾） (01:26:28)

嗯。

月球大叔（主持人） (01:26:29)

对，我是觉得你的那个判断力特别特别的准。然后我也特别相信你刚才说的那些，就是过去经历了这么多不同的探索之后，培养出来你这种对于一些事情的那种判断力。

朱邦华（嘉宾） (01:26:40)

嗯嗯。对，我是觉得就是做公司也包括做各种任何事情。其实它，最后其实也就是就是每一个决策，它最后带来的结果。对，其实就是说这个，我我判断一个人其实也看，就是说，比如说他 make decision 做决策的时候，他是否能总是或者经常 make right decision。我觉得这个其实是确实是一个非常重要的，也是体现这个人思考的一个一个一一一一一个方向吧。对。

月球大叔（主持人） (01:27:09)

你细说一下，比如说你在面试过程当中，怎么能够判断出来他会做正确与否的 decision？

朱邦华（嘉宾） (01:27:14)

啊，我倒不是面试。比如说，其实我就非常佩服盛颖，这个我们的这个 ceo。我就觉得就是说他其实，就说他对于很多东西的判断其实是非常非常有非常非常准的直觉。比如说他当时嗯嗯做 Arena 这个事情，其实这个他在做之前可能他就大概有个想法，说这个事情是非常重要的事情，而且可能会是所有人都需要的事情。然后就果然 Arena 这个事情就就是非常非常火。然后呢，在后面在做这个 SGLang 的时候，其实我和他判断判断都是相反的，我是觉得就是没必要花时间去做一个全新的推理引擎。但是他会觉得就是说如果这个推理引擎，我猜啊，他是觉得就是说从 first principle 角度来说，如果你推理引擎做得足够快，足够好，然后足够 widely supported，他就是用户就会去选择它。然后 turns out 他确实是对的。然后我当时的判断其实，就是完完全相反，然后完全错了。

朱邦华（嘉宾） (01:28:13)

然后呢，他其实在做 SGLang 的非常早期的时候，就是拉着赵晨阳、很多人一起去做这个 RL 这件事情，然后因为他就是觉得 RL 就会是未来的一个需要 bet 的方向。然后，turns out，确实就是大家现在强化学习这个，尤其是对于这个 agent 因为 agent 的原因的，所以导致强化学习这个本身这个需需求也越来越大。所以因为 SGLang 和强化学习 integration 做得非常非常好，所以有很多越来越做 training 越多越来越多做 training 的人也会去使用 SGLang。所以我是觉得，就是我这个 co-founder，其实但他能够做很多在时代上面对的判断我就觉得这个是非常难能可贵。对。

月球大叔（主持人） (01:28:52)

啊，你有点过于谦虚了。其实在我的视角当中，就是一个判断力超强的人遇到了一个判断力超超强的人，就这种感觉。因为你当时，对啊。

朱邦华（嘉宾） (01:29:01)

嗯嗯。他他他确实很强。对，我我我我自己我不太清楚。

月球大叔（主持人） (01:29:06)

但是我的视角是很强的。因为当时做 Nexus 包括能够趟平这套 RL 这套技术栈，包括那么早就把 agent 和 function calling 这件事情都想明白，在 2023 年那个阶段。对，而且是一个非大模型的博士，是从强化学习 optimization 转过来的，这已经是很变态了。我觉得。嗯。

朱邦华（嘉宾） (01:29:26)

感谢。

月球大叔（主持人） (01:29:27)

对，然后其实就是刚才有个，就是可以给大家再进一步的聊一下，就是 LM Arena 就是那大模型的那个竞赛榜单嘛，对吧？前段时间也拿到了 1.5 亿美金的融资，对吧？就是大模型不但要看那些专业的什么数学呀，什么长文本呀那些榜单上的那些相对客观的排名，但是也需要一种就是说大家去打分，对吧？认真的去看一下广大群众们到底是怎么认就认可这个大模型的，嗯。所以说也是很早就开始做这件事情，但是，最近相当于也是被各种各样很牛的投资方看到，然后对吧，投资了。

朱邦华（嘉宾） (01:30:05)

对，我我反而觉得这个大家投资的时候，其实投资的还是最开始那个版本的 Arena。因为当时在那个社会那在那个背景下面，其实大家最看重的其实就是你聊天本身是否会被人喜欢。因为当时模型还没有做到，没有办法做到就是说它给你很好的很高质量的 response，但是在现在这个阶段，其实大家慢慢的会往 Intelligence 的 frontier 去推进。这时候大家其实看重的不是我喜不喜欢这个 response，而更想说他们能不能解决最复杂的问题？能不能解决 coding 这些问题？这个现在反而是很多时候 Arena 它没有办法反应的一个这个指标。所以其实我个人是觉得，就是说这个嗯，如果 Arena 想进再进一步的话，可能也会需要再往这个方向发展。

月球大叔（主持人） (01:30:53)

对，对。就是构建更多的环境，然后很客观的去看待这个问题能否被某个大模型解决，对吧？

朱邦华（嘉宾） (01:31:00)

对，其实就是更像是要推进 Intelligence Boundary 的一些 evaluation，而不是只是通过人的，这个情感或者是人的这个判断就能简单的判断出来的这样的一个 evaluation。

月球大叔（主持人） (01:31:11)

感觉他们之后肯定会往这个方向去靠，对吧？

朱邦华（嘉宾） (01:31:14)

对，希望如此。对。

编程智能体与计算机行业的就业

月球大叔（主持人） (01:31:17)

那再我们再测试一下判断力吧。就是说，这个因为你也现现在天天在用 Claude Code 写代码嘛。你觉得程序员这个行业，其实我觉得我不太喜欢用程序员这个单词，因为它太宽泛。因为确实是有计算机科学家，有工程师，有程序员这样不同的一些角色划分的。那么你对我们计算机这个行业接下来会走向怎样一个就业的一个就是场景，做一个构想吧。

朱邦华（嘉宾） (01:31:45)

嗯。我觉得因为 coding agent 的原因，所以它其实现在造成了两个影响：一个影响是这个对于 junior 的的 software engineer 来说，或者是 cs 刚刚毕业的人来说，其实，嗯确实在找工作方面会更难。因为大家很多时候发现并不，就是说 Agent 它可以轻易地取代一些更 basic 的一些 Computer Science、Software Engineering 相关的 work。另一方面其实就是说它会，让很多资源更 concentrate 到就是真正强和有 taste 的，这个有有水平的顶尖的 System Engineer 或者是 Software Engineer 上然后甚至是 Researcher 上。因为其实 Agent 会不断无限的放大他们自己的这个，能力，以及就是说加速他们的 iteration speed。

朱邦华（嘉宾） (01:32:30)

这样的话，其实 eventually 可能就是说，可能会对 cs 这个行业造成的一个变化，就是说以前大家做一个非常复杂的 software 要维护它，可能确实这个是一个百人地 efforts 或者是千人地 efforts。但是之后呢，它可能确实 eventually 随着 coding agent 不断变强，它可能就会是一个十个人的 efforts，但是需要十个最强的这个 system 的人，最有 taste 的人去把这个事情做起来。然后所以我觉得这个我也没有太想清楚清楚的一点，就是这样的教育断层到底该怎么去被弥补？是不是以后学校它的作用就就更多的像是其实是如何筛选出来能够成为这个最强的这些这这些 system engineer 或者是 software engineer 的人，然后让剩下的人去 explore 别的 direction。所以这块其实我，暂时想象不出来会是什么样的一个未来。对。

月球大叔（主持人） (01:33:25)

对，我也是觉得，就是单纯从计算机这个行业来讲的话，接下来的可见的工作岗位的话，基本上就会集中在你刚才说的那一类身上。

朱邦华（嘉宾） (01:33:35)

对，我觉得大概率是的。

月球大叔（主持人） (01:33:37)

就是公司现在，尤其是你也看到一个趋势，硅谷这边就是精兵强将，招上三四十个，这家公司基本上就能运转得不错，而且很有潜力。你招的人越多，甚至会让人觉得你这家公司可能有点人员冗余，然后不够有潜力，对吧？

朱邦华（嘉宾） (01:33:54)

对，就是更像是 AI agent native 的公司，可能在各种架构啊以及就是 design 上，可能会和之前之前时代的公司就都会有些差别。

月球大叔（主持人） (01:34:04)

对，它整个组织架构呀，一些沟通方式呀，一些合作方式就会全部产生变化，对吧？

朱邦华（嘉宾） (01:34:08)

对，是，对。

月球大叔（主持人） (01:34:09)

但是同时呢，计算机这个行业其实要在国内读书的话，大家都知道，就是它是一个非常大的一个专业。基本上每个学校计算机的人数都是能够排到前几名的，我觉得至少是前五吧，计算机。对，那接下来的话，其实肉眼可见的就是真的看不太清楚：就是这么多的计算机专业毕业生，怎么能够去，就是说继续在这个行业之中生存。

朱邦华（嘉宾） (01:34:34)

对，我也不知道。

月球大叔（主持人） (01:34:36) †

对，那就是……

朱邦华（嘉宾） (01:34:36)

我觉得很，这是个很难的问题，对，。

月球大叔（主持人） (01:34:40)

嗯，这是一个很难的问题。

朱邦华（嘉宾） (01:34:41)

反正，如果有可能， hypothetically， 假设这个 AI 它在各个方面能力还需要进一步发展的话，那其实很多时候，可能现在这么多的供给就会变成一些嗯，比如说让 AI 进一步进步的一些 Data Labeling 的一个需求。对。

月球大叔（主持人） (01:35:03)

就是说更多的人可能先从事一些 data labeling。

朱邦华（嘉宾） (01:35:08)

对，但是，但是这个，因为 data labeling 其实越变得越来越复杂，所以其实它它的门槛也会越来越高。就就是你是如果你现在只是标这种 preference data，其实对于 Frontier model 来说，其实帮助不大。其实更多时候，大家需要标的是越来越复杂的数据。那这个确实也是一个目前来看还是一个 human capital 非常 heavy 的一个 efforts。

月球大叔（主持人） (01:35:32)

但其实无论如何，我个人的体验就是，如果说你非常喜欢计算机这个专业，嗯。你就是应该 all in，因为这个行业的大的机会其实还是在那边了。如果说你不够喜欢，只是想找份工作，可能这个行业会越来越不友好。我觉得这个判断应该是可以下。

朱邦华（嘉宾） (01:35:50)

对，是的。但其实甚至再退一步来说的话，就是说， AI 也有可能导致就是说很多所谓的财富啊其实可能最后就都都真的 irrelevant。所以其实他可能，人最后就是看自己到到底喜欢喜欢什么就应该做什么。如果真的是享受 CS，享受 coding，那其实也还可以接着

月球大叔（主持人） (01:36:10)

古法编程。

朱邦华（嘉宾） (01:36:11)

就是还可以接着接着自己做 coding，然后那就是其实就是出于兴趣。也不是为了 productivity，也不是为了赚钱。然后如果有些人他就不喜欢 cs，但是因为 AI 的原因，他其实是可以被 empower 去做任何他想做的事情。这个其实换一个角度来说，其实也是好事。对。

月球大叔（主持人） (01:36:27)

哦，这个观点就是，和前一段时间马斯克说啊，人类的社会终将会变成一个大家财富都非常的无所谓了，反正大家都已经极大的物质自由了，大家能干点自己开心的事就干点自己开心的事。是这样一种感觉，是吧？

朱邦华（嘉宾） (01:36:43)

对，我倒不一定觉得物质自由会那么的靠近。但是我是觉得就是说这个，因为因为 AI 的原因，所以让大家这个想干自己喜欢干的事情这个门槛会降低。因为假设，假设我现在突然觉得， computer biology 是一个未来，我又想接着回去做生物，我其实可以通过 AI 的方式来去帮我更好地去 on board 这个方向，然后让我去就是和 AI 配合，就降低我这个做这个方从事这个方向的一些门槛。其实我觉得这样的话，其实就让人这个转行其实就会变得这个更容易一些吧。对。

月球大叔（主持人） (01:37:19)

哦，我之前也是采访过一些做生物学的博士，在斯坦福的。那他们现在每天就是 Claude Code，就是在各种数据处理啊，各种学习新的方向的时候，都是 Claude Code。

朱邦华（嘉宾） (01:37:30)

对，是。

月球大叔（主持人） (01:37:31)

一个之前的话，可能比如说要花很长一段时间去学编程，甚至说就没有那个时间去学编程的一个人，嗯。现在直接拿着 Claude Code 在做自己领域的事情，做得越来越强大。

朱邦华（嘉宾） (01:37:42)

对，是的。所以这个 tool 我觉得整体来说还是会越来越多地 empower 更多的人去做自己喜欢的事情，只要把它用好的话。

月球大叔（主持人） (01:37:50)

对，其实那就单点从计算机这个行业来说，这个人员肯定是需要的越来越少。但是从大的覆盖面上来说的话，就是 AI 赋给人的自由度是更多的。

朱邦华（嘉宾） (01:38:02)

对，是的，对。

月球大叔（主持人） (01:38:04)

哎，其实整体来看的话，它就还是一个更美好的世界，对吧？

朱邦华（嘉宾） (01:38:09)

嗯，我只能说希望如此。对。

月球大叔（主持人） (01:38:12)

为什么说只能说希望如此？

朱邦华（嘉宾） (01:38:14)

嗯，就是它，确实也会让确实也会带来很多非常现实的失业的问题。因为不是所有人他都，比如说，他确实会有人，他就是享受做 computer science，写 code，但他可能就是能力不是那么强，然后但是他就喜欢这个过程。那这种人，他可能确实是会面临面临比如说找不到工作的一些这个挑战吧。就他肯定任何社会的转型，其实都会带来很多阵痛。嗯。我觉得这块就是是不可避免，但是也是就说也是比较悲惨的一件事情。对。

月球大叔（主持人） (01:38:48)

确实，就是能够看到，我个人就是觉得这是一次工业革命。所以说我能够看到一些场景下，就是在转型的过程当中，很多年轻的同朋友们都是在找工作的当中很吃力很吃力。

朱邦华（嘉宾） (01:39:03)

对，是。

技术品味、招聘与正直善良

月球大叔（主持人） (01:39:04)

对。刚才你也提到了，就是说各种各样的资源和机会都会更多的集中于那些品味比较好，能动性比较强的人。那么从你的视角来看的话，你怎么去筛选出这样的人呢？就什么是品味好？

朱邦华（嘉宾） (01:39:16)

其实很多时候我觉得，在比如说看见你面试的过程中，以及就是和大家交流的过程中，其实很多时候就会看到，就说，比如说嗯他能不能觉得，能不能发现自己在日常生活中对于 code 或者是对于其他的一些这个嗯方向有很大的 criticism。他会不会觉得我看到这个东西，就被写成这样，我就浑身难受。然后会不会觉得，就是说，啊，我这个 code 就不能写成这样，或者是我这个 research 就不应该这么做。我我会，很多人其实会，不太会去产生很强的 criticism，他不会去 criticize 一些东西。然后他会觉得啊这个其实就还不错，我就觉得我就直接接受了。但其实如果你看，比如说 Linux 就是这个写 Linux 这个 system，它其实就是一个早期使用 Agent 的鼻祖。就它是用人来当 Agent，然后呢，他只要人写的不好，他就去骂他，就在就在网上疯狂喷。但其实背后就是他一直在对于很多 code quality 做 gate keeping。

朱邦华（嘉宾） (01:40:19)

就是说他真的去把关，就是说这个东西它到底这个就，如果他真的不符合他审美，他就会直接 reject。所以其实就是说，很多时候这个其实更像是说大家能不能在这个现实生活中，或者是在这个写 code 的过程中，能够发现就是说这个这 code 到底有什么问题。那这个其实我觉得就是你在面试的时候，或者很多时候交流他平时的工作到底是什么样子，就我们就我们就能感觉到。就是真的有人我们聊的时候，他就说，我现在看公司里面的 code，真的是浑身不自在。我就希望把它重写。我就希望，这这有很多地方其实都可以被 improve，但是我们现在做不了这个事情。我们其实聊到这样看你的，我们其实就会觉得比较开心。就是，这，然后再深入地去交流，理解一下他他看到的问题是不是真的问题，然后他有没有一些更好的解决方案。因为只有这样你才，比如说现在在和 prompt agent 的时候，你可以去喷这个 agent，你说这个你做的这个太烂了说我需要更高质量的 code。

朱邦华（嘉宾） (01:41:13)

如果你觉得 agent 写的 code 已经很好了，那其实你的 upper bound 就会是在 agent 写的 code 这个 level。但如果你能去 supervise agent，你能告诉他说我这个 system，这个写 code 就是应该写的比这个你你你这个现在写的比我想象中的离差的太远了，而且还你还能告诉这个 agent 真正好的 code 应该是什么样子，你就可以 drive 这个 agent 去写出真正好的 code 出来。

月球大叔（主持人） (01:41:37)

我觉得刚才这一段可以让年轻的朋友当做职业发展圣经来看。嗯。对，就是非常，就是，就思路非常清晰的给大家指导了一个如何在工作上提升自我的一个方向。其实我之前也采访过一些人嘛，在做开源做的比较好，其实开源做的比较好的，就包括 Linux 的那个人。嗯，都是这样的品质。

朱邦华（嘉宾） (01:41:58)

对对。

月球大叔（主持人） (01:41:58)

他们身上的品质会让他们怎么说来着？就是在职业上永远比别人要快若干个身位，直到别人追不上。这实实在在就是这样。

朱邦华（嘉宾） (01:42:09)

对，是的。

月球大叔（主持人） (01:42:09)

你要说，那实话说，是讲，你要说真的智商，就说超过 180 或者超过 200 的人，几乎也见不到。嗯。但大多数在这种细小的差别之下，全靠这种刚才你说的这种品味，以及，这个事怎么就不美呢？这个事做的怎么就不漂亮呢？这个事我为什么能够 500 行的代码，我们能不能有 100 行写出来，而且大家看的更懂呢？就这种，比较执拗的这种，强迫症。嗯就是那种高 taste 的一种体现，对吧？

朱邦华（嘉宾） (01:42:38)

对，是的。我们其实很很缺，也很欣赏这种人。但我我其实不算是这种人。所以其实我也不太敢写 code，给 SGLang 写 code，因为肯定会被 Lianmin 和 Ying 喷。对。

月球大叔（主持人） (01:42:48)

对，你还是太谦虚了。对，但是能够判断出这样的人，我觉得也是很重要的一个品质。就是千里马常有，而伯乐不常有嘛。如果说有些人就觉得，哎，这个人真难合作，真轴。但是在你的视角当中，可能觉得，哎呀，这个人真的是精益求精，真的是太高质量了，太高品味了。那确实是他就应该和你合作。

朱邦华（嘉宾） (01:43:08)

对，很多人其实就是这种性格的人，他其实在大公司可能会是格格不入。大家会觉得这个人这个破事真多，然后就说和所有人想法都不一样，去 block 很多事情的进展。但其实我们，包括 Lianmin 和 Ying 做 LMSYS，我们去做 RadixArk，其实背后也有个 mission，就是希望，就是说能让真正有能力，然后有想法，同时就说这个正直善良的人能够被发现，然后能够被世界认可，然后能够就是说在在这样的这个大背景下脱颖而出吧。对。

月球大叔（主持人） (01:43:38)

我特别喜欢你刚才说的正直善良。因为刚才我们都聊的技术相关的话题。其实说句实在话，就是见了足够多的人之后，你会发现，正直善良真的很重要。

朱邦华（嘉宾） (01:43:48)

嗯，对，是的。就是人格底色很重要。

月球大叔（主持人） (01:43:50)

对，这个东西就是你在和别人沟通的过程当中，你很容易，也不是很容易吧，有了一定的阅历之后，就能够判断出他的底色。然后在这种底色之下，才能够产生一些同频的交流，才能产生共振，才能继续去深入去做更伟大的事情。如果没有这个基本的底色的话，可能后边都无从谈起。

朱邦华（嘉宾） (01:44:10)

对对，我觉得这个找创业伙伴或者找这个就是甚至是公司里的每一个人，其实我觉得这点其实可能是最重要的。对。

月球大叔（主持人） (01:44:17)

啊，我特别特别认同这样的一个点。嗯。我发现就是为什么和你一直比较聊得来的原因，可能是不是就是因为这样的一个原因？

朱邦华（嘉宾） (01:44:24)

对，那我觉得这个和你也非常聊得来。

月球大叔（主持人） (01:44:27) †

感谢，感谢，感谢。

朱邦华（嘉宾） (01:44:28) †

灵魂共鸣。

月球大叔（主持人） (01:44:29)

共鸣了，共鸣了。对。

给学生与职场人的建议

月球大叔（主持人） (01:44:30)

那么接下来就是想想啊。接下来的话就是我们接下来就， OK。那我们接下来就是进入最后一个问题了。对于刚读本科的同学，对于刚读博士的同学，对于正在工作的同学，分别给这三类人提出你最真诚的建议。

朱邦华（嘉宾） (01:44:54)

嗯。对，我是觉得，嗯，这很容易说的很虚啊。但是我是觉得，嗯，就是现在其实这个时代变化非常快，其实反而导致了很多时候嗯，试错的成本其实反而会变低。因为其实不管去尝试什么样的东西，只要是在比较正确的大大的大的 direction 上面，它其实都会是 eventually 是会 work out。所以其实就是说有些人，很多很多人会纠结，比如说我是否要放弃我 phd，然后去做一些自己想做的事情，去尝试一些创业公司尝试的方向，或者就说这个我是否要放弃自己之前做的很多年的工作经验，然后去尝试一个完全不同的方向，然后但是我觉得，就是说有很多人是愿意，就你多愿意放弃，其实反而就是会让你之后多收获一些东西。然后我是觉得，就是说，嗯，尤其是在现在这个变化这么快的时代，就是反而是能放得下的人，其实最后最后才能拿得更多吧。对，所以也是鼓励大家，就是说如果有自己特别想尝试的东西，尤其是觉得比如说为什么这个人他就能做这？为什么这个为什么我就做不了？

朱邦华（嘉宾） (01:46:09)

那其实我觉得其实你可能就应该试一下。说不定你会发现这个人其实也没什么大不了，你可能做的其实比他还好。

月球大叔（主持人） (01:46:16)

啊，说的太好了。而且你说这些话特别有说服力，你知道吗？就相当于你从一个全球最知名的导师团队迈克尔乔丹那边，放弃了理论，放弃了统计，放弃了 optimization 这个方向，对吧？勇于选择了这个新的大模型，然后所以说就变成了大模型时代的弄潮儿，对吧？勇于放弃，你才能够获得更多，对吗？

朱邦华（嘉宾） (01:46:37)

对。那主要也是因为当时这个做理论也没没怎么做好。对。

月球大叔（主持人） (01:46:40)

太谦虚了。嗯。对，反正感谢邦华，作为我第一个长播客的实验品。

朱邦华（嘉宾） (01:46:46) †

感感感谢邀请。对对对。

月球大叔（主持人） (01:46:48) †

感谢感谢。

朱邦华（嘉宾） (01:46:48) †

谢谢谢谢。

月球大叔（主持人） (01:46:49) †

聊得非常愉快。

朱邦华（嘉宾） (01:46:50) †

非常愉快。

月球大叔（主持人） (01:46:50) †

非常愉快。

† 该段至少有一处说话人切换或短应答需结合音频复核。