主持人： 月球大叔
嘉宾： 肖志斌

来源：中文字幕。正文依据字幕合并分段并补充标点，保留口语、重复与片头摘录。

说话人依据上下文推定，尚未逐段核对音频；标有 † 的段落存在归属疑点。时间戳对应原字幕，同一条字幕中的短问答可能使用同一个时间戳。

目录

片头摘录

肖志斌（嘉宾） (00:00:00)

英伟达是芯片行业里面执行力最强的公司。还有比如说光刻机的每年交付量上面其实也是也是一个卡对。大家觉得 7 纳米到 5 纳米或者 3 纳米是芯片的速度变快了。那实际上重点不在于速度，重点实际上是在功耗。

月球大叔（主持人） (00:00:19)

这个我好像之前听到硅谷有一家公司甚至想把某些模型直接焊在芯片里边。

肖志斌（嘉宾） (00:00:23)

所以我觉得下一代最伟大的芯片公司实际上是一家 AI-native 的芯片设计公司。

月球大叔（主持人） (00:00:29)

哎呀您这真是如数家珍呀！感觉您这脑子里边整个就是芯片的发展史和各种厂商的地图呀，太夸张了。

肖志斌（嘉宾） (00:00:37)

因为芯片一旦流片失败，这个可能就是几亿美元就没了，然后是一两年的时间也没有了。

从芯片设计到 AI 软件优化

月球大叔（主持人） (00:00:48)

在硅谷采访 100 个有意思的人，这里是月球大叔。今天请到了肖志斌（Zhibin Xiao）老师，从业 20 多年的顶级芯片架构师。99 年考入浙大竺可桢学院，后来在美国 UC Davis（加州大学戴维斯分校）攻读博士，毕业后一直在从事芯片行业。我们有请肖志斌老师。

肖志斌（嘉宾） (00:01:06)

感谢月球大叔的邀请，然后观众朋友大家好。

月球大叔（主持人） (00:01:10)

我们直接进入主题。您 20 年的职业路径非常非常有意思。一开始的时候，您把加速器做到 CPU 里面，后来开始专门做专用的 AI 芯片，然后再做稀疏芯片。现在您却创办了一家不造芯片的系统优化公司。对于我来说，看到你这种转型，就在思考：是不是意味着 AI 性能的竞争的主战场正在从晶体管芯片转向这些软件优化和开发？您是怎么做出这样的转型的？

肖志斌（嘉宾） (00:01:43)

这是一个非常好的问题啊。首先回答：是的。就是 AI 芯片的战场从芯片设计本身转向了这种系统级的设计，包括这种异构系统的软件的设计。那其实我过去 20 多年，有一件比较幸福的事情，就是说我自己做的事情一直是没有离开本专业，一直是芯片设计相关。然后更确切地说，其实就是软硬件协同设计和架构设计。我一开始在浙大本科读的是 EE（电子工程）。后面为什么去做这个架构和芯片设计呢？是因为当时上了这种计算机组成的课，然后计算机体系结构。包括当时有一个很有名的教授叫做 Yale Patt，他是发明 CPU 里面这种 branch prediction（分支预测） 架构的老师，UT Austin（得州大学奥斯汀分校）的教授到浙大去讲课，正好暑期我上了他这课。从此就喜欢上了 computer architecture（计算机体系结构）。

肖志斌（嘉宾） (00:02:50)

然后我直接，所有过去 20 多年做的事情，从本科研究生博士到加入 Oracle（甲骨文）去做啊 CPU 的设计，当时做数据库的加速芯片的设计，之后在阿里巴巴做含光 800 和 AI 芯片的设计，再之后创业做稀疏的 AI 芯片，到目前我做这家啊 AI 基础设施的系统优化公司，那其实一直做的就是一件事情：怎么样让系统变得更有效，让系统更高效的做计算。就一直是做同一件事情。我最早的话其实是做 DSP（数字信号处理器）处理器。当时是在浙大读本科和研究生的时候做的是单核的 DSP 处理器。那时候大概是在 2002、2003 年开始，当时有这种类似于 863 的项目，当时在国内要支持做这个自主研发的 CPU 和 DSP 处理器。那我有幸从本科的时候就参与了那个项目。然后在浙大又读研究生啊。当时在浙大读研究生，参与这种比较大的 DSP 处理器的正向研发工作还是非常少见的。

肖志斌（嘉宾） (00:04:05)

所以我们当时我的这个研究生的课题当时是在基于 MIPS（指令集架构），MIPS 是一种传统的这种处理器架构啊。基于 MIPS 处理器指令集上面做多媒体指令的扩展。最后这个 DSP 处理器是为了做，当时很简单，做那个 MPEG（音视频编码标准）是 VCD 的编解码，有语音跟视频的编解码。那这是我的研究生的项目。然后博士的项目呢，就在 UC Davis 读博士，那从单核的 DSP 就变成了 Manycore（众核）的 DSP。当时解决的一个问题是用 Manycore 的方式做流式计算，叫做 dataflow computing（数据流计算）。去做 communication（通信）方面的问题，还有视频编解码的问题，还有一些 big data（大数据）的查询和那个这个排序的一些问题。那这样在这种流式的结构上面，其实就是跟现在的所谓的用 AI 处理器的这种 dataflow 的架构很像。就是让数据在片上流，而不把数据放到这个芯片外面。

肖志斌（嘉宾） (00:05:20)

所以数据实际上是在很多的 Manycore 的在很多 core（核心） 的 DSP 处理器之间进行流动。然后每个 DSP 处理器，它的那个这个指令和 memory（存储器），指令和那个数据的 memory 非常非常的小。然后通过某种互联的方式把这些芯片连接在一起。那当时这个架构其实还是非常有先进性的。每个 DSP 处理器它可以 tune（调节）它的 frequency（频率）和 voltage（电压）。这是我的博士课题啊。然后之后在 Oracle 的话，就进展到我们在 CPU 里面支持这种数据库加速。那当时 Oracle 是买了 Sun Microsystems（太阳微系统公司），大概是在 2015 年左右。那我是 2017 年加入 Oracle。那 Oracle 当时我们要在还在做 SPARC（处理器指令集架构）处理器。可能很多听众朋友不知道 SPARC 处理器啊。

肖志斌（嘉宾） (00:06:11)

SPARC 处理器当时 SPARC 跟 IBM 的 PowerPC，还有 x86 是主要的几类大型的这种服务器的 CPU 的指令集。 SPARC 的这个服务器当时是几年之内不用关机。加上 Solaris（操作系统） 操作系统，它是非常稳定。Oracle 买了 Sun 以后呢，我们当时想做一些创新，那怎么创新？那 Oracle 的主业是做数据库。那我们就想在 SPARC 的处理器里面，把数据库的这些操作放在 CPU 啊的作为一个 coprocessor（协处理器）或者是一个加速器单元，跟 CPU 共享整个所有的 memory 带宽，这样可以 saturate（用满） 整个 CPU 的 memory 带宽，然后可以做 in-memory（内存型） 的数据库。我们当时有 TPC-H（数据库性能基准），这个可能做数据库人知道啊。TPC-H 是一个 Benchmark（基准测试），里面有 22 条 query（查询）。

肖志斌（嘉宾） (00:07:07)

然后我们当时是把这些算子硬化到啊硬件里面，然后设计一套指令集，然后设计一套 runtime（运行时系统），然后跟 Oracle 的那个 Database 去做这个对接。就相当于变成了 Oracle 的这个 query optimizer（查询优化器）的一个 accelerator（加速器）。你可以用这个东西来加速某些操作。那这在 Oracle 大概做了五六年这个事情。之后的话就是在阿里了，做给阿里巴巴做第一代的 AI 芯片。再往后的话就是上一家就是 AI 芯片公司，我们做稀疏化的 AI 芯片。到现在我们做 ZFlow.AI。那所有这些经历，最终我们是看到整个芯片，因为这个摩尔定律越来越慢，所以芯片 level 的这个单芯片的这个算力，性能的提升，或者是功耗的降低，其实都越来越变成了一个瓶颈。那瓶颈其实在系统层次和软件层次。

肖志斌（嘉宾） (00:08:10)

所以这也是为什么如果我自己做的事情不是瓶颈了以后，或者是已经有很多 AI 芯片公司在解决这个单芯片的问题，那我觉得我应该要去解决一个瓶颈，新的瓶颈的问题。新的瓶颈就在系统。所以这也是为什么我们创建 ZFlow.AI 这家公司。我们通过做架构的方式，架构仿真的方式，去指导 AI 芯片的设计，还有这种 AI 系统的优化。然后我们把模型的编译，runtime 的调度，还有 AI 系统的仿真合在一起，做成一个统一的平台这样。我们的这个客户在没有硬件的时候，他就可以去仿真各种硬件优化的方法。然后在特别是现在这些 AI 的这种集群越来越贵，越来越大，其实很多系统工程师他是没有这种硬件支持的，所以我们的这种系统仿真其实给了他们一个很好的一个工具去做系统优化。那带来的好处就是直接提升这个 AI 模型在硬件上面的这个效率。然后我们回答了一个非常重要的问题：就是到底什么样的模型跑在什么样的硬件上是最经济的？那这个硬件有可能是已经存在的，还有这个硬件有可能是不存在的。

肖志斌（嘉宾） (00:09:35)

我们通过仿真和自动 profile（性能分析），把这两件事情合在一起。所以回到刚才你的问题啊，就是确实，我们这个 AI 系统的瓶颈不在于 AI 芯片了，更多的是在于系统还有软件。

月球大叔（主持人） (00:09:50)

哎呀感谢肖老师。就刚才听您讲这么长，就感觉您亲身经历了，就是说你看 VCD，多媒体大数据数据库，一直到现在 AI。就感觉，因为我之前读的是多媒体的 PhD（博士），我之前小时候也用过 VCD。就感觉过去 20 多年，就是所有和人类就是科技息息相关的这些东西，您都是站在一个计算机体系结构和芯片的方式亲身参与过。

肖志斌（嘉宾） (00:10:18)

对。

月球大叔（主持人） (00:10:19)

对这真的是，就是听完你讲的就感觉一种波澜壮阔的历史，就是说整个大时代背景下，你在里边孜孜不倦在干活那种感觉啊。反正我是能听出来的，我不知道大家是不是。因为我是做软件的，我不是做硬件的，但是我能感知到过去 20 多年，您在这些所有的这些不同的方向上做了很多很多在体系结构和芯片上的那些努力。对尤其是刚才您说到，你现在转型是因为摩尔定律它已经快失效了。在摩尔定律失效的情况之下，你就去做更多的软件。对我们可以后边再继续慢慢的去深入的聊一下每个阶段的故事。

肖志斌（嘉宾） (00:10:50)

其实我这家公司是一个系统优化公司。那其实做的其实是所有 AI 芯片公司或者要做芯片的公司，其实都需要先做我这现在做的这件事情。所以我也不排斥，如果我们看到机会，我们也会跳进去做芯片。也许是孵化出一家芯片公司对。

Taalas 与专用芯片的适用条件

月球大叔（主持人） (00:11:09)

理解您刚才也说了嘛。就是说如果您发现仿真发现某些模型更适合跑在某一种架构上，您可能自己就去做那种架构了。

肖志斌（嘉宾） (00:11:18)

对。而且现在是模型的这种架构比较 converge（收敛） 了。比如说如果有一个模型，它用在这个特定任务上，它就能达到我们人类的需求对吧？我们的需求，比如说扫地机器人，或者是某一种比如说在停车场里面监测这个车辆类似的这种特定任务。如果这些特定任务已经不怎么改变了，那我们完全可以去做芯片，去做专用的芯片去加速这个事情对。

月球大叔（主持人） (00:11:46)

这个我好像之前听到硅谷有一家公司甚至想把某些模型直接焊在芯片里边，是不是有这种意思？

肖志斌（嘉宾） (00:11:50)

那是加拿大的一家公司，叫 Taalas（AI 芯片公司）。Taalas 的 founder（创始人）实际上是 Tenstorrent（AI 芯片公司） 的 founder。然后 Tenstorrent 是另外一家 AI 推理芯片公司啊。他现在的 CEO 是 Jim Keller，就是硅谷传奇架构师。然后 Taalas 那家公司做的我觉得他们是做的非常激进。但是我觉得为什么投资人还要投他们？我觉得就代表了一种趋势。有可能在特定任务下，模型变得更加的固化，那经济从经济的效益上讲，是值得去把这个模型去焊死在芯片里面的。当然它那个架构其实有一定的灵活性啊，它不是完全的焊死。它是在芯片上面还有不同的 metal（金属层），就是然后它好几层的 metal 可以去做重新流片，所以它比每一次重新 full mask（全套掩膜）的这个流片是要便宜的。

肖志斌（嘉宾） (00:12:46)

所以它是可以编程的，但是它的可编程是还要把你的 Wafer（晶圆）再送到晶圆厂重新做啊 metal fix（金属层修正）对。

月球大叔（主持人） (00:12:56)

哎呀真的是外行看热闹，内行看门道呀。您这个讲故事啊，然后描述这些芯片厂商故事的能力太强了。感觉接下来这个访谈会非常非常的精彩呀。然后就是，

芯片如何从设计走到量产

月球大叔（主持人） (00:13:10)

那您刚才讲了嘛，您有可能也后边还会再去做芯片。就是我作为一个非常非常不知道芯片怎么做出来的人，就特别想了解一颗芯片到底是怎么设计和实现就是量产的？

肖志斌（嘉宾） (00:13:23)

了解其实芯片设计其实是非常的这个整个这个设计的周期是非常长的。像我们以前做 CPU 芯片，那基本上是两年设计周期，然后流片，然后最后系统加软件，最后要上线，可能要 3-5 年。那最近就是英伟达就把这个芯片的节奏这个带起来了，就是说每年甚至于一年出好几款芯片。那芯片一开始其实是说，就像建房子，我们要决定到底做什么样的芯片。你到底是做编解码芯片呢，还是在做这个通信的这个比如说 Wi-Fi 某一个标准的芯片，还是做比如 CPU GPU 相对比较通用？所以决定做什么芯片，那这个是实际上是市场驱动的。或者是你比如说你跟某家公司某家 hyperscaler（超大规模云服务商）这种云服务的公司，他看到了一个应用场景，他觉得比如说在有些云厂商啊他做编解码芯片，比如说有一些做视频流的这个公司。他这个挺有意思啊，就是说这是一个应用场景，就是每个人的手机的编解码能力都不一样嘛。

肖志斌（嘉宾） (00:14:34)

所以他的那个手机视频输入的时候，是各种五花八门的格式，然后他要通过一个 transcoding（转码）把它变成统一的格式存在那个服务器上。然后分发的时候，大家手机的性能又各有不一样，分辨率又不一样，又把这个格式又转成不同的格式那这个就是一个专门的芯片。那这就是先从需求出发唉，这有这么个需求。如果我用 CPU 去做的话，那非常贵。有甚至于 transcoding，很多 CPU 是不带这种编解码的能力的，所以你需要加很多的这个这个 CPU 服务器专门做这件事情。先从需求出发。然后需求好了以后呢，那就是架构师要入场了。架构师要啊这个我们叫做 PPA（功耗、性能、面积），power、performance、area（功耗、性能、面积），还有 cost（成本）这个 trade-off（权衡）。芯片到底做多大，然后有哪些功能，那这些功能跟竞争对手之间呢又有什么样的差距？

肖志斌（嘉宾） (00:15:35)

因为芯片这个竞争非常惨烈，就是说基本上第一名占了大部分的市场，那第二名占小部分，第三第四名只能喝汤，或者是甚至汤都喝不到了所以你可以还要去做竞争市场的这个调研，你的芯片一两年之后不能落后。这是架构师要做的事情。架构师最后出来一个芯片的 spec（规格）。再后面，我们这里面还有一个微架构师。微架构师就是把芯片的 spec，芯片的 spec 有可能是指令集，有可能是芯片 high-level（高层级） 的 block-level（模块级） 的这些结构。然后这些结构和功能定义好了以后呢，那微架构师就要出场了，怎么样去把它变成一个可以实现的硬件？因为同样一个功能，比如说我做一个编解码的这个 FFT（快速傅里叶变换），我有无数种实现的方法。那每一种实现的方法都有那个不同的 trade-off，那微架构师就进来了。然后架构师给他这个 constraint（约束），微架构师把它变成一个微架构。

肖志斌（嘉宾） (00:16:39)

那微架构的，很多做微架构人也会写 RTL（寄存器传输级描述），这个叫做硬件编程语言，把它翻译成硬件的编程语言。那中间之后的话，就是验证工程师要上了，就是说验证工程师其实以前没有 AI 的时候啊，就是一个芯片这个工设计工程，一个芯片设计公司，那基本上大半可能是 1:2 或者 1:3 设计工程师跟验证工程师的这个配比。所以需要很多的验证工程师。然后这里面做功能验证形式验证时序验证 physical（物理）验证。还有就是在芯片没有出来之前要做 emulation（硬件仿真），你要去用 FPGA（现场可编程门阵列）这种方式去做验证，你要去买 Cadence（楷登电子）的大的那个叫做 Palladium（硬件仿真平台） 那种大的仿真器做验证。所以这里面验证是非常重要的，因为芯片一旦流片失败，这个可能就是几亿美元就没了，然后是一两年的时间也没有了。对验证非常重要。

肖志斌（嘉宾） (00:17:41)

再往后的话，这种 RTL 实现以后，他要做综合，然后最后做物理实现，然后最后做布局布线，然后 clocking、power（时钟设计、供电），然后跟这个系统厂商去 co-design（协同设计）。你的 power 怎么样进去？你的 package（封装）是怎么做？封装做完了以后呢最后你送到 foundry（晶圆代工厂），就是 foundry，比如台积电，或者中芯国际吧。这些厂呢，大概要 3 到 4 个月的时间。那 3 到 4 个月先做什么事情？你把那个版图送过去以后呢，他们就是做 mask，一层一层一层的往上。你可以认为就是在硅硅上面画图，做印刷。那这个印刷，每一层的这个印刷的层次，一个芯片的复杂度啊，由它的印刷层次决定的。一般现在都要几十，甚至于接近上百次，上百次这种 mask。然后三四个月以后呢，你的晶圆就回来了。回来了以后你要找晶圆测试厂，先验证你这个 Wafer 有没有 defect（缺陷）。这是就是不是功能验证。

肖志斌（嘉宾） (00:18:48)

最后呢就是 Wafer 回来了以后，要切成一个个 die（裸片）。那这个是要保证良率的，就是没有 defect。晶圆厂保证的是你这个 die 的这个良率。然后你再把这个 die 送给封装厂去变成封装的这个格式。然后最后封装的芯片要跟这种做系统的厂商 PCB（印制电路板）放在系统板子上面去做测试。然后做功能验证和各种啊各种实验室条件下的验证。然后最后就是给客户送样了。送样完了以后呢，再后面就是量产。所以整个过过程非常长对。整个设计周期也非常长对。

月球大叔（主持人） (00:19:27)

哇这听起来太长太复杂了！我的天呐！

肖志斌（嘉宾） (00:19:30)

对。

月球大叔（主持人） (00:19:31)

这个周期得多长呀？最后能量产的话。

肖志斌（嘉宾） (00:19:33)

最后啊一般的话，以前我们说是 3-5 年。但是从英伟达的芯片从设计到开发的话，就是大概两年左右的时间。但是现在有些芯片其实变成了每年都迭代，但实际上它的人员是 overlap（重叠）的。就说每年出一代，但是实际上是研发过程中实际上是可能是两到三年以前就开始了对。所以我们现在看到的比如说英伟达的 B300、GB300，可能是三年以前，两三年以前的设计了对。

月球大叔（主持人） (00:20:05)

哦哎呀，这个真的是太长太长了。感觉中间有一些纰漏的话，就会出现很大的延迟和问题。

肖志斌（嘉宾） (00:20:13)

没错就是从设计到你整个 Wafer 的良率到供应链，到你这个封装测试的散热，到你最后你的软件要同时匹配，所以中间出错的概率非常大。这也是为什么做芯片，验证是非常重要的做验证。当时这里讲个故事啊。当时老黄不是做芯片嘛，就是英伟达做芯片啊。他当时最后老黄这个钱用的差不多了，最后花了他最后的那部分钱去买了一台仿真器，就是为了给芯片做验证的，当时这个 GPU 做验证用的。这样使得它在没有流片之前，因为以前做芯片啊，这个验证工具还非常的这个有限，所以以前的芯片基本上要流好几次片才可能成功。但是后面根据这个验证手段，还有这种 emulation 的工具，所以你可能大部分的芯片都是一次性流片成功。少量的是需要做这个 metal fix，但是这也非常正常，在芯片行业里面对。

AI 如何进入芯片研发

月球大叔（主持人） (00:21:20)

那现在我还看到硅谷有一些公司用 agent（智能体）开始就是说介入然后承担一些设计和那个验证的一些角色。您对这些公司有什么判断？

肖志斌（嘉宾） (00:21:30)

我非常了解，因为很多公司都是我朋友嘛，他们自己在做。对我就不说公司名字了。对。我觉得这是一个趋势。用 AI 来设计芯片呢，现在大家还是在做验证这个工作。因为验证其实有点像编程，所以它有点像 coding agent（编程智能体），就是它是有 input、output（输入、输出），而且还有可验证的这种仿真工具是验证你到底出不出错，所以用 AI 来做验证的这个工作特别多。就 AI 做正向设计这个呢还相对少一点。用 AI 来做那个物理设计，比如说是布局布线啊，floorplan（芯片布局规划），其实这些 EDA（电子设计自动化）公司 已经像 Synopsys（新思科技） Cadence 已经大量在用 AI 来做了。对所以我是觉得用 AI 来设计芯片是一个大势所趋。但是这里面还缺一块，一个是，架构怎么样出，选什么样的这个做什么样的芯片，然后芯片的这个定义怎么做？目前这种架构的工具还是非常少的，还需要架构师在里面起很大的作用。

肖志斌（嘉宾） (00:22:38)

第二个事情是说，现在，现在这些芯片设计公司啊，有一个比较大的问题，就是采用 agent 或者 AI agent。因为大部分的这个它有自己的一套流程，所以很多工程师是就是不大愿意在这个用 AI 来取代他自己现在的那个工作。因为如果一旦要取代，其实是要整个全流程要用 AI-native（AI 原生）的方式去思考。所以我觉得下一代最伟大的芯片公司实际上是一家 AI-native 的芯片设计公司。那其实是从架构到设计，到验证到仿真物理设计，其实都要用 AI-native 的方式的思路来做这个公司。目前我觉得大部分芯片公司在 adopt AI（采用 AI）这一块，只是作为一个助手。但是真的要把 AI 用到它的价值用到最大的话，一定是一家新的 AI 原生的这种组织的芯片公司。

月球大叔（主持人） (00:23:39)

哎呀您这个非常开放呀。您对于这个问题，您坚信就是后边会还会有更伟大的芯片公司。

肖志斌（嘉宾） (00:23:45)

没错。

月球大叔（主持人） (00:23:46)

就看过这么多芯片公司的起起伏伏，经历过这么多代芯片的研发，您觉得后边有会有一家很大的 AI-native 的公司，然后做出超级超级牛的芯片。

肖志斌（嘉宾） (00:23:57)

对或者只有这样的公司才可能在以后的情况下能够 survive（生存）。但是现在因为芯片公司它都有原来的一套逻辑，就很难是在原有的基础上去做这个事情。

月球大叔（主持人） (00:24:11)

很难革自己的命。

肖志斌（嘉宾） (00:24:12)

对没错。

月球大叔（主持人） (00:24:13)

哎呀这么一看的话，机会太多了是不是？

肖志斌（嘉宾） (00:24:16)

对。

月球大叔（主持人） (00:24:16)

年轻一代往前冲就完事了是吗？

肖志斌（嘉宾） (00:24:18)

没错。

月球大叔（主持人） (00:24:19) †

哎太强大太强大了。就太激励人心了好吧。我不知道看完这个节目之后有多少人同学会去搞芯片。

肖志斌（嘉宾） (00:24:24) †

加油哈大家。

月球大叔（主持人） (00:24:25)

对刚才您提提到了很多很多点嘛。就是因为我之前是搞那个视频网络传输的，所以说我大概知道你说那个整个流程，但我从来没有从那个芯片设计这个角度去考虑。不过我也听到了很多朋友，在 YouTube 的时候，他们说为了节省 YouTube 这每年这么多视频的编解码，对，肯定是要做很多那种定制化的硬件去做这件事情。

肖志斌（嘉宾） (00:24:46)

因为他们一定是有这个需求在，需求需求。而且是从 TCO（总拥有成本）的角度，这个账是可以算的过来的嘛。

月球大叔（主持人） (00:24:52)

对他太大了。全球第一的那个视频公司嘛。

肖志斌（嘉宾） (00:24:55)

没错。

FPGA、EDA、产业分工与 RISC-V

月球大叔（主持人） (00:24:55)

还有就是第二点就是，我在读 PhD 的时候，经常听到一个单词 FPGA。对你刚才你也提到了 FPGA。对。但是它好像在这两年不太火了。你有没有这种感觉？反正我是感觉不太火。

肖志斌（嘉宾） (00:25:08)

其实 FPGA 它现在不再就是说用于主流的 AI 数据中心的推理啊，其实是它不是更有效。但是在 FPGA 比如说做芯片的验证，emulation 其实还大量的用。在有一些场景下面，它对于可编程性要求比较高，还是大量的用。还有 FPGA 做互连，比如说啊芯片跟芯片之间的互联，如果它的协议是随时在变的话那其实就说它可能是不是一个，如果你 workload（工作负载）固定以后，它不是一个最有效的实现。但是对于这种非常这个碎片化的场景，其实 FPGA 在很多情况下还一直在用对。

月球大叔（主持人） (00:25:51)

明白还有一个问题就是，也是您刚才讲到了很多方面嘛架构师，微架构师，验证工程师。之前经常听到一个言论，说美国是拥有全球最先进的芯片技术，比如 NVIDIA（英伟达）、Apple，这些特别特别擅长设计和架构这一块。然后呢，但是他们又又把所有的那些制造就是外包给了台积电。大家都说美国擅长芯片设计，然后台积电是擅长芯片制造，这个论断是对的吗？

肖志斌（嘉宾） (00:26:20)

我觉得是对的。就是甚至于就是说美国啊，其实拥有的其实一个是 IP（芯片设计知识产权）和 EDA，第二是架构跟设计。像这种 RISC-V（开放指令集）也是从美国开始的。像 Arm 的架构虽然是英国的，还有这种 x86 的架构，就是指令集 IP 这一块。然后 EDA 公司像 Synopsys，Cadence 跟 Mentor Graphics（明导国际），就三家这个最大的 EDA 公司。如果没有这三家公司，那基本上大家都没办法设计 AI 芯片，或者设计芯片。

月球大叔（主持人） (00:26:53)

EDA 全称是啥？

肖志斌（嘉宾） (00:26:55)

EDA 是电子设计自动化。

月球大叔（主持人） (00:26:58)

哦这它主要是干嘛的呢？

肖志斌（嘉宾） (00:27:00)

它就是帮助刚才我说的每一步，它都是通过工程师跟 EDA 工具一起做到的。

月球大叔（主持人） (00:27:07)

就跟 MATLAB（数值计算工具）一样，一种专用工具。

肖志斌（嘉宾） (00:27:09)

没错。电子专用。比如说做架构设计相对比较少，但 Synopsys 比如说有这种 PAU 的工具，Platform Architect Ultra（系统架构仿真工具）。然后做把这个 RTL 变成这个网表，那像 Cadence，Synopsys 都有这种 synthesis（逻辑综合）的工具。然后做 RTL 的验证有这种 simulation（仿真）的工具，VCS（逻辑仿真工具）啊这些。然后做 physical design（物理设计） 有 place and route（布局布线）工具。然后做 timing（时序）验证有 timing 验证的工具。做那个形式验证有形式验证的工具。做 package 有 package design（封装设计）的这种 EDA 工具。其实是每一个工种都有一个对应的工具在帮助那个工程师在做这件事情。

月球大叔（主持人） (00:27:48)

那这些工具卖的贵不贵啊？

肖志斌（嘉宾） (00:27:50)

这个东西也卖得非常贵，而且有些东西只有这几家公司有对。

月球大叔（主持人） (00:27:56)

只有他们有的原因是因为他们在这个工具上积累了大量的那个沉淀了知识和产权吗？

肖志斌（嘉宾） (00:28:03)

其实是的。其实 EDA 行业经过了这么多年的发展啊，其实是有大规模的这种 merger and acquisition（兼并收购）。就是这些公司其实是收购收并购了很多很多的小的创业公司，最后合成了这几家大的公司。这是第一点。那第二点就是说它的后端就物理设计的这些工具，其实都是跟这个 foundry 一起 co-design 出来的。所以你的物理设计工具跟 foundry 就是刚才我们说的这个制造的节点，比如几纳米几纳米，其实是一起从开发出来的，就是需要这些 foundry 的配合，大家一起做。所以这里面有啊就是资本和这种啊这个业界的这种 acquisition（收购）、merger（合并）的这些沉淀，也有跟这些物理设计 foundry 就是生产厂家，合作出来的这些经验吧。

月球大叔（主持人） (00:28:59)

哎呀这个东西门道也太深了！就是这些东西，其他国家，包括咱们中国，他有没有人在做呢？

肖志斌（嘉宾） (00:29:06)

有。就是因为半导体的产业链 supply chain（供应链）非常非常长啊。就是 foundry 呢，foundry 又包括这种逻辑的这种生产厂，还有 memory 的生产厂。

月球大叔（主持人） (00:29:19)

foundry 什么意思？

肖志斌（嘉宾） (00:29:20)

foundry 就是硅芯片厂。就是就台积电啊 SMIC（中芯国际）啊，他们这些都是叫 foundry。那那中国还有这些长鑫啊，长存，有做 DRAM（动态内存）的，还有做 NAND（非易失性闪存） 的，是有。然后中国也有很多 EDA 公司。然后也有 FPGA 的公司也有。然后就中国中美之间其实是产业链最全的。但是其其他在其他一些国家，比如说像荷兰 ASML（阿斯麦）做光刻机对吧，然后日本在半导体设备有东京电子，然后日本这边还有一些做材料的这些公司，其实都是半导体产业不必不可少的一环。像英国有 Arm 对吧。Arm 它是有 IP。所以主要门类最全的其实还是中美之间。但是日本韩国它有自己的一些 special 的这些不管是 foundry 还是设备还是材料对。

月球大叔（主持人） (00:30:20)

哎呀您这真是如数家珍呀！感觉您这脑子里边整个就是芯片的发展史和各种厂商的地图呀，太夸张了。刚才您还提到了一个 RISC-V 这个东西。

肖志斌（嘉宾） (00:30:29)

对。

月球大叔（主持人） (00:30:30)

我因为经常就是看伯克利那边的那些工作嘛，他们家就特别擅长做开源，开源软件，各种 vLLM、SGLang（推理框架）。

肖志斌（嘉宾） (00:30:38)

对。

月球大叔（主持人） (00:30:38)

但是我也知道 RISC-V 竟然是个开源指令集的芯片。

肖志斌（嘉宾） (00:30:42)

对。

月球大叔（主持人） (00:30:42)

您觉得他们为什么要这样做一个开源指令集的东西？

肖志斌（嘉宾） (00:30:46)

我觉得，我记得跟 RISC-V 的也有一些这个创始人他有过一些沟通啊。当时他们要要做一些架构的研究或者是开发，他们要用 Arm，但是 Arm 是一个 license（授权许可）的一个结构。然后而且 Arm 在就是说它是针对于这种 mobile（移动端）的这种 application（应用），然后它也也比较贵，然后对学术研究不够自由。所以他们决定要推这个开源的这个生态，做新的指令集。而且新的指令集有很多好处啊，你可以从头开始设计，然后可以可扩展性啊设计设计得非常好，还有就是不需要兼容很多的原来一些 legacy（历史遗留）的东西，面向新的 workload。所以开源这个指令集这一块，我觉得 RISC-V 其实业界已经大量在用这个 RISC-V 的这个指令集的处理器了。包括像英伟达自己的英 GPU 芯片里面，其实有很多的控制器或者处理器，其实都是大量用的 RISC-V。

月球大叔（主持人） (00:31:51)

哇这个是真不知道。但是我确实知道很多就是国内也好，就是这边硅谷也好有大量它有一个产业联盟感觉是。

肖志斌（嘉宾） (00:31:58)

对。有个叫 RISC-V Summit（RISC-V 峰会），还有 RISC-V 的联盟。其实很多 RISC-V 创业公司的 founder 都是我们朋友，也是我们啊就是很多好朋友，特别在国内国国外都是。像美国这边是 SiFive（RISC-V 芯片公司），以 SiFive 为首的这些 RISC-V 公司。像台湾有 Andes（晶心科技），他们是做 RISC-V IP 的。那国内有其他有蛮多的，有很多阿里系的人出来做 RISC-V 芯片，也都是我们的校友或者是朋友。

月球大叔（主持人） (00:32:30)

感觉这个圈子很小哈。就是如数家珍，大家或多或少可能都认识对不对？

肖志斌（嘉宾） (00:32:34)

对因为芯片行业相对来说大家是还是比较紧密的，因为上下游的关系嘛。即使是在中美地缘政治这么紧张的情况下，大家还是就是其实是在开源这一块的这个配合也好，或者是开源这边的合作还是非常多的。对。

月球大叔（主持人） (00:32:52)

真好真好这种感觉。而且经常看到就是芯片的那些厂商大会，或者学术大会，一水的华人面孔，感觉都是师兄师弟那种感觉。

肖志斌（嘉宾） (00:33:03)

对是。

月球大叔（主持人） (00:33:04)

对。

制程数字、功耗与片上内存

月球大叔（主持人） (00:33:04)

然后而且刚才您说到了就是各种纳米制程嘛。咱们再说说这个纳米制程的问题吧。对。天天看新闻，天天看各种报道，两纳米 3 纳米 5 纳米 7 纳米。对。这些纳米到底意味着什么？

肖志斌（嘉宾） (00:33:16)

其实是以前哈，我们一个制程几纳米几纳米，其实是啊在那个制造的里面有一个物理的这个参数，就是对应那个纳米。那大概是在 65 纳米之前，就是说那，比如说我们其实所有的这个芯片其实都是由这种 transistor（晶体管）组成。那晶体管现在大部分就是三个极嘛，一个栅极，一个 source（源极），一个 drain（漏极）然后，以前的纳米都是指 gate length（栅长），就是栅极的长度，然后在 65 纳米以前。那之后的话，其实这个纳米更多的是一个营销的词汇。就是说纳米代表着一代技术，那这个不是一个单点的技术，也不代表一个物理参量。它有可能是啊新型的这一代代表新型的这个晶体管，比如 FinFET（鳍式晶体管），然后代表它的那个 metal pitch（金属线间距），就是就是因为那个硅上面叠那个线啊，那个是 metal，就是用铜互连，或者用金属互连。然后 metal 的最底层的那个金属的那个互联的那个宽度，那叫 M0 pitch（最底层金属线间距）。

肖志斌（嘉宾） (00:34:32)

那这个 pitch 呢，也算是一个技术参数。还有 standard cell（标准单元），门级电路的 cell size（单元尺寸），还有 SRAM（静态内存）的 density（密度）。SRAM 是某一种片上的 memory。那这个都是整个所有的这些参数代表了一代的技术。那那厂商就把它定义为 7 纳米 5 纳米或者 12 纳米，但实际上没有一个物理参数对应它。而且每一家厂商比如说三星英特尔或者是台积电，他们的 7 纳米跟另外一家 7 纳米其实也没有可比性。那最终要比的其实是说唉，大家看看我，你的 standard cell，就是就是 standard cell 是一个门啊，就是说比如说与门或门这种基本的逻辑单元的面积 PPA，然后或者是你的 SRAM 的这个 density 或者 SRAM 的 size，还有就是比的是在某种设计下面的 PPA，就大家比的是这个。就很难两个工艺同虽然同同样叫 7 纳米，很难直接对比。

月球大叔（主持人） (00:35:36)

那对于我们这些普通人来讲，听完您说了这么多的名词，反正还是不太理解，但是大概知道很牛很牛逼。就是单纯制程的这种进步，比如说从 7 纳米变成 5 纳米，从 5 纳米变成 3 纳米，对，它到底解决了什么问题？进步了哪些东西，又没有解决哪些问题？

肖志斌（嘉宾） (00:35:59)

对。这里面其实是有一个因为有一个反常识的问题啊。大家觉得 7 纳米到 5 纳米或者 3 纳米是芯片的速度变快了，那实际上重点不在于速度，重点实际上是在功耗。就是说在同样性能下面，功耗可能可以降一半。或者每一代之间功耗的变化，或者是 benefit（益处），或者说益处吧，其实是远比速度变化更多的。比如说台积电，有可能 N3 到 N2，就是 3 纳米到 2 纳米的这个节点，它的 power 就是功耗可能节省 10% 到 15%，但是它的速度可能就是 3% 到 5% 这样的那个节省。所以每一代芯片之间，其实是功耗其实是最重要的。在同样性能情况下，功耗降得更多。

月球大叔（主持人） (00:36:56)

这是真是第一次听到这个表述哎。

肖志斌（嘉宾） (00:36:58)

对然后功耗降了以后呢，在同样的一个 rack（机架），比如说我的一个机架里面，你就可以塞更多的 compute（算力），那计算的密度就可以增加。

月球大叔（主持人） (00:37:08)

因为它散热变也降低了，对吧热量也降低了。

肖志斌（嘉宾） (00:37:11)

热量也降低了。以以前哈，就是说在可能更没有到 5 纳米 7 纳米之前，就是功耗跟面积其实是有个叫做 Dennard scaling（登纳德缩放定律）。就是说你的你的 supply voltage（供电电压）就是你芯片的那个电压跟着面积也一直往下降，但是现在因为所有的门，所有的 transistor 是有一个基准的这个电压的，就再往下降降不下去了。所以大家也知道，一个芯片的功耗分为两部分，一个是静态功耗，一个是动态功耗。静态功耗就是说我，你可以认为所有的这些逻辑电路其实就是一个门，或者 gate（逻辑门）。那静态功耗就是说当你开的时候跟关的时候，稳定状态下，然后它产生的功耗。那动态功耗就是在你这个开关状态之间，这个产生的功耗叫做动态功耗。以前在 12 纳米，甚至 16 纳米以上呢，主要是这个动态功耗。但是后面就是静态功耗越来越大了，就是说漏电流的效应越来越多了。所以功耗当时动态，这个有点复杂。

月球大叔（主持人） (00:38:24)

没事你讲。我觉得大家能够尽可能的去跟上您的思路。讲的实在是太好了。因为这个东西，我觉得你已经是努力的以最通俗的语言让大家去理解了。大家可以多看几遍反刍，对吧？

肖志斌（嘉宾） (00:38:36)

对因为这里面这个芯片的这个行业里面的这个技术这个 Stack（技术栈）特别的深，然后又有这个各种名词太多了。所以我尽可能的去解释。但是大家记住的意思，这个整个芯片工艺，比如 7 纳米到 2 纳米之间这种，更多的是大家要讲的是一个功率的就是 power 的这个问题，其实是降的是功耗。所以说一个两纳米和 7 纳米两个芯片，可能就是两纳米的就是芯片的那个功耗只有它的几分之几。然后因为它功耗降低了热量变低了，所以说它就可以在一个机柜里边塞更多。然后这个单机柜的话，就能产生更大的能力。

月球大叔（主持人） (00:39:16)

然后也不用那么多的数据搬运，全部都塞在一起。

肖志斌（嘉宾） (00:39:19)

没错。但是这里面如果要细讲的话，那可以讲得很细啊。比如说以 AI 芯片为例，AI 芯片里面你知道，一半是逻辑，一半是 SRAM。SRAM 是一种 on-chip（片上）的 memory。那 SRAM 的这个 scale（缩放）在 7，5 纳米到 3 纳米里面，它就停下来了。就 SRAM 再往下，工艺再往下的话，SRAM 的这个 cell size 它不会变了。这是一个大家可能很多人不是特别清楚的一个问题。

月球大叔（主持人） (00:39:49)

不清楚。

肖志斌（嘉宾） (00:39:49)

对。然后逻辑那个部分呢，确实还能再往下继续 scale。然后这里就有一个问题，那这意味着什么？

月球大叔（主持人） (00:39:58)

意味着什么呢？

肖志斌（嘉宾） (00:40:00)

这意味着，这很有意思啊。就是说这回到我们这个 AI 模型的这个角度，AI 模型的 serving（模型推理服务） 里有 prefill（预填充）、decode（解码）。然后如果是计算密集型的是有帮助的。如果是内存或者 memory 占大部分的这种 memory-bound（内存受限） 的问题，其实是比如说你像 Groq（AI 芯片公司），Cerebras（晶圆级 AI 芯片公司），是两家基于这种 on-chip SRAM 的 AI 芯片公司，如果 SRAM 不能 scale 了，那意味着它的他的那个芯片设计哲学是要有一些变化的对。

月球大叔（主持人） (00:40:39)

所以说他们又得做其他的一些事情。

肖志斌（嘉宾） (00:40:42)

对。或者是他们的这个架构的配比就会不一样对。或者是要做一些别的事情，比如说 3D 堆叠啊，或者是其他的一些的。

从提示词到 token：调度、预填充与解码

月球大叔（主持人） (00:40:51)

那就太深了。我们可以看看后边能不能一起把这个事了解清楚一下。对。那么在深入的去讲这些就芯片和 AI 的那个交互之前，我们可以先大概给大家普及一下。比如说我 run 起一个大模型在一个数据中心。对。然后用户发了一个 prompt（提示词），

肖志斌（嘉宾） (00:41:08)

对。

月球大叔（主持人） (00:41:09)

给这个模型。

肖志斌（嘉宾） (00:41:10)

对。

月球大叔（主持人） (00:41:10)

那么整个这个数据中心里边这些芯片是怎么交互，到最后把这个 token（词元）给吐出来，而且可以持续不断的吐 token？

肖志斌（嘉宾） (00:41:18)

这其实是一个非常好的问题啊。其实我们可以捋一捋啊。就是比如说用户当你说了一句话以后，你产生了一个 prompt 对吧。这个 prompt 要经过你的设备，通过网络，送到对方的网关，经过网络。然后网络以后，第一步在服务器那边，它是有一个大的调度器的。就说你先你这个是，你这个 input 或者你的 prompt，你提的问题是要有一个排队的等待的一个过程。然后那个调度器是把你放在某个队列里面，根据 GPU 或者是计算资源，放在一个队列里面。然后调度器去解决什么问题？就是下一步应该怎么做，把你发送到哪里，哪个服务器上面，或者哪个 GPU 上面。具体的然后，在这个过程，你问的问题，其实如果你还有上下文的话，它还有一个 RAG（检索增强生成）的过程。就是说有从你的上下文的历史数据里面把那部分数据，有可能在一个数据库，或者是在一个磁盘上面，或者是在已经存在。

肖志斌（嘉宾） (00:42:25)

如果你这个数据，你跟它对话，不是几天以前的对话，是正在进行中的对话，那有可能是放在 GPU 的这个 memory 里面。然后你要把那部分数据跟你现在新的问题组成一个 prompt，这个叫做 input prompt（输入提示词） 的组织。那组织完了以后呢，那我们这一部分的这个上下文就要送给大模型了。那大模型上，大模型实际上是已经，送给大模型在哪呢？实际上是有一个 runtime，就是有个软件在那等你的输入。那一旦开始收到你这个调度器也把你这个上下文发给他了以后呢，然后这个 runtime 就要开始做下一步的动作了干嘛呢？是把模型调进来，然后做 prefill 的这个动作。就是把这一部分动作，就是把你整个上下文全部送给那个模型。runtime 会把你的模型从 memory 或者是某个地方调到 GPU 里面。然后同时把你的这个上下文和，这个中间还可以做 batching（批处理）啊，就是把很多用户的请求放在一起做并行计算。

肖志斌（嘉宾） (00:43:35)

所以这叫做 prefill 的阶段。这个 prefill 阶段是计算密集型的，是可以做并行的，然后它没有 token 跟 token 之间的 dependency（依赖关系），所以它是计算密集型，所以由 GPU 的计算能力决定。然后做完了这一部分以后呢，它就会产生一个神奇的东西叫做 KV cache（键值缓存）。

月球大叔（主持人） (00:43:57)

yes。我们可以看一下第二期视频的那个金成老师的 KV cache 公司哈。对。

肖志斌（嘉宾） (00:44:05)

然后这个 KV cache 呢，就会存在某个地方。有可能是在 GPU。如果太大了以后，有可能存在这个 storage（存储设备），就是 Flash（闪存）上面，SSD（固态硬盘）上面然后这个 KV cache 有了以后，那下一部分就是这个 decode 这个阶段，就是大模型开始要吐答案了。它吐答案是一个 token 一个 token 去吐，所以是 decode，这个叫做 decode 一个 phase（阶段）。这个 decode 其实这个就比较麻烦了。它是一个 memory-bound 的，就是内存密集型的这个任务。它要把这个所有的这些 cache 全部读到 GPU，然后所有的这大模型的权重全部要过一遍，就为了产生一个 token，一个词元。而且词元跟词元之间产生的，产生这个词元以后，又会产生 KV cache 中新的一列，那这个新的 KV cache 要存到原来的那个 KV cache 里面。

肖志斌（嘉宾） (00:45:02)

那这个新产生的新的 KV cache 跟模型又要重新再读一遍，又要发送给这些，就是产生下一个 token。所以你想想看，这里面有大量的数据的搬运的这个过程。这也是为什么这一部分其实是数据搬运和那个 memory bandwidth（内存带宽）是一个瓶颈。然后同时还有另外一个问题，就是互联的问题。这就会涉及到，因为现在这个大模型，比如说开源的模型，像 DeepSeek V4，已经到 1.6 trillion parameters（万亿参数），然后 Kimi K3 是 2.3 trillion parameters。就这个模型非常大，所以基本上你可能做推理的话也要做分布式。所以这些 KV cache 或者是这些模型还要发送到不同的这个 GPU 或者是服务器上，然后中间还要做这个互联的交互。然后互联交互的那个时间跟你计算的时间，你还要匹配，这样可以，就是你的流水线不会因为某种方式做这个 starving（等待数据或任务）。

肖志斌（嘉宾） (00:46:04)

我们叫做就是，不会因为最慢的那一环停顿下来。所以这里面有大量的这种 runtime 的工作。

月球大叔（主持人） (00:46:11)

就是现在很多 AI Infra（AI 基础设施）公司在做的这些事情，只要每多做一点这种 AI 运算，就可能挤出一点那个就是性能，然后就推得更快，或者说更省那个显存一些。

肖志斌（嘉宾） (00:46:24)

没错。所以这里面其实优化的工作非常大。比如说像英伟达，它号称就是，比如说它的 B200，有一些模型啊，像 OpenAI 的 open model（开放模型）120B（1200 亿参数）的那个模型，它是说两个月以后，通过软件的优化，性能提升了五倍五倍啊。

月球大叔（主持人） (00:46:44)

这也是昨天 OpenAI 不也说了嘛，他们用最先进的自己的 GPT-5.6 优化自己 GPT-5.6 的推理性能，也提高提高了百分之好多好多嘛。

肖志斌（嘉宾） (00:46:56)

对。这里面其实优化有很多层次了。有这种 kernel level（计算内核层面）的优化，有 runtime 的这个调度组织的优化，然后有 compiler（编译器）模型编译的优化，还有这种啊资源调度的优化。其实这个其实优化其实是对于，就是你要做好优化，其实要做好抽象。然后只要抽象好了以后，你就可以交给 AI，很多事情可以 AI 来做了对。

仿真、性能分析与自动优化

月球大叔（主持人） (00:47:22)

那这些那个优化工程师之后的那个职业发展变会变成什么样？

肖志斌（嘉宾） (00:47:28)

我觉得一定，这也是为什么我要做我们现在这家公司哈。就我们其实是想把整个这个过程都自动化，但是实际上是缺一些步骤。比如说我们先构建了一个 AI 系统的 simulator（仿真器），然后再构建的这个仿真跟优化做在一起，然后我们还有一个自动 profiling（性能分析）。就是光仿真，仿真只能仿真一些在 precompile（预编译）这个静态的一些行为。但动态的一些行为，还有一些涉及到 GPU 底层硬件的这些行为，比如说 kernel 的一些 performance，kernel 的启动的开销，很多东西我们需要做这个自动 profiling。然后得到这些数据，然后去 calibrate（校准）我们的仿真的这个模型。所以我们做了这么一套有仿真，有编译优化，有 runtime 调度，还有 profiling 的一整套工具。我们目标其实是就是为了解决这个优化问题。目前的 AI 还很多时候还不能做到自动化，或者是它不能在一个虚拟的硬件上做这些事情。

肖志斌（嘉宾） (00:48:36)

它需要一个真实的硬件去做更多的迭代。

月球大叔（主持人） (00:48:40)

真实的硬件就意味着成本太高了对吗？

肖志斌（嘉宾） (00:48:42)

真实的硬件就是成本太高。然后你还要啊有一个真实的这个系统部署在那。然后如果你这个它也不能做这种 if else（条件分支）的 exploration（探索）。

月球大叔（主持人） (00:48:55)

对但是通过您的描述我感觉，AI 再发展几代，把我们这些 context（上下文）都准确的拿走之后，好像是可以干自动优化这件事情。

肖志斌（嘉宾） (00:49:05)

也可以，因为我们公司也在用 AI agent 把我们做的一些工具串在一起。它其实是可以的。

月球大叔（主持人） (00:49:12)

AI-native 是吧？

肖志斌（嘉宾） (00:49:13) †

对。这就是 AI-native。对。

月球大叔（主持人） (00:49:15)

对。

内存需求与成本

月球大叔（主持人） (00:49:16)

对然后还有一个问题就是在刚才您在描述的过程当中嘛，就大量的计算呀 SRAM 呀 DRAM 呀，是 HBM（高带宽内存）这些东西。就是最近存储贵嘛，对吧跟大家，能不能跟大家讲一下这个存储贵到底是哪一个环节导致的？

肖志斌（嘉宾） (00:49:31)

存储贵其实首先是这个模型越来越大。所以存储也分为这种啊 memory，就是 HBM DRAM，还有这种 NAND，就是 SanDisk 这些公司做的这种 SSD。那有它存储贵的原因呢，一个是在 serving 模型的时候的这种 DRAM，就是模型越来越大。第二是中间的 KV cache 也越来越大。而且 KV cache 跟你的上下文的长度，跟你的那个用户的 concurrent request（并发请求），都都呈正相关。所以这是 DRAM，因为 HBM 也是一种 DRAM 嘛。然后另外一个是我们人类产生了这么多的数据，那得用一个地方去存嘛。那这就是这些，还有我们做模型训练需要很多 checkpoint（训练检查点），那这些数据其实是越来越多越来越多。用 AI 产生的内容，包括直接产生的内容，包括中间的这些 KV cache，可能都要 offload（卸载转存），再放在一个地方去存对。这是为什么存储越来越贵的原因。

月球大叔（主持人） (00:50:40)

对啊。虽然最近这两天存储又暴跌了啊，咱们就具体不聊这些事情了。

肖志斌（嘉宾） (00:50:45)

对投资的事情其实挺有意思。就是说跟产业这是有相关，但是他有自己的一套，这个还有一些资金流量的这个问题。

月球大叔（主持人） (00:50:54)

不构成投资建议啊。大家酌情处理好吧。

Groq、Cerebras 与 SambaNova

月球大叔（主持人） (00:50:57)

还有就是，就刚才您说了嘛，就是这些各种搬运呀芯片呀带宽呀，对，等等。那前一段时间呢，NVIDIA 收购了那个做 TPU（张量处理器）出来那家公司就是，对，他们又什么做什么 LPU（语言处理单元）。

肖志斌（嘉宾） (00:51:13)

对。

月球大叔（主持人） (00:51:14)

您觉得它主要是用来解决什么问题呢？

肖志斌（嘉宾） (00:51:16)

它其实还是解决 GPU 并不是一个天然做这种 decode 这种模式的。

月球大叔（主持人） (00:51:25)

对太明显了。他感觉一开始就做训练的用。

肖志斌（嘉宾） (00:51:28)

对所以 GPU 是其实上是一个你可以认为是一个 high-throughput、streaming machine（高吞吐量流式处理器）。

月球大叔（主持人） (00:51:34)

并行处理牛逼。

肖志斌（嘉宾） (00:51:35)

并行处理牛逼。然后所以他做 prefill 非常合适。对。然后做 decoding（解码）呢，就不大合适了对。然后而且这个计算资源的配比就不合适，因为 GPU 大部分是 idle（空闲）的，其实一直在大量的用这种 HBM 来回的搬运数据。那 Groq 为什么做 decode 比较好呢？其实 Groq 这家公司的架构很像我博士做的 Manycore DSP 处理器。其实所有的任务的数据都是常驻在芯片内部，然后通过这种 dataflow 流水的方式，一个任务经过不同的啊这个芯片，我们叫做 core 吧，就是处理器核心，然后通过不断的流水，然后通过软件调度让它自然的，就是你不需要数据从片内到片外频繁的在那搬运。当数据常驻常驻在芯片内部，就说白了。然后 GPU 呢，其实不大适合。

肖志斌（嘉宾） (00:52:35)

但是 GPU 现在就是大家为了模拟这些效应，所谓 dataflow 的这种 computation（计算），所以大家做了非常多的一些像最近的一些 FlashAttention（高效注意力算法）这些优化，其实都是为了让数据尽可能的留在 GPU 内部，尽可能的减少搬运。就是，但是最终它 GPU 不是一个 dataflow 的 machine，所以英伟达或者是英伟达需要一个类似于 Groq 的这种 dataflow 的架构去辅助它。那最近其实，前两天我就参加 AMD 的这个 developer event（开发者活动），Advancing AI（AMD 技术大会）。那 AMD 在跟另外一家类似架构的公司就是 Cerebras，在合作做 prefill、decode 异构的这种推理的集群对。

月球大叔（主持人） (00:53:24)

那 Cerebras 又和 Groq 有什么区别呢？

肖志斌（嘉宾） (00:53:28)

其实它们从架构上从逻辑的架构上，它们其实是非常像的。都是这种基于 on-chip SRAM 的这种 dataflow 的这种架构，尽量让数据常驻在芯片内部，然后让这个任务可以 map（映射）在一个芯片上面，而不需要走外面的 HBM，或者是其他的一个 DRAM。然后 Cerebras 做的其实是 wafer-scale（晶圆级）。他这个他做了很多创新的技术啊，就是当你一个 Wafer 直接，当时我们不是讲生产芯片 map 到一个 Wafer 上面，然后我们要砍成一个个 die，然后 die 要做封装嘛。封装之间再通过系统级的互联把它连在一起。但是 Cerebras 说，我不需要做这个，我就一个 Wafer 直接拿过去做封装。然后芯片跟芯片之间呢，是通过留好的那个线宽直接在上面做好互联了。就每个芯片不需要切割了，也不需要封装了。然后这样，它可以整个叫做 wafer-scale 的 scaling。

肖志斌（嘉宾） (00:54:36)

这样有很多好处啊，好处就是说芯片跟芯片之间不需要通过重新再封装，然后重新走封装外面的板级的连线再连接在一起，然后直接再通过这个晶圆级的 die 做互连。但是也带来了很多工程上的问题，比如说供电对吧？原来芯片是一个 die，一个 die 是从旁边供电嘛。但是你变成了一个 wafer，你旁没有那么多边啊供不了，所以他要搞垂直供电。

月球大叔（主持人） (00:55:05)

太薄了是吗？

肖志斌（嘉宾） (00:55:06)

对。

月球大叔（主持人） (00:55:07)

我觉得太薄了。

肖志斌（嘉宾） (00:55:08)

就是说你整个那个没有就是，一个芯片其实供电是要在旁边的引脚进行供电嘛。但是整个 Wafer 是一个供电，你只能给周围的这个芯片供电，所以你只能是做通过做垂直供电。那垂直供电第二个就是这个晶圆很大，所以你要做好散热，就是怎么样做这个 cooling（冷却散热）。还有第三个事情是，因为每个芯片它是有良率的。就是我们原来切成一个个 die，就坏的东西就丢掉了对吧，然后我们只封装好的这个 die 或者好的芯片。但是它这个 Wafer 封装在一起，里面肯定是有坏的芯片的。那坏的芯片它要设计一套互联的机制来 bypass（绕过） 那些坏的芯片。所以它有很多工程的这个瓶颈在这里面。当然从我的角度上讲，我觉得 Cerebras 就是说 wafer-scale 其实是非常酷的技术。但是其实不一定要做 wafer-scale，其实有其他的方式能解决这个问题。

月球大叔（主持人） (00:56:12)

没错。有没有兴趣再搞一个这种样的公司去做这件事情？

肖志斌（嘉宾） (00:56:16)

其实有一些新的技术，像 3D 堆叠啊，或者是通过高速互联的方式去解决这个 scaling 的问题嘛。

月球大叔（主持人） (00:56:25)

所以说您个人是没有那么看好 Cerebras，对吗？

肖志斌（嘉宾） (00:56:29)

我觉得 Cerebras 也有好处。因为现在很多芯片公司它其实都它能找到一定的应用场景，那这个量足够大。然后同时他刚才搞的这几个这些技术其实是非常有创新性的。那这些技术就比如说垂直供电，其实大部分的现在这个数据中心里的这个芯片都开始往垂直供电往开始走了。所以他很多技术其实走的比人家前沿，也许他有可能设计出新的东西出来。

月球大叔（主持人） (00:56:58)

对是。这也不知道对。对因为可能很多创新都来自于这种尝试和破坏性的一些，

肖志斌（嘉宾） (00:57:04)

没错。所以我觉得它是一个非常伟大的公司，或者非常非常棒的公司。在当时那个情况下做这样的设计，而且台积电还要配合，就是说制造这方要配合他一起做这个事情。真的挺不容易的。

月球大叔（主持人） (00:57:20)

而且当时不是前一段时间还爆出来 Sam Altman（山姆·奥特曼） 个人其实也投资了很多这家公司嘛？一开始的时候。

肖志斌（嘉宾） (00:57:28)

没错。其实也是说他们也看到了这个情况，就是也是英伟达收购 Groq 的类似逻辑。Cerebras 这个架构很适合做这种 decode，就是全这种大模型的 decode 这个部分。

月球大叔（主持人） (00:57:45)

对看到他们这些新的芯片公司他就是放出来了很多演示嘛，这个 decode 的速度，一下就弄好了。

肖志斌（嘉宾） (00:57:51)

对。

月球大叔（主持人） (00:57:52)

很很，对，就很漂亮。那其实在硅谷的话，以我这种普通人的认知，我发现有三家这样的芯片公司，Groq，然后 Cerebras，还有 SambaNova。SambaNova（AI 芯片公司）是干嘛的呢？

肖志斌（嘉宾） (00:58:02)

SambaNova 其实，很多 co-founder（联合创始人） 都是我以前 Oracle 的同事。就当时我们从 Oracle 出来以后呢，就是很多人去包括 CEO，也是我很好的朋友。我们啊他当时也是其实就是想做一家 dataflow 的公司，就是用 dataflow 的架构去做 AI 计算。但当时成立的初衷其实除了 dataflow 做 AI，也有这种数据库。当然后面数据库的这个功能，因为这个用的人不多啊，就是所以很多就就不提了这个。然后第二个是呢，它其实这个架构是它除了不是那么激进，不是纯的 SRAM。SRAM 占很大部分啊，但它还有 DDR（双倍数据率内存），或者后面还用了 HBM，就是说它是一个折中的架构。不是那么就像是 Groq 和 Cerebras，当模型大到一定程度，它放不下了，它需要更多的芯片。所以 SambaNova 是一个折中的，是一个 dataflow 架构，但是它又带了 DRAM 和 HBM。

月球大叔（主持人） (00:59:08)

哎呀这三家真的是各有长处哈。

肖志斌（嘉宾） (00:59:11)

没错。

软件能弥补多少硬件差距

月球大叔（主持人） (00:59:13)

那就是反正有这么多芯片嘛，然后各种各样的制程，各种各样不同的技术，就是软件层面，算法层面，数据层面，这种 SGLang、Infra 层面。对。究竟能够追回多少这种硬件方面的差距？比如说吧啊就是，一个两纳米 5 纳米制程的对芯片，对，run 一个大模型，对，另另外一边就是只能用 7 纳米，12 纳米的，就是软件层面能够帮忙追回多少呢？

肖志斌（嘉宾） (00:59:45)

对首先是我们要看一下其实 7 纳米跟两纳米差在哪些地方。比如说鳍式场效应晶体管的这种绝对的这个同样性能下的功耗，就是计算密度。然后第二是它的互联，比如支持 SerDes I/O（串行输入输出）的 speed（速率）。所以这里面 7 纳米到 2 纳米呢，我觉得这个性能差距大概在 2 到 3 倍，3 倍左右吧。你可以认为，就是绝对的这个物理的这个限制。但是这里有一个问题，刚才我说的 SRAM 在 5 纳米到 3 纳米它不 scale 了。所以这部分的 benefit 可能要打个折。所以我们如果纯从软件上的角度讲啊，就是说比如说我们要做 PD 分离（预填充与解码分离），做这种啊低精度的量化，然后做 speculative decoding（推测解码），multi-token prediction（多词元预测），然后做 runtime 的这种调度的优化。那这一部分其实是可以 2 到三倍，其实是可以拿回两倍左右两到三倍左右的这个性能。

肖志斌（嘉宾） (01:00:55)

还有一部分其实是利用率，就是说也是通过软件的优化，把这个行业平均的这种利用率比如说从 30%-50% 提高到 80%-90%，这里面又有一部分的这个差距。所以我觉得软件的角度实际上是可以追回的但是呢，就很难说了。就是说如果是同样的 AI，比如说我有两纳米的芯片，你有 7 纳米的工艺，你是用 7 纳米的芯片，我也能同样做这些软件优化。所以这个，通过软件如果是你没有优化好的话，完全可以是把这个硬件的这个性能给提到跟你没有这个同样的这个工艺但是你优化做不好的情况。

月球大叔（主持人） (01:01:42)

这样的话其实从好的方面来说的话，你拿到无论拿到怎样的芯片，你还是有大量的优化空间的。

肖志斌（嘉宾） (01:01:48)

没错。但是不好的方面就是都有优化空间，两纳米的也有优化空间，都有优化空间。你也可以往前走对。对都可以往前走。对这东西就很难说了。对。或者是说有些人是不需要软件做的那么精细，因为它的那个芯片迭代太快了。软件其实也需要成本，所以他可能不需要做那么细的这种系统级的 co-design。但是对于如果你工艺受限了以后，你其实需要做更多的这种系统级的 co-design。做得更细，可能拿到的 benefit 更多。那同时带来的人力和资源的这个成本是比较高的。

月球大叔（主持人） (01:02:26)

这也就是很多资源受限的公司能够做出来不错的一些创新的原因哈。

肖志斌（嘉宾） (01:02:33)

没错。

NVIDIA 的研发执行力与供应链

月球大叔（主持人） (01:02:35)

我刚才听完您这样描述，就是能追回来这么多，我感觉上就是好像英伟达的话最大的优势还是在训练上面。推理的话好像有越来越多的人要来分这些东西了。

肖志斌（嘉宾） (01:02:46)

其实说的也对。其实是模型的 workload 就越来越固定以后啊，很多人觉得自己的应用场景，他可以自己定制推理芯片来做这个事情。

月球大叔（主持人） (01:03:00)

就跟当年视频火，大家都开始做视频芯片。

肖志斌（嘉宾） (01:03:02)

没错但是呢，其实你想想看，英伟达是芯片行业里面执行力最强的公司。

月球大叔（主持人） (01:03:10)

然后，因为这个和大家对它的看法不太一样。就我们软件和 AI 从业者来说，觉得 NVIDIA 是最躺的公司，最舒服的公司。

肖志斌（嘉宾） (01:03:17)

但是它的从芯片行业的执行力非常强。就是说它每代芯片的这个迭代速度非常快，而且做架构的这种激进程度也非常快。它有点像一个初创公司。比如说英伟达的这些 GPU 架构，它里面的这些什么比如说做两倍稀疏，它说做了就做进去了。那很多公司还在写论文，一直没做进去。然后比如说他做一些根据某种情况下的特定的优化，他的迭代速度是非常快的。只要看到这个从比如说您是做模型的，从模型这方拿到了 feedback（反馈），所以他可以非常以初创公司的速度去做架构的演进。

月球大叔（主持人） (01:03:59)

哇哦。

肖志斌（嘉宾） (01:03:59)

然后像英伟达决定收购 Groq 也是非常快的一件事情。你想想看，要收购一家这个软件体系跟自己不兼容的情况，然后有可能有威胁。他自己也可以做，但是这个决定做得非常快。这也是为什么 founder-led（创始人主导） 的公司其实是决策速度是非常快的。这是第一点。第二点是供应链。就是包括老黄最近的一些采访也说，他的一个很大的优势其实是供应链的这个把控上面，它也有很大的优势。所以确实大家都能定一个唉针对这个情况比较好的 AI 推理芯片的架构，但是你拿不到 HBM 的产能，你拿不到台积电的产能，还有你内部的工程师的这个迭代速度不一定比得过英伟达。所以这里面有另外的难度在这里面。

月球大叔（主持人） (01:04:48)

这些就是站在您的这个就是计算机体系架构和芯片方面，感知和我们完全这些不太一样真的。我们这些软件行业和模型行业的人老是觉得 NVIDIA 就是在软件方面慢慢慢慢的走，精细化的做没想到，它在芯片方面是如此的有破坏力的研发。

肖志斌（嘉宾） (01:05:07)

没错。就是从软件的人角看英伟达，其实它这个节奏是比较慢的，特别慢。但是从我们芯片的角度看英伟达，它这节奏是就是执行力是第一的。

月球大叔（主持人） (01:05:18)

英伟达的在芯片的方面的护城河，你这么一说的话，有点深不见底啊，现在看来还是。

肖志斌（嘉宾） (01:05:23)

我觉得只要 Jensen（黄仁勋） 还一直在 lead（领导） 这个公司，我觉得他这个在这个优势还是会持续的对。

月球大叔（主持人） (01:05:31)

哇这么恐怖如斯真的是。哎还是得多请教一下内行才能拿到最深的这些里边的认知。哎呀真棒。天你这个讲的故事能力太精彩了，我都不知道这期节目会精彩成什么样。

推理成本与物理世界的扩建速度

月球大叔（主持人） (01:05:44)

就是那后边再问一个问题。当今的那个 AI 的 bottleneck（瓶颈），很多都是 AI 推理嘛。今天那个 Claude Code（AI 编程工具） 又挂了。很明显就是需求太大了嘛。

肖志斌（嘉宾） (01:05:52)

没错。

月球大叔（主持人） (01:05:54)

您觉得就是说这 AI 推理，缺的是计算芯片 HBM，然后网络系统就是那些那个互联的东西，还是电力，还是等等等等什么东西？最缺的是啥？

肖志斌（嘉宾） (01:06:05)

我觉得就是还是缺算力吧对缺算力。然后如果从瓶颈的角度上讲啊就是缺系统优化，持续优化的能力，能够把这个 token cost（词元成本）持续降下来。因为啊模型越来越多，然后芯片这种架构又眼花缭乱，而且后面还会走向异构。我们更不要提这种多模态啊，还有一些 agent Infra，其实里面有很大的优化空间。所以其实缺的是能够从系统的角度做 co-design，能够而且非常快的做这些 co-design，把迭代速度加上去，把这个 token cost 降下来。永远要追求极致的低 token cost，这样让大模型就跟自来水一样便宜，然后 AI 更普及。

月球大叔（主持人） (01:06:56)

没错。我觉得这个 AI 就是应该成为一个像 utility（公用事业）一样的这种基础设施嘛，水跟电一样的基础设施。

肖志斌（嘉宾） (01:07:06)

对于咱们这种从业者来讲，可能未来，不是可能啊，这是百分百一定会发生的事情。

月球大叔（主持人） (01:07:11)

对。很难想象这些 token 之后还继续这么贵。

肖志斌（嘉宾） (01:07:15)

肯定会降下来对。成本肯定会降下来。就是我们半导体行业是持续在做创新跟努力。包括包括我刚才讲的 KV cache，还有这种分布式推理。除了软件层面，也有很多新的芯片公司正在酝酿。然后包括 memory 是瓶颈对吧，然后也有很多的这种啊 device（器件）的公司在做新的解决方案。然后包括光互联的一些新的解决方案。就是只要有瓶颈，工程师们是非常聪明的，我们会解决问题的，特别是现在又有了 AI 的辅助。对然后但是有一些，比如说产能啊，或者是基建啊，这些就是它是有规律性的，是物理限制。比如说美国嘛，就是缺电对吧。那如果要建这个电厂或者是这种传输的这个电网，它其实是要 5 年以上的周期，时间非常长。然后做 foundry，它也有自己的规律。比如说晶圆厂，然后其实上所有的这种卡实际上卡在这个物理世界的执行速度上，物理世界的执行速度。还有比如说光刻机的每年交付量上面其实也是也是一个卡对。

月球大叔（主持人） (01:08:29)

哦对。就是在已有的环境之下，我们这些优秀的工程师一定会想尽一切办法把该解决的问题一步一步解决。但是受限于各种各样的产能和制造速度的话，这个时间，就是 token 价格降下来的时间，还是会比较长。

肖志斌（嘉宾） (01:08:47)

没错。但是所以这是为什么现在如果是物理世界有限制，那就软件来补嘛。那软件其实是怎么样？现在其实在软件上面这个算力资源的浪费实际上非常大的。从我的角度，就很多 GPU 的利用率其实是非常低的。然后第二是很多 feature（功能），因为大家持续，因为模型变化太快了，硬件眼花缭乱，大家其实都没有更精细的去做那些优化。只有说成本，或者是物理世界的限制，倒逼着大家一定要把这个优化做的非常的精细，而且这个优化要做到自动化。这也是为什么我们自己这家公司就想把我们做 AI 芯片系统跟架构的知识变成一个 AI agent 能调用的一个东西，然后能够持续的做自动优化。

月球大叔（主持人） (01:09:39)

我坚信您这家 AI 如此 native 的公司肯定会迎来一个光明的未来。哈哈真的是。

肖志斌（嘉宾） (01:09:45)

谢谢。对。对。

Oracle 的机会、压缩架构与职业选择

月球大叔（主持人） (01:09:47)

哎呀这个刚才不知道，可能是第一次咱们这个采访是上来就这么的硬核哈。连续讲了一个多小时硬核的东西了。我们稍微把大脑切换一下。我们回到您个人的故事上。就是 2012 年的时候，您博士毕业了。

肖志斌（嘉宾） (01:10:01)

对。

月球大叔（主持人） (01:10:02)

您可以选择学术圈，可以选择各种各样的芯片公司，软件公司。您最后去了 Oracle 的原因？Oracle 哪里最吸引你？

肖志斌（嘉宾） (01:10:11)

其实去 Oracle 一个主要的原因，它是一个因为新的组在做一件新的事情，而且是一个真的软硬件协同设计的一个标杆性的一个项目。那要在 CPU 芯片上面做数据库运算的加速。那里面其实涉及到芯片架构的 co-design，然后涉及到这个怎么样跟那个软件做 hardware-software co-design（软硬件协同设计），然后怎么样去跟 runtime 就是 Oracle 的那个数据库去做迭代。这里面其实是一个非常完整的一个创新性的一个项目。然后你知道在我们芯片行业，其实如果你要真的从头到尾做这种芯片项目，在没有 AI 之前啊，其实大家都很难得有这种机会。因为一般架构师就呢就比较资深的人来做架构师嘛。然后你如果要真的进去一家芯片公司，你可能就做一些 block，做一些模块，或者是有的人是从验证开始做，要不断地打怪升级。

肖志斌（嘉宾） (01:11:16)

然后在 Oracle 这家公司，正好 Oracle 收购了 Sun Microsystems 以后，要做这个基于 Oracle 业务的这种加速的这种新的这个 accelerator，我们叫加速器，那就有一个这个机会。当时这个组叫 Software in Silicon（软件功能硬件化），就是把软件 build into silicon（实现在芯片中），用硬件来实现。当时这个组就是一个非常创新的一个项目。对这也是为什么我觉得是一个很好的机会啊。

月球大叔（主持人） (01:11:44)

你真的很难得。其实因为我后台就是粉丝一直在问，就是啊我应该怎么选择公司？这个时间点，这个地方，我应该怎么抉择？对。其实我是个人感觉要去像您这样选，就是能够把这个整个行业全部都看一遍的地方去选。你人生就是刚刚毕业可能刚很年轻。对。你上来就把自己变得很小的一个 scope（职责范围），或者很没有意思，很没有挑战性。对。不太好。

肖志斌（嘉宾） (01:12:13)

是。就是说趁着年轻可以看更能如果有让你看到全局的事情可以多做一些这些事情对。对比如说你看到一家公司比如现在很很出名的那些 AI Infra 公司，对，或者看到一些大厂然后做之前的数据库，对。我永远的建议就是你肯定先去那家 AI Infra 公司，把所有 AI Infra 整个流程怎么跑通，要学到手。然后你不应该再回到某个大厂，看起来很漂亮的 title（职级头衔），对，它是但是只做一些已经很上古时代的一些东西了。

月球大叔（主持人） (01:12:45)

没错。

肖志斌（嘉宾） (01:12:45)

而且它的流程是相对来说没有太多的改变。你可能就在别人的基础上做修修补补的工作。当然这份工作可能也比较轻松啊。就有的人追求不一样嘛。有的人觉得哎这个是比较稳定，然后我要解决身份问题对吧，然后其实这种选择也无可厚非。但是如果你在没有后顾之忧的情况下，我觉得尽可能的是做这种创新性的项目，能够看到全局的项目，是非常好的。所以我后面基本上我的职业发展道路基本上都是做新的项目，新的这个有挑战性的新的项目。

月球大叔（主持人） (01:13:21)

哎呀您这个状态就保持特别好。你看您对谁说话，从认识您到现在一直是笑嘻嘻，每天都活得特别特别开心。一看就是那种工作能给你赋能，给你提升能量那种那种感觉。真的很喜欢你现在这种状态。而且您还很贴心。您工作了快 20 年了对吧？对。你还能够想到就是说大家伙在刚毕业的过程当中，还需要解决身份问题，还需要解决家庭啊，各种各样的问题。对。哎呀，你这个真的真的就是又开心又贴心。哎呀真的是保持状态保持太好了。

肖志斌（嘉宾） (01:13:52)

哎谢谢谢。

月球大叔（主持人） (01:13:54)

那在整个过程当中嘛，你已经说了很多次，就是说 Oracle 这个项目是一个创新性的就是说给那个数据库的 query 做加速的一个一个项目。对。那这里边您觉得最有意思或者说最关键的一次决策是什么？

肖志斌（嘉宾） (01:14:06)

因为芯片，或者说系统设计，对，只要读过系统 PhD 的人都知道，永远都是 trade-off。对。没有完美的东西，没有 free lunch（免费午餐）。你要选什么，放弃什么？

月球大叔（主持人） (01:14:15)

没错。您觉得最大的一次，帮助您个人提升最多，或者说帮助公司提升最多的一次抉择是什么？

肖志斌（嘉宾） (01:14:22)

其实是因为因为这个 DAX（数据分析加速器） 其实是有两部分，一个是叫做 memory 处理的部分，就是说从 memory 取数据。一个是我们叫做 query processor（查询处理器），就是做数据库加速引擎单元，你可以认为是计算单元。那个部分，我们当时做的最大的一个决策就是啊从我们把压缩的数据库我们定了一种数据库的压缩格式，那个压缩的格式是放在 memory 里面的。我们把那个压缩的格式读进来，然后实时的解压缩，然后实时的计算，然后只把我们想要的那部分数据取出来做运算，然后再把结果再送回 memory。所以我们当时做的一个非常大的抉择就是选定这种压缩的方式来做计算，而且要选一种压缩算法。而且就是就是说你可能就是在这里面有一些 trade-off 啊，就是说一旦你选定了这个压缩算法以后，如果数据类型变了，或者是某种方式变了，压缩效率不高，那其实你的风险是比较大的。

肖志斌（嘉宾） (01:15:31)

所以我们，我觉得当时做的最大的一个包括我自己负责的那一块，就是做那个压缩的这个架构算法，还有压缩的微架构。当时我们 Oracle 有一个有个有个压缩算法叫 OZIP，Oracle ZIP（甲骨文压缩算法）。然后当时我们就是把 Oracle ZIP 跟软件去做，我们去做了很多的软件上面的适配，然后压缩效率能达到多少。然后 Oracle ZIP 是怎么实现的？它有很多种实现方法。我们最后用了一种就是查表的方法来做。就是当你在有一个数据库嘛，因为我做 query，数据库的变化不会太多，所以我们先会去扫一下这个数据库，然后生成一个叫做压缩的这个 table（表），叫码字，codeword table（码字表）。然后这个 codeword table 呢，就可以 preload（预加载）在芯片，当你开始运行之前，把这个码字的这个 table load 到我这个加速器里面。

肖志斌（嘉宾） (01:16:32)

然后下次芯片那个那个 query 进来了以后，我是跟那个 codeword 去做查找，然后把那个把未压缩的那个这个我们叫做数据把它解压缩出来，然后在后面做后面的 query 的处理。所以这样有一个好处，就是它虽然数据变化了，但是我可以重新扫描一遍数据库，生成新的码表，然后新的码表可以做重新新的这个解压缩。这虽然有一定的这个风险，但是我们把这个风险通过某种方式又降低了。这个其实是非常有趣的对。

月球大叔（主持人） (01:17:12)

反正我听不太懂，但是我知道你肯定做出了很多不一样的东西。那在 Oracle 这 5 年里，就是说您觉得，那您这个项目很创新嘛，你肯定过得也算是很开心，看你的状态。您觉得 Oracle 最大的一些优点和最突出的一些还做的不太完善的地方是什么？

肖志斌（嘉宾） (01:17:30)

Oracle 的优点其实是当时 Oracle 是买了 Sun Microsystems，所以 Sun 里面有很多非常厉害的工程师和架构师。

月球大叔（主持人） (01:17:39)

而且我们是这个可能给大家普及一下。Sun 就是 Java 的那个，对，Sun 就是 MySQL、Java 的那家公司。

肖志斌（嘉宾） (01:17:46)

太阳微系统。

月球大叔（主持人） (01:17:47)

对。

肖志斌（嘉宾） (01:17:47)

那当时在 90 年代是最火的，类似于英伟达或者 Google 类似这样的公司对。然后而且支持了很多的开源项目。但是在它当时是 7 个 billion（十亿）左右就卖给了这个 Oracle 啊，就就非常便宜。那卖的卖了哪一部分？就 SPARC CPU 的芯片部门，然后有 Solaris 的这个操作系统包括 Java，包括 MySQL，包括那个整个系统，就很大的，很多东西，还有包括存储系统，都是就非常便宜啊。以现在的眼光看，非常便宜 7 个 billion，七点几个 billion。然后这家公司有非常好的这种垂直整合的能力，就是我们有 CPU 的 CPU 设计的能力，然后又有数据库，然后又有 Solaris 操作系统，然后又有做 runtime 的调度的反正，你任何的东西都能找到人去问吧。所以是一个垂直整合的一个一个一个组织。所以这是 Oracle 当时比较好的。然后不好的原因当时这个项目最后没有特别成功啊为什么？

肖志斌（嘉宾） (01:18:53)

就是 CPU 是 SPARC，你知道 SPARC 处理器它是有自己的指令集的，它跟 x86 是不兼容的。然后但 x86 跟 Linux 做这种小型机变成了这个数据中心服务器的主流。之前是 SPARC 跟 Solaris。但是因为 Solaris 不兼容开源，所以当时这家公司有一个就上这一块啊，就是没有把 Solaris 做开源，导致这个生态不够繁荣，导致后面的这个应用在 SPARC 上面跑的开发的人越来越少，然后就是生态不够繁荣，然后反而越来越慢。所以整个项目其实不是特别成功。整个 SPARC 处理器之后的话其实是 Oracle 把整个部门全部裁撤了。其实整个我们的这个当时的这些 team，

开源对个人、企业与行业意味着什么

月球大叔（主持人） (01:19:45)

咱们先不说裁撤的事咱们，您刚才提到了这个开源的事。对。这两天最大的一个新闻硅谷，黄仁勋带头，去号召大家要做开源要支持开源这件事情，open model weights（开放权重）嘛。

肖志斌（嘉宾） (01:19:59)

对。

月球大叔（主持人） (01:19:59)

那个越来越多的企业加入这个。

肖志斌（嘉宾） (01:20:01)

对。

月球大叔（主持人） (01:20:02)

我也是一个坚定的开源支持者。

肖志斌（嘉宾） (01:20:04)

对。

月球大叔（主持人） (01:20:06)

您纵观您过去的这个职业这个从业史。对。您觉得开源，对于国家，对于企业，对于个人，分别意味着什么？

肖志斌（嘉宾） (01:20:16)

哇这个问题比较大啊。

月球大叔（主持人） (01:20:19)

比较大比较大。因为这个事太重要了，我觉得必须得问一下。这个虽然咱们原来没准备这个问题。

肖志斌（嘉宾） (01:20:23)

没错。我觉得开源从硬件上讲啊，就是说很少开源。像 RISC-V 这种开源的 IP 或者指令集其实是比比较少见的。然后在硬件上面，有很多 IP 其实是不开源的，SerDes，或者是有各种各样的 IP，大家都要 license 的。然后从软件上讲呢，其实芯片设计出来了，需要软件嘛，需要生态。所以软件的开源其实是也造就了互联网的繁荣。其实 Google 的几篇论文你知道，就做数据库的几篇论文，包括 Google 的这种 x86 的服务器加开源 Linux，再加上这种大数据开源的这个处理系统，其实造就了上一代互联网的这个繁荣。对于整个业界的话，企业来说，开源绝对，我也是支持开源啊，对繁荣业界生态实际上是非常非常啊有帮助的。然后对我对我们个人，工程师也是比较好的。我们一旦开源了以后，我们可以 work，就是在更复杂的项目上去贡献，而且同时能够你的技能可以 transferable（可迁移），对吧？

肖志斌（嘉宾） (01:21:37)

你从另外一家公司到另外一家公司，实际上是可以把技术可以转移的，或者是你自己的 knowledge（知识）可以转移。然后对于但是对于模型开源这一块呢，其实又有另外的一个问题啊就是我，很多公司为什么不开源？其实是他们花了大量价钱训练的这些东西，如果一旦开源呢，对于公司本身来说，它的 ROI（投资回报率）是怎么样去衡量？那其实是给大家做了贡献对吧。所以对于很多这种模型公司来说，如果做开源的话，其实它是有就是对于先到者，就是在啊大模型这个最领先的那些公司，如果一旦做了开源，它前期的投入怎么样去啊怎么样去把成本收回来？这是一个很大的问题。对。那后来者是可以开源，开源的话就可以他把他自己的生态做大。但是开源可能对于自己某家公司并不是一个很好的策略。这一这取决于就是你在什么样的位置上，你是在领先的大模型公司，还是在这种追赶者上面。所以对公司来说有好有坏，取决于你自己在什么样的 position（位置）。对于个人来说，开源绝对是好事。

肖志斌（嘉宾） (01:22:59)

对于我们这个自己，而且开源的话你可以，比如说你可以部署自己的私有化的这种 OpenClaw（开源智能体框架） agent。你可以自己用开源模型做很多事情，你的数据可以啊自己可以把控。对于企业来说很多，如果开源的方案，它是可以经过某种方式让它变得更合规，或者是 safety（安全性）有保证的话，它可以降低 cost，也可以作为一个针对这种大模型公司的一个 leverage（谈判筹码）对于，国家战略来说的话，这个就问题就比较大了。就是这个也是先来后来的这个问题，就是你如果中国是在美国的位置上，中国也不一定会开源对。所以后来者通过开源的方式追赶，是一个业界比较常见的这么一个模式吧。

月球大叔（主持人） (01:23:52)

我觉得您分析的特别特别全面。就是开源这个事就是特别特别复杂。对。对各方面有各方面的考虑。但是无论如何对于个人，对我们个人是绝对的好，有好处的。

肖志斌（嘉宾） (01:24:05)

是这样的。

月球大叔（主持人） (01:24:06)

作为一个个体永远支持开源。

肖志斌（嘉宾） (01:24:08)

对。

从架构师到产品负责人和 CEO

月球大叔（主持人） (01:24:09)

那从 2012 年到 2017 年，您用了短短 5 年就变成了 Oracle 的 Principal Engineer（主任工程师）。这个东西说实话对于每个在硅谷的同学我觉得大家都应该能感知到，这是多么难的一件事。因为你刚毕业的时候肯定是一个 junior（初级），Senior（高级）、Principal，非常非常高的一个一个职位您觉得，

肖志斌（嘉宾） (01:24:28)

这个我要要那个说一下，就是我们当时 title 是有 inflation（膨胀） 的。我们 Principal 其实也不是像类似于一些英伟达公司一样的 Principal 跟 Fellow（技术院士），但确实是还是一个不错的职位对。

月球大叔（主持人） (01:24:43)

对您觉得是什么帮助您就是说升职呀，就是说涨得这么快？

肖志斌（嘉宾） (01:24:48)

我觉得更多的是在项目里面有实际的贡献，因为公司里面他可以看到你有你有产出，你有影响力。所以更多的是在 take 一些比较难的工作，challenging（有挑战性）的工作，比如说刚才我说的做压缩的这种软硬件协同设计。然后去在更大的程度上去协调资源，去做一些不是说像传统的工程师一样芯片工程师一样做一个模块设计。人家是给你一个 spec，你去做这个实现。而我更多的可能会在做更多的这种类似于架构师的工作吧。

月球大叔（主持人） (01:25:28)

更就很早就开始做架构师，更高的 scope，自然而然就把自己推到了更大的那个岗位上。

肖志斌（嘉宾） (01:25:36)

对。其实就是说你做的做的这个问题，解决的问题和你做的这个 project（项目）决定了。对。

月球大叔（主持人） (01:25:43)

之后的话，您加入了国内的一家刚起步的芯片团队。是什么让您做出了这样的职业选择？

肖志斌（嘉宾） (01:25:51)

这家公司当时是这样的。这个背景其实是每家 hyperscaler 都在定制芯片。那每家 hyperscaler 都想去做做定制芯片这个事。然后这家公司，就是互联网公司吧，大家其实它我们进去的时候也没有，不确定到底做什么样的芯片。所以这对我个人来说是一个很好的机会。就是说你进去以后诶，你不仅仅是个架构师，你变成了一个产品经理，你变成了一个要从商业角度去找到做什么样的芯片。以前这个东西其实是 CTO，或者 CEO 一个芯片公司来决定的。然后我们就要去做很多的调研：到底哪些业务用哪些啊有哪些场景，然后它的 ROI 是什么，然后 cost 是什么，然后这个业务场景是不是能够沉淀出来做定制芯片？所以做了很多这种事情。然后第二个就是它是一个从 0 到 1 的过程，就是很多事情都是我们当时做了很多事情啊，包括引进 design service（芯片设计服务），怎么买哪些 IP，然后跟这些 foundry 合作，签第一个这个这个合作的这个协议，然后评估很多事情。

肖志斌（嘉宾） (01:27:06)

其实做了很多原来不是应该你做技术的人做的这个事情。所以对个人来说，有助于创业，我可以说对。

月球大叔（主持人） (01:27:15)

对您就是从一开始的职业选择到第二段都是比较连贯就是想，从 0 到 1 然后让自己能够，就是接更大的 scope，然后端到端的去完成一件事情。大公司内部创业的感觉。

肖志斌（嘉宾） (01:27:29)

对。其实是大公司内部创业。然后当时这个整个 AI 也没有那么兴起。然后英伟达的 GPU 也不是说一定要去做 AI 芯片，也许做别的。所以在这我因为我是喜欢做，我每次做一个新的选择的时候，我都是说诶，这个东西能不能学到我不能原来没有接触的东西？然后同时他这个可能这个 pay（薪酬） 也给得不错，对吧。然后你的 scope 可能会变大。那也有可能就是说在一个大的公司，它后面会有更多的人进来，然后你怎么样去给大家这种合作把这个事情做成。但是至少我们进去的时候是一个非常好的一个位置。就是我们算是一个 founding team（创始团队），在做内部创业这个状态对。

月球大叔（主持人） (01:28:21)

就您特别喜欢享受这种给您一个问题比较模糊，然后一步一步把它做清晰，最终形成一条链路，然后做好这件这个问题的那种过程。

肖志斌（嘉宾） (01:28:31)

对。因为我们做架构的，就是想在不确定性中寻找确定性，然后去把一件事情能够从这个定义出发去解决这个问题。

月球大叔（主持人） (01:28:43)

太漂亮了。我觉得在职业发展和选择上确实应该多向您学习。我感觉我个人也是这种性格，就是我喜欢就是说能够就是说定义一个问题，慢慢的把这个东西从 0 到 1。我不喜欢从一做到 100，但我特别喜欢从 0 做到 1。其实这个有些机会还是挺难得的。

肖志斌（嘉宾） (01:29:00)

所以在这种互联网大厂做 AI 芯片这个经历其实也是非常的啊特别，因为它这个文化和这个就跟传统的芯片公司也很不一样。整个流程也没有，就是你可以一片白纸从 0 到 1 开始开始构建这个事情也对我后面创业其实是很有帮助的对。

月球大叔（主持人） (01:29:22)

对那您后边就去创业了，然后参与了两家创业公司。

肖志斌（嘉宾） (01:29:26)

对。

月球大叔（主持人） (01:29:27)

在上一家的话是 Chief Architect（首席架构师），然后在这一家 ZFlow.AI，选择了自己做 CEO。就是为什么要做这样的选择呢？

肖志斌（嘉宾） (01:29:39)

因为传统上上一家公司我做架构师，其实还是跟我原来做的事情是一样的。但是有接一些新的任务了。比如说在上家公司除了芯片架构，然后我也做一些系统软件的工作，就是包括什么 runtime 啊这些团队，我也会参与进去。然后同时也把我们原来在阿里构建的一些能力也带进去了嘛。比如说我们怎么样去跟怎么样去找 partner（合作伙伴）。但是但是我现在这家公司呢因为 AI Infra 是一个，做芯片跟做这个软件还很不一样。做芯片的话就是它生意模式是固定的就是说诶，我构建了这个芯片，然后我两年之后有竞争力，那我这个我就按部就班去卖芯片，卖板卡卖上面的软件服务就好了。所以它的 go to market（市场进入策略）是非常的怎么说呢，就是很很很确定。但是做 AI Infra 这一块呢，整个行业变化非常快。比如说我们现在构建了很多的 tool（工具）和产品，但是怎么卖？这是一个问题。就到底怎么定价？你到底提供什么？

肖志斌（嘉宾） (01:30:59)

然后你到底是做 consulting（咨询），还是做 service 还是做 subscription（订阅）？就对我来说又是一个新的挑战。所以我觉得自己必须要进去做这个事情。就是说很难找到有人能够把这件又有技术上的创新又有商业模式的一些创新做进去。所以这也是为什么对我来说又是一个学习的过程了对。

月球大叔（主持人） (01:31:25)

就是挑战自我就是玩，就是游戏人生。

肖志斌（嘉宾） (01:31:28)

对就是蛮有挑战的。因为卖芯片跟卖软件还真很不一样。

月球大叔（主持人） (01:31:34)

对那就是说之前就是偏首席架构师，现在自己变成了 CEO。就是您过去这段时间有多少时间花在产品呀销售呀市场呀，融资呀技术呀？就是您觉得整个角色变化成怎样的？

肖志斌（嘉宾） (01:31:48)

其实以我在这个产品技术上花的时间还是比较多的。然后但是大部分时间其实是在做 BD（商务拓展）。对去找合作伙伴，去跟这个 potential（潜在）客户去聊天，去签 MOU（谅解备忘录）然后去啊，大家定义生意模式，就怎么样。就这一部分的工作占了我很大的比重。然后第二就是我们相对来说的 burn rate（资金消耗速度）非常低啊。就是这一部分目前我们还是融资也占一部分的这个精力。但是融资我是想把它放在一个很短的窗口去做，而不是长期占用我的时间对。所以我现在目标其实更多的时间其实在做 business（业务），做 BD 上面，大部分的时间。然后产品定义这一块还在持续的跟进。基本上每个技术细节我是非常了解的。对。

月球大叔（主持人） (01:32:41)

所以说您就是花很多时间去跟客户聊，确定商业模式，确定产品形态。对。过一段时间之后找一个，等到这些都聊清楚了，有客户了有商有商业模式了，对，花上一个月，一口气融资搞定开干。

肖志斌（嘉宾） (01:32:53)

对。我这是我自己的模式啊。当然我做 CEO 也在学习过程中。也许因为有的人是持续在融资嘛，融资融了更多的资，你可以做更多的事情。但我们做芯片的人可能是说唉先把先把这个 business 能够讲通，然后有付费的用户，然后你的这个 value（价值）能做出来，然后后面的融资我觉得是水到渠成的。就是说只要能满足，融资是为了满足你的业务发展。一旦我有一个很大的业务以后那，我融资其实是会比较快对。

月球大叔（主持人） (01:33:29)

我之前听过很多硅谷的成功企业家都说，融资是顺手的事。甚至说你有业务了之后，投资人你很多投资你都不不见，他们会排着队上来给你送钱帮你扩张业务。对。

肖志斌（嘉宾） (01:33:42)

因为融资的逻辑跟我做产品做业务的逻辑不一样。融资是另外一套 skill set（技能组合）对。然后花太多时间的话，其实确实也会影响就说你真的做 business 的这个时间。

月球大叔（主持人） (01:33:57)

但融资能力也很重要。很重要有些企业确实靠 CEO 的强大融资能力一直过关斩将。

肖志斌（嘉宾） (01:34:03)

没错。

月球大叔（主持人） (01:34:04)

还有强大的退出能力。

肖志斌（嘉宾） (01:34:05)

没错。

月球大叔（主持人） (01:34:06)

这也是非常重要的一个能力。每个人有不同的擅长点。

肖志斌（嘉宾） (01:34:09)

没有，也在，我也在学习中，学习中。对。

月球大叔（主持人） (01:34:13)

对。

B300 实测、仿真精度与开放平台

月球大叔（主持人） (01:34:13)

过去一段时间，您的公司公布了在 B300 这个上面一些推理上的优化。对。1.5 倍的那个峰值吞吐的和两到三倍的那种尾延迟的改善。对。就 tail latency（尾延迟）。对。就整个这一套流程，你是怎么做出来的？

肖志斌（嘉宾） (01:34:28)

这一套呢，当时我们是 Day Zero（发布首日），或者是比较早期了，通过 serving 框架去支持 DeepSeek V4。然后在 8 卡 B300 上面，然后我们找到一些配置是通过有一些仿真的方式来得到一些配置，然后通过这个配置去配这些 serving 框架的一些 configuration（配置）。比如说我们当时那个结论其实是在比如说你有 8 卡 B300，到底是用这种 PD 分离跟不分离？分离时，多少个 GPU 用来做 prefill，多少个 GPU 做 decode？那这种决策是我们通过仿真的方式得到的。然后通过这个决策，然后去配置这种啊 serving runtime（推理服务运行时）。但中间也有很多的这个我们做了很多工程性的东西，就是你要把一个并发的 serving 的这种 runtime 跑得很稳定，而且 high throughput（高吞吐量），也有很多的问题对。其实当时整个开源框架也在演进嘛。

肖志斌（嘉宾） (01:35:32)

所以我们的思路其实是说我们通过仿真的方式能够快速的找到这些配置，然后通过这些配置去直接去跟 serving 框架结合，然后能够得到更优的这个部署的方式。就整个逻辑是，思路是这样的。但是可能很多其实花了蛮多时间去把这个框架调稳定，因为当时 DeepSeek 刚出来，有很多不稳各种，其实有蛮多问题的对。

月球大叔（主持人） (01:36:01)

对您刚才那个过程，其实我之前在一些社交媒体上看到，就大家都在说啊，这个开源这些 runtime 调起来可太复杂了，太麻烦了。怎么能拿到最优的结果？就花了很多人力物力。当然他们肯定自己也意识到这个问题。

肖志斌（嘉宾） (01:36:15)

没错。

月球大叔（主持人） (01:36:16)

那对于他们自己本身意识到这个问题之后，自己去做优化和您做优化，那您的这个优势是什么呢？

肖志斌（嘉宾） (01:36:23)

其实我们也在考虑跟开源生态合作吧。就是因为我们做仿真其实是可以提供一个 Virtual backend（虚拟后端）给这些开源生态。你的 runtime 是可以跑在一个虚拟的仿真的环境下面，然后你可以，因为你就不需要那么多 GPU 资源去做这个优化。你可以甚至于提早做这些优化。所以这些是我们我觉得我们是互补的对。

月球大叔（主持人） (01:36:48)

是某种程度上来说，这也是一个 EDA 工具，就帮助迭代，帮助优化。

肖志斌（嘉宾） (01:36:52)

其实也是。其实很多客户其实找我们其实是做 architecture 的 design exploration（设计空间探索）。其实这个工具哈其实更就是对于设计芯片也有很多的就特别是 AI 芯片有很大的帮助。因为我们原来做芯片，第一步其实就是做这个仿真器。所以这个工具也可以认为是一个 architectural（架构层面）的一个 EDA 工具。但是我们只是把这个工具用来啊，它还是可以做芯片的这个辅助设计啊，就是架构的探索。它也可以用来做数据中心的这个优化。其实很多芯片公司内部也有这种尝试，在把它内部的一些 simulator 提供出来，给上面的做这种模型 infer（推理）的人去用，这样可以快速的迭代优化的这个策略。其实很多芯片公司是有在做。但我们不一样，就是我们想做一个 neutral（中立） 的平台。我们的这个可以兼容不同的芯片架构，不同的系统。然后你可以把 a 跟 b 合在一起。

肖志斌（嘉宾） (01:37:57)

比如说英伟达的东西跟也许 AMD 的东西，或者是某家这个不属于英伟达的硬件，可以合在一起做这个仿真优化，最后可以做到一个低成本的推理或者训练。就是我们想做这个通用，neutral，一个中立的平台。

月球大叔（主持人） (01:38:17)

这样的话就是没有那么多就是非得绑定一家，然后每一家都可以用。

肖志斌（嘉宾） (01:38:23)

没错。而且业界也缺少这种工具真的是，能够去帮你去在没有 GPU 的情况下去做这种探索，还有做这种调优的工具。

月球大叔（主持人） (01:38:35)

那您刚才得到那个结果，1.5 倍峰值，就是那些结果，是模拟的还是真实的？

肖志斌（嘉宾） (01:38:41)

那个是真实。我们是跟 neocloud（新型 GPU 云服务商） 去做合作，他们提供 GPU 资源，我们来啊做调优。

月球大叔（主持人） (01:38:50)

那您和之前模拟预测的结果差别大吗？

肖志斌（嘉宾） (01:38:54)

我们 DeepSeek 这个模型哈，就是其实也分 prefill 跟 decode 的阶段。大概我们现在这个 prefill 可以做到 90% 以上的精度，跟实际运行的。然后 decode 的阶段呢，大概 80%-90% 之间。那原因其实是在于有一些 dynamic（动态）的行为，在你实际做 runtime 的时候，其实是动态的。那动态的话，你仿真的话，你只能去做提供一些各种 scenario（场景）的模拟。你很难去做正确的根据它的那个数据的分布去做这个仿真。所以我们大概是可以接近 90% 这样的仿真精度的对。

月球大叔（主持人） (01:39:38)

我理解这个动态是不是就是那种用户的那种 request 过来的时候，他不一定什么时间，然后乱七八糟的。温度呀是，机房的温度？

肖志斌（嘉宾） (01:39:46)

是的。就是说这个动态有这种啊 batching，我们叫 batching 的这个动态，就是并行化 concurrency（并发）的这个动态。还有那个专家的调度，MoE（混合专家模型）的模型里面，它有 expert（专家）的这种调度。然后你的数据分布不一样，它专家的路由就不一样，就有很多这种动态行为。就动态行为其实是很难仿真的。你只能是说仿真那个数据分布，或者是你通过 profile 得到的一些结果 feed（输入）进来去 calibrate 我的仿真模型。所以我们会针对仿真去校准仿真的结果。所以这是在业界里面，我们其实还蛮特别的。我们是做芯片架构的人，然后通过仿真的办法去做优化。这个事情是挺有意思的其实。就而且这，但是这个问题其实是非常有挑战性的。怎么样达到足够的仿真精度，但是又让你优化？这里面要做很多的抽象。其实你的系统架构要做抽象。你网络的仿真对吧，比如说你做分布式推理，你要做网络的仿真。

肖志斌（嘉宾） (01:40:59)

那网络的仿真涉及到网络的 topology（拓扑结构），然后 switch（交换机）你仿真到什么精度？然后这个路由怎么仿真？你的这个拥塞控制的算法你要不要仿真？还是仿真到什么样的程度就可以，对于做优化是 good enough，就好到就是可以够用？这里面就是如果没有真正做过很复杂的实际系统，然后又能抽象出来做这一套，其实是很难做到的对。挑战性非常高。

月球大叔（主持人） (01:41:28)

我就感觉您在做一个虚拟的数据中心啊。

肖志斌（嘉宾） (01:41:31)

其实是。其实英伟达最近提了一个叫 DSX Air（AI 工厂仿真平台），这个就 AI token factory simulator（AI 词元工厂仿真器）这个事情。然后我们其实有点类似这个概念。这是 Jensen 在 GTC（英伟达技术大会） 上有提到的事情，叫 AI token factory simulator 对。

月球大叔（主持人） (01:41:48)

这个东西确实太难了。你说那个拥塞算法就是怎么去发包，怎么去收包，对这个，路由器的那个大概就是说那种 switch 那种架构，对，排线排布，都会影响最终结果但是呢，

肖志斌（嘉宾） (01:42:01)

那个专家那些，就是 MoE 那专家策略也会啊，也会影响就是。但是这里面可还，我坚信啊，就是说我们一定能做抽象，就做抽象。因为 AI 的 workload 它相对于这种通用的 CPU 上面跑的这些算法还是比较有可以预测性吧，所以我们可以做这种抽象。

智能体优化与商业模式

月球大叔（主持人） (01:42:25)

那听完您这个讲述，看到您官网上除了做了刚才这个就是说 AI Infra 的这个 optimization（优化），还做了一个 OpenClaw AutoTuner（自动调优工具）。对。还做了一个 memory 的 manager（管理器）。

肖志斌（嘉宾） (01:42:35)

对。

月球大叔（主持人） (01:42:36)

其实，这三个连起来就是越来你刚才说的那个图景越来越清晰了，对吧？对。OpenClaw，我理解就是上层的应用层，对用户的那个 request，和用户的那个交互。对。然后 memory 的话就看那个显存内存各种东西应该怎么去调，和计算有什么不同。对。您就是这么考虑的是吗？

肖志斌（嘉宾） (01:42:54)

是的。其实是这是两个层次的这个优化。刚才我们讲的是模型 serving 的那个层次的优化。OpenClaw 这个是 agent level（智能体层面） 的优化。其实根据用户的行为去怎么样去选择模型，怎么样去选择 memory 的分配，怎么样去做 OpenClaw agent level 的最优化配置。其实我们一直想说的是，我们已经有了很多的 AI 芯片，我们已经有了很多的开源框架，我们已经有了很多的这种 agent Infra，像 OpenClaw，但是怎么 tune、怎么配，每个 case 都不一样。如果需要大量的工程师去 tune 这些东西呢，其实是挺挺麻烦的。所以我们想去做的这个包括 serving 的这个 autotune（自动调优）跟这个 agent 的这个 infra 的 autotune 都是同样的概念，我们要自动优化的方法去做这个事情。

月球大叔（主持人） (01:43:47)

好像历史上数据库那个领域也有很多这种 autotune 的公司。

肖志斌（嘉宾） (01:43:50)

哎你说的太对了。其实我们原来做数据库的 query 嘛，就是有个叫做 query optimizer。然后做的很多也是比如说唉，我到底是 CPU 来做，还是发到哪里做？我的 memory 到底是怎么样去 allocate（分配）？其实它的复杂度啊其实，跟 AI 甚至比 AI 更复杂，因为数据库里面有很多这种随机的动态的行为 data dependent（数据依赖）这些行为。那 AI 里面是，虽然也有 MoE 啊，batching 啊，这种动态行为，但大部分还是矩阵运算嘛，所以它是比较固定的所以，我们做 AI 运算再往数据库那个方向靠。就是说会有更多的这种随机的这种行为进去。所以你做 optimizer 就要其实是有些算法是可以类似的对。

月球大叔（主持人） (01:44:42)

但是它那个商业化是不是比较难呀？因为我理解这些做数据库 optimizer 的公司，存活下来的有那么多吗？

肖志斌（嘉宾） (01:44:50)

你说的太对了。就是做数据库加速的公司其实很少成功。不成功的原因，就是为什么？就是说它的业务形态变化非常快。然后你做软件的人呢，这里面这个技术栈啊非常深。比如说我做 optimizer 的这些人，如果真的要用一些硬件的话，其实是很它很难跟上这些形势。所以还有就是做数据库的这帮这帮人啊，就是说他可能自己也有自己的 optimizer。然后所以他很难去说这个商业模式怎么定义就很难了。

月球大叔（主持人） (01:45:26)

对啊。因为我之前很佩服的几个做数据库的大神做了类似的公司，都到最后很惨淡。对技术是很牛，但是商业模式，

肖志斌（嘉宾） (01:45:37)

这也是为什么我也在不断的学习过程中。其实要么做 AI infer 的公司啊其实就，你要么就带着客户，客户需要你信任你，然后觉得你可以做。要么你就带着资源，你有 GPU resource（资源）。然后你必须要有两边靠一头，要不然很难对。纯粹的做 Infra 或者是 optimization 的公司，就很难站住这个位置。

月球大叔（主持人） (01:46:03)

对很多看起来是 AI Infra 公司，但实际上是 GPU 公司或者说，

肖志斌（嘉宾） (01:46:07)

对很多很多 AI Infra 公司实际上是 GPU 公司。或者 AI Infra 公司实际上是它有个客户就是跟它绑定的，强绑定对，大客户强绑定。对。

月球大叔（主持人） (01:46:19)

对所以说，您都知道这些过去有这样的一些历史，就确实挑战还是挺大的，你这个公司。

肖志斌（嘉宾） (01:46:26)

挑战是蛮大。怎么样去就说有技术上的挑战，然后也有商业化的挑战。但是我觉得这是一个非常重要的问题。我觉得如果解决这个问题，价值是非常大的。然后业界也缺这种中立的那个仿真平台，还能做优化。然后像这些 serving runtime 缺一个 Virtual backend。然后这里面其实很多可以做的对。

月球大叔（主持人） (01:46:52)

我能感知到，就是说如果说不用 GPU，然后这些开源的社区也好，或者说各种厂商也好，通过您这个 Virtual backend 去做各种各样的操作，对，能省下很多很多的时间和钱。对。

肖志斌（嘉宾） (01:47:06)

其实就是说白了，我们公司可以变成任何一个 AI Infra 公司，或者是芯片公司的架构师团队。我们还有一套工具，我们还有人对吧。

月球大叔（主持人） (01:47:17)

对这种模式其实特别容易被收购，你知道吗？我听完你的描述之后。

肖志斌（嘉宾） (01:47:21)

这也是一种可能性对。

月球大叔（主持人） (01:47:22)

对而且还有一个公司我突然想起来，就是你在描述的时候，VMware（虚拟化公司）。

肖志斌（嘉宾） (01:47:27)

对。

月球大叔（主持人） (01:47:28)

对这个公司当时也是就是商业化也比较难。对但是突然就爆发了。

肖志斌（嘉宾） (01:47:34)

因为做虚拟机。

月球大叔（主持人） (01:47:35)

对。对吧您是做那种虚拟 backend，做这种各种虚拟的那个抽象。对。对吧可能一开始的时候，每个人看不清这个商业模式。对。但突然有一天，可能每一家云厂商都得部署这套东西。对。

肖志斌（嘉宾） (01:47:49)

我觉得至少从我的角度上讲，老黄已经看到了这个事情。就是他做这个 AI token factory simulator 嘛。那就是因为 AI 硬件和系统软件如此的复杂，导致大家没办法搞了。然后还有这个硬件的成本要真的要部署一套系统，然后在上面再去做优化，

月球大叔（主持人） (01:48:09)

其实缺的不是优化工程师，缺很多 AI Infra 公司缺的是资源对。

肖志斌（嘉宾） (01:48:16)

我觉得也缺工程师。因为我看到那个这种现在这种复杂程度，毕业生搞不了，你知道吗？

月球大叔（主持人） (01:48:23)

对没错。就这个东西太复杂。就说你要毕业生能搞的，我所有见过的，要么就是在工业界已经工作过很多年，大概知道这个底层这 GPU 这架构的。另外就是那种参与 SGLang 或者 vLLM 社区参与比较多，在社区里边，就是说学到了大量的知识。对。但是其他人的话，你要是上来上手这一套优化，以我个人的体验和目前的采访状况来看是搞不了的。

肖志斌（嘉宾） (01:48:45)

其实是的。像我们这个团队的经历也是比较 unique（独特）的，就是大家都是架构师。我们有在 GPU cloud（GPU 云服务）部署过异构系统，就整个从 0 到 1 做过这种云厂的 GPU cloud。然后我们有从 0 到 1，像我的博士师弟啊，他也发过 Hot Chips（芯片学术会议），然后他做了很多年的 simulator，就仿真器。然后我自己这个经历也有，就一直在做芯片的这种软硬件协同设计。然后有这些认识，就是我们其实是在解决我们自己的一个问题，就怎么样去做优化，怎么样去做架构设计对。

团队经验、工程师薪酬与职业前景

月球大叔（主持人） (01:49:23)

你们就是你们自己的第一批客户。

肖志斌（嘉宾） (01:49:25)

没错是的是。

月球大叔（主持人） (01:49:27)

你们这个团队怎么拉起来的？一共多少人呢现在？

肖志斌（嘉宾） (01:49:29)

我们核心的人不多，就几个人。但是很多都是这种师弟啊然后同事啊，就是大家一起有这个合作过的这种战斗友情的这些。

月球大叔（主持人） (01:49:41)

芯片行业的战斗老兵。

肖志斌（嘉宾） (01:49:43)

对。

月球大叔（主持人） (01:49:44)

太酷了太酷了我觉得。哎呀这个你们的脑子里边这些经验和知识资产有点无价了啊。说句实在话真的。感觉新一代的年轻人，我们这些人，就是没有打过仗之前，包括现在用了 AI，这些 agent，就不知道该怎么拿到你现在脑子中那些知识。说句实在话，这些经验有点不知道该怎么去拿。

肖志斌（嘉宾） (01:50:07)

你说的也对。像有些经验其实是比如说犯错，对就犯错过来。对。因为芯片这么贵嘛，所以大家在这个经验积累其实是非常重要。但当然对于最近因为 inference（推理）变成一个瓶颈，芯片变成一个瓶颈，以前就是芯片。你知道在这个硅谷，其实互联网公司的给人给的 pay、工资是更高的。就我以前的很多朋友其实都转行去变成码农了，或者是码工了。然后其实我们这一批这种一直在半导体行业一直吭哧吭哧做的还是比较少的对。这就很神奇。这个硅谷给芯片工程师的工资，大家可能不知道，它就是比软件行业低好多，低很多啊。

月球大叔（主持人） (01:50:53)

这是为什么呢？

肖志斌（嘉宾） (01:50:54)

这个就是这是资本运作的这个问题对吧。芯片公司的这个成本来自于固定资产投资，就是硬件的硬件的投资，tape-out（流片） 的费用，EDA，EDA 的软件的 license 费用，或者 IP 的费用。所以人反而是其次的所以它这是，当然顶尖的那个架构师还是少的，但是大部分的人其实是用 EDA 工具的 engineer，所以他的工资不高。然后但是在互联网厂商呢，他大量的这个成本，以前哈因为没有 AI Infra 这或者 GPU 这个基建之前，大部分的成本是投在人力上面。一旦人力就是人是最重要的，一旦你产出了这个软件，你可以无限地 scale。但现在这个情况有点变化了。现在这些云厂也变成了有点像我们原来传统的半导体公司，就是它的固定资本投资变成大头了。人反而有可能会被 AI 取代，有点像这种互联网行业或者是 hyperscaler，也在向这种我们传统的半导体公司这个转变。就是 CAPEX（资本性支出）变成了最大的这个投资。

肖志斌（嘉宾） (01:52:09)

而且它的那个 revenue（收入）的成本跟你的这个 CAPEX 硬件是一个成比例的，而不是说你通过人力的复制可以无限的这个 scale。

月球大叔（主持人） (01:52:21)

感觉上还真是哎。如果说大模型整个这条训练链路，对不对，从 pre-training（预训练），到 mid-training（中期训练），再到那个 RL（强化学习）这些东西。对。整个链路搭起来之后，人的价值是越来越低的。是说现在就是说，通过大模型是辅助人，开始进行整套链路的训练。对。安个人安个刚毕业的学生。对。然后大模型指挥着他去做一些操作。

肖志斌（嘉宾） (01:52:45)

对我感觉，大模型你可以认为用用半导体行业类比，就大模型是你的 EDA 工具。然后更多的这些我们的工程师软件工程师变成了用 EDA 工具的人呢。所以然后这些大公司的这个投资更多的是投在基础设施上面。所以大家可能要接受就是，顶尖的那些，比如说就有点像我们的这个芯片行业的架构师，他还是可以维持非常好的一个收入也好，或者是回报也好。但是大部分工程师变成了用 AI 工具的这种软件工程师了，这薪资会有一些变化肯定是。

月球大叔（主持人） (01:53:27)

对现在的一些高薪，一方面是这些这个技能确实比较紧缺，然后为了维持领先地位啊，一系列的原因。对。但是等到进入一个平稳发展期的时候，对，很难想象到就是说还和现在一样就跟 Meta 各种公司开这么高的工资了。

肖志斌（嘉宾） (01:53:44)

不过这个其实也是开这么高工资也是很小一部分人，特别特别小。大家可能就是说报纸上说的就是天花乱坠。你可以认为类比于我们这个芯片行业的架构师，他们是对。对就是大家在硅谷都知道，这些人就是屈指可数嘛对不对？

月球大叔（主持人） (01:54:01)

没错。哎呦喂。那面对这样的一个未来的前景，您觉得就是说高中生还要不要学计算机？还要不要就是说搞芯片这些东西呢？

肖志斌（嘉宾） (01:54:14)

我觉得要啊。还需要还需要。就是说人人都要变成架构师。说白了就是说你能够上下拉通，用工具帮你实现很多事情。所以其实对人的要求是非常高了。就是你但是你底层的一些东西你还是要去学习的。所以还是要计算机还要学。但是这个商业模式啊，或者是 business 也要学。然后你还有一些这种自己的 taste（判断品味），一些 know-how（实践诀窍），你也要去学就是说，就是其实人人都要可能要有这种架构师的这种思维。然后去选择职业也好，去做你的这个啊这个职业的培训也好。

月球大叔（主持人） (01:54:53)

对。那换个角度讲的话，如果说你的兴趣没那么大的话，是不是也就不用那么的执着了？就是说你特别有兴趣，你就好好去做。

肖志斌（嘉宾） (01:55:01)

对。

月球大叔（主持人） (01:55:02)

但如果说没有兴趣的话，这个过程变成顶级架构师这个过程有点煎熬呀我觉得。

肖志斌（嘉宾） (01:55:07)

没错。就是说如果这不是你的兴趣，但是我觉得后面生产力会急剧的提升啊。就是 AI 可以提升 productivity（生产力）。你可以就是变成像我们半导体行业的工程师，用 AI 的这个人啊。然后这可能不是顶尖的这个待遇。但是这个生产力提升到一定水平，可以保证大家的基本福利还是可以的。对。

月球大叔（主持人） (01:55:28)

哦对就是，就反正衣食无忧一辈子，就美滋滋的过也行，每天对吧。对。虽然那个就是普通的半导体工程师工资没那么高。对。但是维持一个体面的生活，甚至说不怎么不怎么加班不卷，好像也是一个挺挺好的事情是吗？

肖志斌（嘉宾） (01:55:45)

我觉得某种程度上是了。但是我觉得社会最后有可能会真的是两极分化。很多人其实可能就不需要工作了。

结语

月球大叔（主持人） (01:55:54)

感觉今天和志斌老师聊的有点过于开心了。就是这个内容很多都是没有准备的哈。就是志斌老师给的信息量太大，我觉得全是临场应变，努力帮大家一起理清过去 20 年就是肖志斌老师的那个在芯片领域风风雨雨的从业史。也希望能够帮助大家理清，就是说过去 20 多年，芯片行业就是在硅谷这一块是做了多少代的那个更新换代。

肖志斌（嘉宾） (01:56:21)

对。也非常感谢月球大叔的邀请。因为我讲的可能比较快，然后其实是每一个方向刚才都可以再可能再聊几个小时。

月球大叔（主持人） (01:56:32) †

我们多上节目好吧。我们这一次叫做就是说一开始先来起个头。我们后边每一个章节，我们再分章节的来一遍好吧。谢谢大家。谢谢大家。谢谢肖老师。

肖志斌（嘉宾） (01:56:42)

谢谢。

† 该段至少有一处说话人切换或短应答需结合音频复核。