参与过 Oracle 数据库加速器和阿里首款 AI 芯片设计的肖志斌，聊 AI 的软件瓶颈、一颗芯片如何从设计走到量产，以及为什么芯片工程师觉得 NVIDIA 执行力很强。

肖志斌是 ZFLOW AI 的创始人兼 CEO，用系统仿真帮助客户优化 AI 基础设施，减少在昂贵硬件上反复试错。1999 年，他进入浙大竺可桢学院，一门由 UT Austin 教授 Yale Patt 讲授的暑期课程，让他喜欢上了计算机体系结构。本科和硕士期间，他参与过用于音视频编解码的 DSP（数字信号处理器）设计，后来在 UC Davis 读博，研究让数据在多个处理器核心之间流动、尽量留在芯片内部的众核架构。2012 年至 2017 年，他在 Oracle 的 Software in Silicon 团队，把数据库加速功能做进 SPARC CPU。此后，他参与设计阿里首款 AI 芯片含光 800，又在一家稀疏 AI 芯片公司担任首席架构师，最终创办 ZFLOW AI。

ZFLOW AI 把系统仿真、模型编译、运行时调度和性能分析放在一起，探索模型与硬件怎么搭配更高效。公司在 2026 年 5 月公布了一项基于 8 张 NVIDIA B300 运行 DeepSeek V4-Pro 的优化结果：将输入处理与输出生成分开部署后，峰值吞吐量达到单体部署峰值的 1.54 倍，高并发下的尾延迟改善了 2 到 3 倍。这些结果在合作云服务商提供的真实硬件上测得。他们的长远目标，是做一个不绑定单一硬件厂商的仿真与优化平台，让芯片设计者和 AI 基础设施团队都能使用。

在这期深度对话中，我们讨论了：

  1. 从音视频编解码、Oracle 数据库加速到含光 800，肖志斌如何一路转向 AI 系统优化
  2. 做了 20 多年芯片设计，为什么这次创业先做软件
  3. 任务不再频繁变化时，Taalas 把模型做进专用芯片为什么可能划算
  4. 从设计到部署可能要 3 到 5 年的 CPU 项目，为什么验证工程师比设计工程师还多
  5. 肖志斌为什么看好从一开始就围绕 AI 组织研发的新芯片公司
  6. 制程数字究竟代表什么，为什么更先进的工艺可能在省电方面改善更大、速度提升却有限，以及逻辑电路和片上内存为何未必同步缩小
  7. 一段提示词如何变成答案，以及生成 token 时为什么要反复搬运数据
  8. Groq、Cerebras、SambaNova 如何用不同架构，减少逐个生成 token 时反复搬运数据的开销
  9. 肖志斌眼中的 NVIDIA 优势：研发执行力、HBM 供应和晶圆厂产能
  10. 芯片工程师的薪酬为什么往往低于软件工程师，以及他看到的 AI 行业变化

这期对话给我们的最大启示：

  1. 肖志斌认为，AI 的主要瓶颈已转向系统和软件，所以这次创业先做优化。

    摩尔定律放缓后，要在单颗芯片上继续提高性能、降低功耗越来越难，投入这个方向的公司又已经很多。他选择去解决另一层问题：“我们这个 AI 系统的瓶颈不在于 AI 芯片了，更多的是在于系统还有软件。” ZFLOW AI 先用仿真找配置，再用真实硬件上的性能数据校准模型，把编译、调度和优化串起来。他们也在探索与开源推理框架合作，让工程师在硬件到手前就开始调优，减少对 GPU 资源的需求。技术之外，他还得想清楚怎么做生意：纯优化公司并不好生存，要么有客户需要并信任你，要么掌握 GPU 等资源。

  2. 任务和模型趋于稳定时，把模型做进专用芯片可能更划算。

    肖志斌并不排斥再次做芯片，前面提到的系统仿真也可能帮他发现机会。他举了扫地机器人、停车场车辆监测等例子：“如果这些特定任务已经不怎么改变了，那我们完全可以去做芯片，去做专用的芯片去加速这个事情。” 在他看来，Taalas 的激进尝试反映了一个方向：如果模型已经满足需求，并在特定任务下趋于固定，把它做进芯片在经济上就可能值得。按他的介绍，这种架构也保留了一定灵活性，可以修改部分金属层、重新流片，比用全套掩膜重新流片便宜。但这种调整仍要经过晶圆厂，不能像更新软件一样直接换模型。

  3. 先进制程带来的收益，可能更多是省电，片上内存也未必跟着缩小。

    肖志斌先纠正了一个直觉：“大家觉得 7 纳米到 5 纳米或者 3 纳米，是芯片的速度变快了，但实际上重点不在于速度，重点在于功耗。” 他估计，台积电 N3 到 N2 的功耗收益可能在 10% 到 15%，速度提升则可能只有 3% 到 5%。同样性能下耗电少、发热低，一个机架就有机会装下更多算力。不过，逻辑电路和存储单元的变化并不同步。他用一个粗略配比说明问题：AI 芯片里可能一半是逻辑，一半是 SRAM 这类片上内存，后者在 7 到 3 纳米这几代工艺中越来越难继续缩小。对于依赖 SRAM 的 Groq、Cerebras，这意味着要重新考虑资源配比，或尝试 3D 堆叠等办法。

  4. 软件能缩小 7 纳米与 2 纳米系统的差距，但双方都能继续优化。

    针对节目提出的比较，肖志斌把功耗、计算密度和互联速率一起考虑，估计底层性能差距约为 2 到 3 倍。他认为，预填充与解码分离、低精度量化、推测解码、多词元预测和调度优化，也可能带来相近量级的收益。芯片利用率也有提升空间：按他的估计，通过软件优化，可以从行业平均的 30% 到 50% 提高到 80% 到 90%。但他紧接着补了一句：“我有 2 纳米的芯片，你用 7 纳米的工艺，我也能同样做这些软件优化。” 旧工艺系统优化得好，可以在性能上接近没有优化好的新工艺系统，却不能由此断言旧工艺必然追平。更细的软硬件协同设计，也要付出更多工程人力和资源。

  5. 数据流芯片减少了反复搬数据的开销，可以与 GPU 互补。

    处理输入的预填充阶段可以并行计算，适合发挥 GPU 的吞吐能力。到了逐个生成 token 的解码阶段，每生成一个 token，都要访问模型权重和 KV cache，反复搬数据就可能让内存带宽成为瓶颈。肖志斌认为，此时 GPU 的计算资源不一定能被充分利用。Groq 则让任务数据尽量留在芯片内部，由软件调度它在不同核心间持续流动。Cerebras 把类似思路做到整个晶圆上，SambaNova 则采用数据流架构与外部内存相结合的折中方案。不过，模型大到放不下时，Groq、Cerebras 也需要更多芯片。他看重的是不同架构各有适合的任务，可以在系统里配合使用。

  6. 肖志斌眼中的 NVIDIA 硬件优势，还包括研发执行力和供应链。

    “英伟达是芯片行业里面执行力最强的公司。” 他举的例子是 GPU 稀疏计算支持：其他公司还在写论文时，NVIDIA 已经把功能做进了芯片。每年发布新一代产品，也不代表一年就能完成全部研发，而是不同团队并行推进。他估计，B300、GB300 等产品在发布前两三年就已开始设计。另一道门槛是供应链：你设计出适合某个推理任务的芯片，也未必拿得到 HBM（高带宽内存）或台积电的产能。他认为，只要 Jensen Huang 继续领导公司，NVIDIA 在这些方面的优势就有望持续。

  7. 芯片验证要在流片前找出错误，保护几年的研发投入。

    肖志斌回忆，过去做 CPU，光设计就要约 2 年，加上制造、系统和软件，走到部署可能需要 3 到 5 年。架构师先权衡功耗、性能、面积和成本，微架构师再把这些选择变成可以实现的硬件设计。他介绍，过去没有 AI 时，一个设计工程师可能对应两三个验证工程师，还要用仿真工具提前检查：“因为芯片一旦流片失败，可能几亿美元就没了，一两年的时间也没了。” 设计送去晶圆厂制造后，按他描述的流程，还要约 3 到 4 个月才能拿到晶圆，再经过测试、切割、封装、上板验证、客户送样，最终量产。

  8. 他相信，下一家伟大的芯片公司会从一开始就围绕 AI 组织研发。

    在肖志斌看来，AI 最先进入芯片验证并不奇怪：这类工作有输入、有输出，也有仿真器能检查对错，与编程智能体擅长的任务相近。Synopsys、Cadence 等 EDA（电子设计自动化）厂商也已经把 AI 用进布局布线等物理设计环节。但做什么芯片、如何定义架构，仍缺少成熟工具，需要人来判断。他看到的组织阻力是，老公司已有一整套流程，工程师也不一定愿意让 AI 接手自己正在做的工作。因此，他看好的新公司，会从架构、设计到验证、仿真和物理实现都围绕 AI 来组织，充分利用 AI 的能力，而不只是给现有岗位加一个助手。

  9. 电厂和产线没法马上扩出来，软件得先把现有算力用好。

    被问到推理最缺什么时，肖志斌先说算力，再强调持续降低每个 token 成本的系统优化能力。模型变得快，硬件种类又多，团队往往来不及细调，GPU 利用率偏低，不少硬件功能也没能充分发挥作用。他认为：“成本或者说物理世界的限制，倒逼着大家一定要把这个优化做得非常精细，而且这个优化要做到自动化。” 软件可以先改善现有资源的使用效率，但物理扩建有自己的节奏。他以美国电力为例，建电厂、扩电网可能要 5 年以上，晶圆厂建设和光刻机每年的交付量也会限制产能扩张速度。

  10. 云厂商越来越依赖硬件投入，他预期顶薪会继续集中在少数人身上。

    肖志斌说，硅谷芯片工程师过去往往比软件工程师挣得少，他把这个差异归因于公司的成本结构。芯片公司要花钱流片、买 EDA 软件授权和芯片 IP，人的成本反而只占一部分。过去的互联网公司主要投资于人，软件做出来以后，可以用较低的成本复制给更多用户。在他看来，如今云厂商也越来越像芯片公司，资本开支成为大头，部分人的工作还可能被 AI 替代。他预计，很多软件工程师会变成使用 AI 工具的人，而少数具有稀缺能力的顶尖人才仍能拿到很高的回报。他还指出，眼下 AI 公司开出的极高薪酬，本来就只给了很少一部分人。

  11. 肖志斌选工作的标准: 能看全局，也能学到没做过的事。

    Oracle 当年的新团队，让他有机会把 CPU 设计与数据库软件放在一起做。他负责压缩架构，先把码表放进加速器，查询到来时查表、解压、处理数据，数据库变了还可以重新扫描、更新码表。到了阿里，他既做架构师，也做产品经理，评估应用场景、投资回报、该买哪些芯片 IP，以及如何与晶圆厂合作。他建议没有后顾之忧的人多选能看到全局的创新项目，也承认为了稳定或解决身份问题而选择成熟岗位很合理。如今当了 CEO，新的挑战又来了：“卖芯片跟卖软件还真很不一样。” 产品怎么定价，卖咨询、服务还是订阅，都需要他与客户、合作伙伴一起摸索。