晚点播客「AI 大爆炸」丨光年之外联创再出发，与袁进辉聊 AI Infra 到底做什么

整理丨程曼祺

《晚点聊 LateTalk》是《晚点》 推出的播客节目，在文字报道之外，用音频访谈形式捕捉商业世界变化的潮流和不变的逻辑，与这其中的人和故事。

《晚点聊》近期推出了与报道系列匹配的「AI 大爆炸」播客系列。这个系列里，我们既关注一个个 AI 公司或产品的创业和开发故事，也会由此逐渐覆盖 AI 版图的各个面向，见证和探讨这次新技术变革激起的浪涌。

「AI 大爆炸」的第一期节目邀请了 AI 领域的一位资深从业者和连续创业者，袁进辉。

袁进辉在 2016 年创立一流科技（OneFlow），2023 年加入光年之外任联合创始人，2023 年 6 月光年之外被美团收购后，袁进辉再次创业，成立硅基流动（SiliconFlow)（文末阅读原文《晚点独家丨袁进辉新公司获创新工场、王慧文等 5000 万投资》）。

在宣布这次创业的朋友圈中，袁进辉的配文是：“过去 15 年不算顺利，屡败屡战。”

“屡败屡战” 与他创业以来一直所在的 AI Infra （AI 基础软件）领域在中国市场的状态有关。OneFlow 当年在 AI Infra 中做服务 AI 训练（模型的生产）的框架，SiliconFlow 则是做服务大模型推理（模型的应用）的框架。

AI 框架简单来说是连接底层硬件算力层和模型层之间的一层系统软件，类似模型开发者们使用的操作系统。

纯软件模式在中国的商业化和付费意愿一直是行业难题，这也是袁进辉此次创业想努力跑通的部分。他在节目中分享了现阶段的部分答案。

* 以下文字根据播客音频整理，有部分删减。

《晚点》：最近你发朋友圈宣布自己重新创业，配文是 “最近 15 年没有顺利过，算是屡败屡战了”。15 年，刚好是你从清华博士毕业到现在。不顺利是指什么？

袁进辉：屡败屡战都是自找的，因为做的都是成功概率比较低的事。这 15 年发生很多事，主要是两件事。

我从小到大都想成为科学家，2008 年博士毕业后其实有机会留在清华做教学研究工作，但先要经过一个过渡阶段叫 “师资博士后”。

当时，有一种稳妥的做法是重复熟悉的领域，在博士阶段已经拿手的机器学习和计算机视觉方向上产出一定数量的文章，就可以完成指标。

我的博士生导师张钹院士做了一辈子人工智能，觉得中国到了应该做一些原创性和引领性工作的阶段，而这种突破应该发生在清华。

原创怎么来？张老师 90 年代就研究过神经网络，他觉得未来 AI 的突破应该是计算机科学与脑科学、神经科学和认知科学的结合，和人的智能密切相关，所以做了很前瞻性的布局，要在清华搞交叉学科。

他邀请了约翰霍普金斯大学、UCL Gatsby（伦敦大学盖茨比计算神经科学中心）等机构的专家，如 Peter Dayan、李兆平、王小勤等老师做讲席教授，帮助清华把交叉学科发展起来。

我也不满足于仍做填坑类、原创性不够高的工作，比较激进，选择了做风险更大得交叉学科研究。

当时我跟随李兆平老师研究计算神经科学，她和 Peter Dayan 都是 UCL Gatsby 的教授，这个机构的创始人是 Geoffery Hinton。所以我们很早注意到当时还比较非主流的深度学习，并在这个方向做出一些工作。但做得有点早，也没有很大影响力，比较难完成从博士后转老师的 KPI，无法继续走科学家和教授的路。

随后我就转到工业界工作了一两年。最初，我一直在创业公司做搜索引擎，包括由张栋、宿华领导的搜索团队，后来这个团队的技术被 360 买走，团队成员跟着老大去了阿里做神马搜索；宿华在五道口继续创业。

我当时觉得在创业公司主要是处理工程问题，之前的学术训练和积累不好发挥，所以 2013 年加入微软亚洲研究院重回学术研究。

在微软那三年，我就想一定要做出带有个人印记的、有足够影响力的工作。也是在这个阶段，我完成了从纯算法研究到算法-系统相结合的转型。

《晚点》：你在微软亚研院期间比较重要的成果是什么？

袁进辉：我最初在 System（系统）组，后来转到  Machine Learning（机器学习）组，不过在这个组仍做面向机器学习的系统，有一个机会与 CMU（卡内基·梅隆大学）的 Eric Xing （邢波）老师团队合作，做了一个在业内比较有影响力的工作 LightLDA（一种主题模型）。

在深度学习兴起前，主题模型（Topic Model）是对互联网公司至关重要的算法系统，广泛用于搜索引擎、推荐和广告产品。我们的系统只用其他公司 1% 的服务器，就能更快训练更大参数的模型。算法和系统后来也开源了，国内外很多头部互联网公司都用了。

《晚点》：这是在 2014、2015 年左右吗？当时字节是不是也用了你们的系统？

袁进辉：字节有没有用不太清楚，但快手用了，当时快手发展非常快，那个工作发表后，宿华很感兴趣，他们就开始上线去使用。

搜推广场景都要依赖于语义理解，比如出现一个词语 “苹果”，到底指水果、牛仔裤还是电子消费品？这个词的真正语义取决于它所处的上下文，也就是整篇文档，主题模型实际上就是根据上下文来推理每个词的语义，帮搜推广做信息匹配。这有点类似于 ChatGPT，当然，理解的准确度、丰富度肯定和现在相比有距离。

那时虽然还不是深度学习，用 CPU 计算，但计算量也非常大。Google 需要数千台、甚至上万台服务器做这件事。

这在当时是算法-系统协同设计领域里非常活跃的方向，许多知名学者，CMU 的 Eric Xing、Alex Smola——他是李沐的导师、Google 的 Jeff Dean 等都在这个问题上做过一些很好的工作。

《晚点》：所以更完整地描述，你们解决的问题是做一个系统，能更高效地使用 CPU 算力，让它支持上面的网页语义理解？

袁进辉：对，那时模型规模也很大。所谓词表，有 100 万种 Token，还有 100 万种潜在语义，这两个参数乘起来，就是万亿级的，工程上很有挑战，经济价值也非常大，它是所有互联网公司赚钱的技术核心。

《晚点》：从 LightLDA 到后来做 AI 训练框架 OneFlow 的过程是怎样的？

袁进辉：2014-2016 年，深度学习已在图像之外的领域开花，业内已开始形成深度学习一定会替代传统机器学习的共识。做完 LightLDA 后，我判断工程是深度学习的重要组成部分，如果要继续做 System，就要做深度学习系统，要转到这个方向。

2015 年，我开始开发深度学习系统。深度学习框架一定程度上就像 AI 操作系统，微软等大公司是不能缺席的。那时比较知名的框架有贾扬清做的 Caffe，李沐、陈天奇主导开发的 MXNet，还有 Jeff Dean 领衔做的 TensorFlow。由于 Jeff Dean 的成功案例太多了，大家都觉得未来迟早是 Google 的天下。

这个背景下，要后来居上、以小博大，必须有不一样的思考。我有什么不一样的见解呢？

那时最主流的模型 CNN、RNN（CNN 和 RNN 分别是卷积神经网络和循环神经网络，是流行的深度学习模型结构） 等都只有几千万参数，我和绝大多数人不一样的一个判断是：未来的模型一定会变得非常大。

无论是 Caffe、MXNet，还是 Google 的 TensorFlow 都不是为未来的大模型设计的。模型很大后，会出现一些新的系统上的需求，深度学习系统得推翻重搞。

《晚点》：你用了一个比喻说深度学习框架就像 AI 的操作系统，可以更具体解释一下深度学习框架是干什么的吗？

袁进辉：它是算法模型和提供算力的硬件芯片之间的软件层，使得算法工程师不需要懂底层的分布式算力、GPU 的调配，就能把他们脑袋里想到的神经网络模型更方便、更快地运行在 GPU、TPU 这些 AI 芯片上。就像处理大数据需要 Hadoop 系统，数据库分析有 OLTP、OLAP 等系统一样。

《晚点》：你看到模型会越变越大，需要新的深度学习框架后，为什么选择创业来做这件事？

袁进辉：这是一个非常庞大的工程。TensorFlow 是百万行代码以上的系统，需要工程团队等资源。微软研究院的体制是，少量精英做前沿探索，没有 Google Brain 那么大的工程团队。

我太想做成这件事情，也和华为、腾讯等国内大公司聊过，但那时没有人相信这件事。我和朋友聊，他们觉得如果我能拿到融资，可以用创业方式来做，所以，从 2016 年底到 2017 年初，我开始筹建 OneFlow。

所谓的 “过去 15 年不顺利，屡败屡战”，前面讲的是在学校时想做科学性探索，冒了比较大风险，导致人生轨迹变化；后面在大多数人都不相信大模型，尤其是不相信国内创业团队能挑战 Google Brain 时，用创业方式做 OneFlow 这样螳臂当车的事——这得在技术和生态上都超越 TensorFlow。从常识看，它就应该失败。

不过，当时的判断到今天还是变成了现实，大模型真的出现了，而且大模型系统也的确是我们当时设想的那样。后来 OneFlow 的分布式理念和设计也被今天的大模型系统跟进，比如我们最早实现了怎么让分布式的多卡就像一张卡一样容易编程，这后来被 PyTorch 跟进，并且创始人 Soumith Chintala 在推特上做过公开说明。

技术判断实现了，一些成果也得到业内认可，但我说的不顺利主要是指商业化。从 2017 年到 2023 年初，公司做了六七年，大部分投资都到了要退出的阶段，但我们还没有做到持续的、成规模的收入，离上市标准也很远。后来，ChatGPT 就出现了。

《晚点》：ChatGPT 热潮让大家都看到了大模型的潜力，这对 OneFlow 是一个大利好。为什么这个时间点会选择被光年之外收购，而不是继续自己做？

袁进辉：理性分析，在当时来看，被收购对所有人都是最优选择。大模型的门槛还是挺高，特别是在资金、资源整合和商业化上，以我和我们团队的能力单独去解决挺有挑战。

遇见老王（光年之外联合创始人王慧文）前，我一直希望推动成立一些联盟，汇集数据方、算力方、技术方等合作来做这件事，但涉及很多不同实体，难度很大。

老王出手，他同时具有产品商业化经验和号召力，对实现这个愿望肯定更有利。

《晚点》：后来光年之外被美团收购，你又选择离开美团创立了硅基流动。为什么没继续留在美团或去别的大公司？我知道 OneFlow 有人去了其他大公司，而且拿到了非常高的待遇。

袁进辉：从多方面来说，这是唯一可行的选择。

一方面，我们创业多年，一直在预判这么一个机会。当机会真出现时，我们又回大公司，而不是用创业方式来做，蛮可惜。

另一方面，在行业这么热时，这个团队是挺宝贵的财富，这是志同道合、经验丰富的一群人。如果不继续创业，没有任何一家公司能把所有人留下，一定程度上团队会被肢解，所以得有一个很有想象力的方向，把这些人继续聚在一起。

此外，大家都非常认同硅基流动做大模型推理部署的新方向，觉得这个机会更好。即使手里有很好的 Offer，对很多人来说，做成这件事会是一个更好的选择。

《晚点》：之前 OneFlow 是做训练为主的框架，为什么硅基流动现在转做推理框架？

袁进辉：AI 或者机器学习主要分两阶段，一是模型的生产，也就是训练，从一堆数据里经过计算得到一个模型、一堆权重；二是模型的使用，也就是推理，譬如对 GP T 问一个问题，模型会给一个回答。

OneFlow 是以训练为主，新公司以推理为重心，有几方面原因：

第一，从市场机会看，搞大模型训练的客户或公司数量比较少，客户集中度比较高，这种生意较难做；而几乎所有需要用到大模型的公司都需要推理，客户更多、更分散，推理的商业化会更好做。

推理的市场容量也是训练的很多倍。训练作为模型的生产过程是阶段性的，生产出来真正去使用时则是持续性的。以大模型处理的 token 数量为例，训练一个大模型，差不多是几万亿到十万亿的 token，但推理阶段，OpenAI 一天的 token 生成量就是一万到几万亿，可能一星期处理的数据量就超过了训练。

第二，在大模型训练上，技术可创造的 margin（提升空间）不大了。比如硬件利用率，理论上最高是 60% 多，现在大家用英伟达的系统和软件已能做到 40%~50%，可提高的空间就是百分之十几，但推理提升空间至少是十倍，价值创造空间还非常大。

第三，如果不在大模型团队里，比较难把训练做好。这需要每天都运行训练任务，要有足够多的 GPU 算力不断做实验。原来在光年有这个条件，现在没有了。而大模型推理不需要这样奢侈的条件，一个很小的试验集群就能把技术做好。

《晚点》：为什么我们之前看到的人工智能应用好像没有特别强调推理需求？

袁进辉：搜推广里全是推理，比如训练了一个点击率预测模型，上线后，其实每个人的查询请求和点击行为，都是经过模型的推理来匹配广告和内容。

以前在互联网搜推广里，确实第三方服务商比较少，都是每个企业自己去搞定，但在整个 AI 行业，第三方服务是一直存在的。过去所谓第一代 AI 公司就是这样，比如进出机场、地铁刷脸的闸机，扫一下人脸，判断是谁，然后放行，这背后就是在执行推理。

只不过，过去只有搜推广这一个超级应用，这些做超级应用的互联网公司自己垂直覆盖了（推理系统），而其他方向就被过去这一代 AI 公司覆盖了，只是比较分散。以前是同时存在很多模型，每个模型的价值都非常小，推理比较难成为规模化的生意。现在情况不一样了。

《晚点》：可以说现在大模型的推理比之前的推理更加标准化以及规模大得多？

袁进辉：对。在深度学习出来之前，各个模型的数学原理都不一样；在深度学习出来后、大模型出来前，则存在好多模型结构，如 CNN、RNN 等等，甚至 RNN 也有好多不同版本。大模型出来后，才实现一个模型能做很多事，它高度标准化，且使用场景、范围和深度也比过去的模型要好得多。

大家现在不是都在用 Transformer 结构吗？在模型结构和运行模型的软件上，会变得越来越统一，使得做好一个产品，就能大规模复制，这在商业上是非常好的特征。今天大模型可以在无数场景创造超级大的价值，而所有场景都可以用同一个推理系统。

《晚点》：你是靠大模型推理这个新方向把团队核心人员继续留了下来。在硅基流动团队里，有多少是之前 OneFlow 的人，还吸收了什么人？

袁进辉：我们进光年时是 40 人，出来再创业是 35 人，还有以前在 OneFlow 工作、去了大厂又回来的；还补充了一些技术高手以及产品化、商业化方面的人。

《晚点》：团队认可这个新方向，接下来的问题还有商业化。我们 2020 年时聊过中国 Infra 软件公司融资热潮，包括 AI 相关的，如 OneFlow；数据库领域的，如 PingCap、涛思、Zilliz……当时的逻辑是中国风投机构跟着美国的趋势做投资，那前后也是 MongoDB、Elasticsearch 等公司密集上市的时期。这些公司现在的市值相比 2020 年已经翻倍，而我们当时提到的很多中国公司都没有这么顺利，不光是你们。关键的差别是什么？为什么这类基础软件项目在海外可以实现商业闭环，在国内更难？

袁进辉：中国 SaaS（软件即服务）投资已经降到冰点了。简单来说，这跟经济发展水平有关，也和信息化水平有关。就像一条河流，美国市场已经把河道冲得非常宽阔又深，只要放水就行，在美国做 SaaS、做 Infra，是 easy 模式，它的产业链对这种类型的创业非常有利。中国河道里还有很多石头、浅滩，比如客户的信息化水平不够，软件付费意愿不高等，这是历史因素。

我希望现在能在这个问题上取得突破。在中国，是这种方式根本走不通，还是我们从业者没找到那条路？

去年七八月想重新创业时，宿华作为很多年的朋友以及 OneFlow 的投资人，他承诺，我再创业，不管做什么方向都打算支持。但当我说还是要做国内 2B 软件时，他也提醒我要慎重，说这个方向他研究不多，不过这些年很多聪明人前赴后继进入这个行业，做好的非常少，他没想清楚是什么原因，也还没看出我有什么认知上的领先性。

后来我们又做了很多研究，我感觉找到了一些途径。比较重要的就是做全球化，在海外特别是美国，这样的产品和商业模式还是很容易成功。

《晚点》：“这样的商业模式” 具体是指什么？直接通过 API 或其它标准化产品赚钱？

袁进辉：在美国，软件、SaaS 企业只要是置身云计算的大产业链，把某一个环节做得非常有竞争力，就能在价值链条中完成商业化，不需要像在中国这样做集成商、做项目。只做标准化的部分，足够有竞争力就可以有持续、稳定和可观的收入。

美国有很多企业客户的 SaaS 消费已非常可观，企业每年都要在 SaaS 订阅上有较多支出，一方面他们信息化水平好，可以把标准产品用起来，另一方面他们的人力的确比较贵。

公有云上也有一个市场，有点像 App Store，云上的客户需要解决某类问题时就可以买相应的产品，而且是按调用量来付费。

我现在也想到了一些在国内做基础软件商业化的路。

从市场空间或者需求看，有统计数字表明，目前生成式 AI 和大模型的海外需求是国内需求的几十到上百倍，所以全球化是一个要去做的事。

在国内，做这一类产品是 hard 模式，付费意愿低，以及大客户习惯集成式服务。但我认为，国内软件商业化的路并不是不能走通，只是需要创业者找到合适的产品形态，用合适的商业策略，才能拿到商业价值。

譬如，一个容易想到的方式是软件和硬件一起卖。如果纯卖软件能走通，就实在是太让人羡慕了。软件就是无论拷贝多少份都没有额外成本，所以比尔盖茨眼里，这是最美好的商业模式。但咱们的大环境里，客户就觉得凭什么？看不着、摸不着的东西，你收我这么多钱？

还有一种方式是和云、算力绑定。所有使用 AI 的这些客户都必须为算力付费，因此可以尝试算力和服务打包收费。

总之，在中国要完成商业闭环，得想办法把软件和用户不得不付费的东西结合在一起。

《晚点》：现在硅基流动的目标客户有哪些，市场推广的先后顺序是什么？

袁进辉：长期看，大模型和生成式 AI 肯定会无处不在，在所有场景、所有行业里都会发生，但它的渗透有一个过程。

在近期的半年到一年，首先大模型公司是一个好客户，其次是已开始上量的一些应用公司，如海外的 Midjourney 和 Perplexity 等公司对 AI 推理的需求已经开始爆发，然后是能用大模型或生成式 AI 获得立竿见影商业价值的公司，比如游戏公司已经尝到甜头，现在都在引入基于大模型的 NPC，让玩家更过瘾。只要玩家为游戏付费，游戏厂商就愿意为给它创造能力的 AI Infra 和技术付费。所以，确实有的市场是 low hanging fruits（更容易获取的果实）。

《晚点》：大模型公司为什么自己不做推理框架，比如部分公司就自己做了训练框架和工具。

袁进辉：训练系统也不都是大模型公司自己做的，都在用英伟达的 Megatron-LM。

现在世界上推理引擎的来源则主要是两个：一是伯克利大学开源的 vLLM，一些海外朋友告诉我说 OpenAI 也在用 vLLM。海外很多 Infra 公司也都是基于 vLLM 做优化，如 Hugging Face 的 TGI。二是英伟达做的 TensorRT-LLM。很多大模型公司要么用 vLLM，要么用 TensorRT-LLM。

《晚点》：硅基流动既不是伯克利的 vLLM，也不是英伟达的 TensorRT—LLM？

袁进辉：我们从头搭了一套系统 SiliconLLM，还没有开源，是我们所知的第三套系统。

《晚点》：你们这次又是在和大公司竞争，成功率会提高吗？英伟达也是一个资源很多、AI 开发者生态也很强的公司。

袁进辉：对云计算公司、英伟达这样的芯片公司，以及 OpenAI 这样的大模型公司，推理框架也是兵家必争之地，大家都有掌控它的愿望。

但事实是，我们现在做到的效果比 vLLM 和 TensorRT-LLM 都好很多。在做硅基流动之前，我们的竞争对手就是这些搞框架的大厂。在那个阶段的较量中，我们有很多胜绩，技术层面没有心理弱势。

《晚点》：怎么评判你们比别人好？是看在一个具体任务上你们的加速效果，或算力资源利用率能做到多高吗？

袁进辉：有一些指标是通行的，比如同样的硬件、同样的模型，生成速度越快越好；或者每秒生成的词元（token）越多越好，这都是客观指标。

目前大语言模型推理方面确实没有很权威的第三方测试，但在我们原来就有基础的领域，如图片 / 视频生成引擎 SiliconDiff，实际上已经持续一年多一直是业内最快的系统。国内外很多客户用了开源版和企业版。

《晚点》：你们只有 40 多人，为什么能比全球知名大公司做得好？

袁进辉：过去 OneFlow 是开源的，比如我们在底层优化上能做到比英伟达还快，包括 Stable diffusion 做到业内最快，开源版都比 TensorRT 要快，企业版就快更多了。

能做到的原因是，这些人才本来就很 Top；而且你会发现，敢创业的人其实比在大厂工作的人更有雄心抱负一些，有时，野心或斗志也比较重要。

还有，这件事在很多大厂里的优先级排不到最前，但在我们这里是唯一，是赖以安身立命的。

我还想分享一个说不清道不明的事：同样这些人，到了另一个环境里就做不出来这样的事。就像酿酒一样，同样的水、粮食，有的成了茅台，有的就成了其它。我们这边去大厂之后又回来的同事还挺多，确实这里有一些特殊的东西。

《晚点》：同样也是创业团队，同样唯一的事就是做推理框架的公司有哪些？你怎么看硅基流动和他们之间的竞争？

袁进辉：海外比较多，原来创立 Databricks 的 Ion Stoica 创立的新公司 Anyscale；陈天奇做了 OctoAI，以及贾扬清做的 Lepton AI 等等。

当然，即使是海外已成为独角兽的公司，在收入上还没有支撑。我们肯定抱着比独角兽更大的目标。

《晚点》：做成的挑战主要来自技术还是商业，还是来自于大模型行业的未来变数？

袁进辉：我非常放心团队的技术能力，最大挑战还是产品化和商业化，特别是全球化怎么搞以及在国内特殊环境里，通过什么商业模式获得价值回报。

《晚点》：之前我们交流时，你提到 ChatGPT 出现之初，大家都觉得这是一件很有壁垒的事，到后面开源大模型和社区让壁垒慢慢消解了，这是 2023 年的变化。2024 年会有哪些变化？

袁进辉：会有人不同意大模型壁垒不是特别高这句话，我再解释一下。

我曾在三个团队做过搜索引擎，搜索引擎过去被认为是一个在各方面壁垒极高的事，到后面会发现，它仍有进入壁垒，但不再神秘。

大模型也经历了这个过程。2022 年底 ChatGPT 出来后，我对它的理解一直没变，它有四个要素：数据、算力、算法、工程。

算力和数据用钱可以解决，算法和工程靠人才，其中，算法更容易传播，比如 CNN、Transformer 出来后，全世界都会了。

大模型的壁垒不太会是技术，我一开始就不觉得它有什么神秘的。很多人最初担心中国做不出来 ChatGPT，去年，越来越多人有机会和能力从头开始训练一个大模型， 也到了 GPT-3.5 水平。

基于这个判断，就会想做什么事情是长期有壁垒的，长期有壁垒的才能取得商业成功。

《晚点》：工程能力会是一个更长期的壁垒吗？

袁进辉：工程更容易成为壁垒。能维持多久，可以讨论。

《晚点》：我们之前和阿里云 CTO 周靖人和智谱 CEO 张鹏都聊过这个话题。阿里云里有很多工程细节上的积累，智谱最开始训练 GLM 第一版时大概用了两个月，有六个月都在搞工程架构和细节，而且这这些经验不会写到论文里，也不会开源。

袁进辉：这是训练里的工程，做推理也有很多工程。工程之所以更容易形成壁垒，跟它本身的特质有关。

有时，一个越聪明的 idea，越不太容易成为壁垒。因为一个能创造很大价值的绝妙算法或系统设计，往往太显眼，ROI（投资回报率）很高，几乎所有人都必做。

工程则是由很多单点去看 ROI 都非常小的东西垒起来的，需要时间积累。在对这个方向不是志在必得的团队眼里，任何单点提升都不值得做，但不去做这种微小的提升，就不会有积少成多的综合效果。

很多人觉得工程问题只要花时间和资源投入就能做到，但计算 ROI 后，真正去做的人并不多。

《晚点》：很好的总结，可以继续说说 2024 年可能的变化。

袁进辉：首先，应用市场的爆发值得期待，至少国内还没有像 Midjourney、Character.ai 这种基于大模型的很成功的应用。其次，无论基于开源还是闭源，国内会出现接近乃至实现 GPT-4 水平的大模型。

《晚点》：什么样的中国大模型公司能做到 GPT-4 水平？

袁进辉：各方面都不能有短板，但感觉现在任何团队都缺一些东西。

《晚点》：大模型技术上中国还在追赶；大模型应用上，中国市场可能有更惊人的变化吗？

袁进辉：基于可公开访问的模型，我觉得可以孕育出未来的超级 App，不过大概率不是大模型公司。未来的张一鸣、张小龙在哪儿还不知道，在大模型公司里的概率不高，这些公司加起来只有数千人，而且大部分人是搞技术的。

《晚点》：移动互联网时期的超级应用，最后自己做了 AI 的基础软件层，比如字节有一个很大的 AML 团队。下一个张一鸣，当他的应用做得足够大，会不会把你们做的推理框架也覆盖掉？

袁进辉：这种问题一直存在。当应用超级成功时，它就会往下垂直整合 Infra 软件。但应用总数非常多，除了超级应用，还有腰部、长尾应用，它们都需要第三方的 AI 能力。就像云厂商自己搞芯片，但也要买第三方的芯片。

在大模型基础设施范畴内，也有相互覆盖的问题。OpenAI 给所有公司提供大模型能力，那些不以做超级应用为重点的大模型公司也在这层，希望成为大模型基础设施。我们也是大模型基础设施，只是切入点不一样，大模型公司是训练出好的模型，再弥补系统、计算和成本问题，而我们是从推理系统和成本切入。

所以模型和系统是互补品，互补品在经济学上的关系是，如果你在你所在环节里是领先的，与你互补的环节又相对分散，就对你有利。那么是大模型的供应更分散，还是系统更分散？过几年再看。

《晚点》：你现在如何预测大模型各层的分散程度？

袁进辉：芯片领域现在是英伟达一家独大，即使如此，可以预见今年到明年，芯片领域会从非常集中变得更分散，因为大模型的结构更收敛了。

现在大部分场景需要的就是大语言模型，大模型很大程度统一成了 Transformer 结构，总共就几十个算子，芯片公司支持好这些算子就行，在软件生态上不需要克服那么多问题。能把 Transformer 支持好的芯片公司有不少，如 AMD、英特尔和华为。

此外，芯片领域持续一家独大也不太符合行业规律。如果说技术革新创造了两万块的价值，垄断者会把一万八留在自己手里，只让出两千；但如果有新入局者来做，会让出更多价值，对整个行业更有利。

软件层的的进入门槛比芯片低，竞争肯定会更激烈，它虽然不是 winner takes all，但也是二八划分，做得最好的能拿到最多市场回报。

其实在任何一个环节，即使供给相对分散，如果你能保证领先，第一名还是要比其它活得好。

《晚点》：你刚才提到，这次创业不仅奔着成为独角兽的目标。你这次想实现什么？

袁进辉：一个判断是，大模型未来无处不在，我也希望我们的产品无处不在，提供核心系统能力支持，这是商业目标。

个人追求上，过去六七年创业，虽然我们让投资人赚钱了，但那并不是商业上的成功。清华科技园不是有很多大模型公司吗？吃饭、坐电梯时，经常听到周围人讨论技术、行业问题。有一次，我在楼下喜家德吃饭，旁边两个人说：“就像 OneFlow，技术做得挺好的……” 中间说了一堆好话，最后说，“还不是被收购了，没挣到钱。” 当时我很尴尬，赶快把饭吃完。

有时想，我们是不是做了一个不好的范例？技术判断上没问题，也勤勤恳恳、踏踏实实做事了，但仍然没有取得大家认可的成功。很多人都不太相信技术了。这一次我们希望获得所谓世俗的成功，证明我们相信的东西，更多的人看到世俗成功才相信你的理念，才能让这个理念更壮大。

题图来源：烈火战车

·  FIN  ·