端到端模型：当AI开始掌握驾驶艺术

2023年初，大语言模型ChatGPT横空出世，全球陷入通用人工智能狂潮，全球最聪明的脑袋、最滚烫的热钱、最庞大的算力群流向这块热土。

一年过去，科技公司OpenAI的AI魔法再现。视频生成模型Sora无需真实演员、拍摄与场地，只需几个关键词，就能生成电影级画面。

AI展现出惊人的进化速度。

OpenAI的两次成功，让同行探究到其背后的秘诀——Scaling Law法则。Scaling Law是OpenAI 在2020年一篇论文中提出的概念。如同摩尔定律之于芯片行业，Scaling Law指出，通过更多数据量训练、扩大模型规模以及延长训练时间，大模型性能可以持续提升。

简单来说，就是给大模型喂足够多数据，AI会不断认知、学习世界，直到大力出奇迹。

不只OpenAI摸到了窍门。在AI技术与传统制造结合的最大落地场景——智能驾驶领域，也正在出现一个能够颠覆行业过往的大模型架构——端到端模型。

近日，特斯拉就在美国向拥有HW4.0硬件的车主，全量推送了智能驾驶软件FSD v12 Beta版。更新日志上依旧是FSD v12的标志性介绍：FSD Beta v12 将城市街道驾驶功能升级为单个端到端的神经网络，该神经网络由数百万个视频片段训练而成，取代了超过 30 万行的 C++ 代码。

传统自动驾驶模式，翻篇了

在天平倒向特斯拉之前，谷歌旗下子公司Waymo一直是中国智能驾驶公司追捧的对象。

从2009年开始，谷歌旗下自动驾驶公司Waymo不遗余力地探索自动驾驶，希望打造出完全代替人类驾驶的驾驶系统。

Waymo的方案实现，依赖着感知、预测、规划和控制等多个独立模块的相互配合。然而这个方案有着明显的天花板，因为方案基本依赖于工程师们一行行代码制定的规则，来驯化自动驾驶车辆。

但有限的规则，难以应对无限的道路场景。尤其中国城市道路红绿灯千奇百怪，路口复杂且参与者众多，如果自动驾驶车辆行驶到高精地图之外的区域、遇到规则之外的道路障碍物，可能就会束手无策，陷入困境。

如果要解决corner case（长尾场景）、迭代方案，需要工程师人工挨个处理。据国内自动驾驶公司元戎启行统计，“一位工程师一天只能处理10多个案例。”元戎启行CEO周光总结道。

周光是自动驾驶行业最早一批创业者，他深知独立模块方案已经遭遇天花板。“模块化模型之下的车，驾驶动作的‘机械感’很强。” 

天平的另一边，特斯拉选择技术辅助人类驾驶的路线。最早，特斯拉也采用过传统多模块方案，因为感知能力有限，2016年特斯拉曾将道路前方的静止白色货车错认为天空，导致一起致命车祸发生。

但从2021年开始，特斯拉开始重构底层系统代码。2021年AIDAY上，特斯拉就将Transformer大模型技术架构引入了感知领域，使得摄像头的2D图像可以转化为3D图景，也称鸟瞰图 BEV。ChatGPT中的"T"正是指Transformer大模型。

随后，特斯拉持续用AI神经网络重塑规划控制模块，端到端模型方案雏形渐成。端到端的核心是指直接从输入数据到输出结果，但此前因决策过程缺乏可解释性，没有被广泛应用。

但大模型、大数据、大算力的出现，改变了端到端技术方案的命运。

去年，马斯克找Meta创始人扎克伯格“决斗”时，就开着特斯拉FSD。他在直播中表示：“FSD v12是有史以来第一个端到端AI自动驾驶系统。”在他看来，端到端自动驾驶方案是更接近人类驾驶的模式，把感知与驾驶决策都交给了AI。“人类就是这么做的，图像输入，控制输出。”

目前，有超40万用户使用过FSD，但v12版本此前只对部分用户开放。从海外用户评测来看，即便是绿灯通行状态，FSD v12也会等待一群人通过斑马线，再起步进入右转车道；遇到路边停放的消防车时，FSD v12也可以识别并绕行。演进势头良好。

元戎启行CEO周光也表示，端到端模型的精髓在于，用海量数据去训练系统，让AI模型自己找到藏在数据中的驾驶规则。

“依照Open AI已经验证过的Scaling Law的定律，在数据集规模以及计算资源不断增长的情况下，模型的性能将会单调提升。所以我们只需要喂给它大量的人类老司机的驾驶数据，它就能学习到驾驶方法。”周光说道。

国内智驾，将迎端到端模型之战

特斯拉的进展，也受到在大洋彼岸的中国同行的密切关注。端到端也成为行业技术、产业进展的热门词汇，一场端到端的战斗已经山雨欲来。

而此前国内智能驾驶公司基本都追随谷歌Waymo路线，要追上特斯拉并不容易。

端到端方案如何实现？

元戎启行CEO周光认为，端到端并不是一个突然转变，而是一个循序渐进的过程，需要经历传感器前融合、去高精度地图、感知决策控制三个模型一体化等环节。

例如，在过往多模块方案中，高精度地图的一把不可缺少的“拐杖”。“但高精度地图是通过人去标注好道路结构和场景信息，系统根据人的标注去识别道路。这其实就是规则驱动。”周光说道。

而依赖人工规则的方法也决定了，高精度地图无法大规模使用：为了保持地图的更新，车企必须付出高昂的成本。高精度地图的采集制作成本大概在3000元/公里，如果一个城市按一万公里城市道路来计算，建图成本在3000万左右。

搭载端到端模型的智驾系统在路口主动让行后车

就连华为车BU董事长余承东去年也公开表示，高精地图覆盖全国的难度太大，中国道路几乎实时在变动，只有不依赖高精地图的智驾系统，才具备大规模上车使用的价值。

于是2023年，国内智能驾驶公司就开启了一场轰轰烈烈的“去高精地图”运动。一众公司纷纷效仿特斯拉，全面提升感知能力，大力学习基于Transformer的BEV、及Occupancy network（占据栅格）等技术。而升级后的感知算法模块，基本是全新的神经网络架构了。

换句话说，沿着BEV等感知技术方向，继续重构下游的规划控制等模型，智能驾驶公司有机会抵达“疗效更好”的端到端模型。据了解，到今年末，国内头部智驾玩家基本都有端到端方案推出。

但就目前而言，元戎启行是国内最快官宣端到端模型进展的自动驾驶公司。

近日，在英伟达主办的GTC大会上，元戎启行CEO周光表示，公司已经把端到端模型应用于量产车上，该批量产车将于今年上半年投入消费者市场。

同时，元戎启行还与英伟达合作，将于2024年使用英伟达的DRIVE Thor芯片适配公司的端到端智能驾驶大模型。

这得益于元戎启行对前瞻技术的高度关注。察觉到传统多模块方案的弊端后，元戎启行从2023年就推出了不依赖高精地图的智驾路线，让模型感知道路拓扑结构，让预测和规划由规则驱动变成了数据驱动。更早之前，元戎启行也已将多个传感器进行前融合，将感知数据放到一个神经网络里。

是自动驾驶公司，更是AI公司

从2023年8月开始，元戎启行就在深圳的城中村开始了自动驾驶端到端方案的实车测试。

端到端方案展现出的应对能力让内部团队感到惊喜。在路况复杂的城中村狭窄路段，车辆也能流畅行驶。如果遇到前方违停车辆，车辆也能判断前车行驶意图，主动绕开前车。

但端到端模型的落地，也考验着行业玩家的基本素养：大数据、大算力群、以及云端训练的大模型如何落到量产车上？

首先面临的棘手的问题是，如何获得海量的行车数据。特斯拉曾判断，完成一个端到端自动驾驶的训练至少需要1000万个视频案例，才能有不错效果。

周光也认为，1000万段视频数据并非已有数据的线性增加，而是要找到高质量、分布多样的视频数据。这只能依赖量产车型。

他向36氪表示，此前元戎启行已经向车企收集了真实的脱敏行车数据，涵盖场景很全面。但他也承认，模型效果想要更好，需要更多数据。随着元戎启行量产车推入市场，公司会收集到更多数据训练算法。

但将海量的数据喂养给大模型，还需要大量算力。不仅特斯拉，国内的华为、小鹏、理想、蔚来等都在积极扩建智算中心。

周光也表示，公司内部也在构建端到端模型训练所需的 GPU算力群， 包括云计算资源租赁等，大股东阿里也可以提供部分支持。

但云端的大模型训练完毕，还需要经过精简优化，才能下放到量产车上。毕竟，云端的大模型训练使用的参数量巨大，而目前量产车上主流的自动驾驶芯片英伟达 Orin，AI算力为 254 TOPS。

周光表示，元戎启行修剪后的端到端模型，仅用一颗Orin 芯片就可以运行。未来随着英伟达具备1000 TOPS 算力的芯片 Thor落地，元戎启行也会进一步与Thor 适配，端到端模型效果会更高。

当然，周光也认为，端到端模型的未来上限很高，但在车端的有限算力硬件配置阶段，端到端模型的“下限还有点低”。这也是行业普遍担心的地方：端到端模型的过程不可被解释，如何保证驾驶安全？

对此，周光谈到，端到端模型刚开始上车阶段，还是会有很多安全兜底策略。比如预测到碰撞可能发生，系统会启动安全模型，让车采取偏保守的驾驶策略，避免安全事故。“随着我们的模型表现越来越好，我们的兜底策略会越来越简化。”

尽管一些行业人士仍然认为，端到端模型在车端落地的做法相当激进，但在他看来，ChatGPT、Sora等通用AI模型的进步是按周来计算的，行业不能假装没看到。

与36氪的沟通中，周光多次提到了“Tech Vision”的重要性。“这是AI公司的命脉，核心是要对技术有准确的预判，以及具备终局思维。耗费精力去做一些过分雕花的事情，其实没有解决用户真正的痛点。”

周光提及，未来智能驾驶的定位不仅仅是在汽车产业链，而是在整个AI产业。“端到端模型是一把钥匙，而且我认为是最优的钥匙去打开物理世界通用人工智能的大门。”

在AI技术快速向智能汽车、机器人以及更大的制造业渗透时，元戎启行也将自己定义为AI公司。元戎启行希望，公司既能够打造一套高性能的智能驾驶系统，又能创造一套物理世界通用的人工智能系统。

AI技术的每一次突破都像是巨轮驶入未知的海域。而置身其中的公司能做的，就是保持警惕、奋力向前。