大模型应用成本卷到了千元级！云天励飞发布“深目”AI 模盒：搭载自研芯片，单手可托起

3 月 28 日，云天励飞举办 AI 大模型产品发布会，正式发布“深目”AI 模盒。该产品能够做到“3 个 90%”——覆盖场景超过 90%、算法精度超过 90%，使用成本降低 90%，解决大模型在场景落地最后一公里的问题，帮助更多中小企业客户轻松使用大模型。

会上，云天励飞还与鹏城实验室、之江实验室、中国电子、华为、华润数科等单位成立“深目 2.0”生态联盟，共同探索更多大模型落地应用路径。

值得一提的是，云天励飞还宣布“云天天书 -2.0-68B”版本免费向合作伙伴开放；即日起预订“深目”AI 模盒，即有机会获得邀约测试的机会。

从 ChatGPT 到 Sora，从文生文、文生图像到文生视频，大模型发展日新月异，持续给行业带来惊喜，不仅国内掀起“百模大战”，国外科技巨头也在大模型上争相“亮剑”。大模型的能力在不断进化，引发新一轮的 AI 变革。

云天励飞董事长兼 CEO 陈宁博士在发布会上提到：未来 3 年，全球 80% 的企业都将使用大模型。但是，要训练专属大模型，不仅需要大算力、大数据，还需要大量顶尖人才。大模型一次训练成本在千万级，主流的训推一体机价格普遍在百万元，绝大多数企业都无法承担这样高昂的成本。

为了能够让大模型“平民化”，成为人人都可用的产品，云天励飞推出了“深目”AI 模盒。

这款产品售价在千元级，用单手就能托起，搭载了云天励飞的自研大模型边缘训推芯片 DeepEdge10 Max 以及自研多模态大模型“云天天书”，具备算法边缘侧在线学习能力，可实现算法场景覆盖超过 90%、算法精度超过 90%，使用成本降低 90%，让人人都能够根据自身场景需求，利用大模型能力，训练出可实战应用的算法，让大模型唾手可得。

那么，云飞励天推出“深目”模盒的初心是什么，要解决什么问题？InfoQ 采访了云天励飞创始团队成员，了解了“深目”背后的故事。

云天励飞董事长兼 CEO 陈宁博士表示：“如今，如人脸识别、智能推荐、车牌识别等这些头部算法客观来讲已经有很多企业给出了比较完善的解决方案，但除了这些头部的算法还有大量长尾的、低频的场景和算法并没很好的解决掉，它们才是真正地制约了人工智能在千行百业、在各场景的落地。这些低频的长尾算法虽然出现频率低，但在大模型爆发之前，很多 AI 创企解决这些长尾算法需要投入的成本和周期是巨大的，而肯为此买单的客户寥寥无几，这也给 AI 在很多场景中的商业闭环带来巨大挑战。”

而大语言模型爆发后，这种情况得到了改善。市场上更多参与者开始认识到，融合了多个自然语言处理和视觉能力的大模型，可以作为一个坚实的底座去高性价比地解决各类长尾算法问题。

所以在去年，云飞励天将多模态大模型与自研芯片进行深度融合，推出了算法芯片化驱动的边缘设备，能够以更低的成本、统一的一套技术平台解决多类细分场景最后精度不够、成本太高、训练周期太长，需要的数据量太大等等一系列痛点问题，去推动 AI 真正能够在更多的场景、更多的行业形成价值闭环，最后能够去落地。

虽然应用成本更低，但“深目”AI 模盒在性能上没有打折。“能够实现 3 个 90%，离不开云天励飞的核心能力——算法芯片化。”陈宁博士说。

“深目”AI 模盒的算力基础，来源于去年云天励飞推出的 14nm Chiplet 大模型训推芯片 DeepEdge10 Max。该芯片采用自主可控的国产工艺，内含国产 RISC-V 核，支持大模型训练推理部署。依托自研芯片 DeepEdge10 Max 创新的 D2D chiplet 架构打造的 X5000 推理卡，已适配并可承载 10 亿级 SAM、百亿级 Llama2 等大模型运算，可广泛应用于 AIoT 边缘视频、移动机器人等场景。

“深目”AI 模盒的大模型能力，来源于云天励飞自主研发的多模态大模型“云天天书”。云天天书大模型包含语言大模型、多模态大模型等不同系列，在 C-Eval、CMMLU 等权威测试中多次获得第一，并于去年正式通过中央网信办备案。云天天书 1.0 版本于 2023 年初正式推出，至今已完成 3 个版本的迭代，预计今年 6 月将迭代 4.0 V 版本。

以云天天书为底座，云天励飞能够与生态合作伙伴完成预训练场景算法，再将预训练算法提供给广大中小企业用户，中小企业客户可根据自身场景需求，在边缘端完成算法微调。由于大模型具备泛化和学习的能力，客户部署算法后，大模型还能够不断根据现实应用场景情况，在线学习、优化算法，不断提升算法精度。

“深目”AI 模盒不仅仅是“压缩”了大模型和芯片能力的一款全新产品，更是把云天励飞大模型通过算法芯片化能力平台“硬件化”的一次重要尝试。把复杂的技术通过简单的产品提供给用户，让用户可以零学习成本，快速训练出自己需要的算法。

“深目”AI 模盒背后蕴藏了复杂的技术，但对于用户而言，他们只需要关心产品到底怎么用、好不好用。发布现场，云天励飞副总裁罗忆用实际场景演示了“深目”AI 模盒是如何在数据少、无数据等极端情况下，快速完成算法训练。

在算法使用初期，只有少量数据，用户如何才能快速训练高精度算法？

以店外经营为例，这是城市治理中最常见的问题之一。当用户需要训练识别算法时，可以直接使用平台现成的算法对目标进行识别。用户只需要对识别结果标记“正确”和“误报”，算法精度就能通过自学习快速提升。通过这样的过程，算法精度通过一次训练就能得到显著提升，经过１周迭代后算法精度可超过 90％。

罗忆介绍，云天励飞为客户提供的算法训练平台上，有大量与生态合作伙伴共同打造的算法商城，能够提供覆盖 14 个大类、100+ 个小类、千余种算法，用户可以直接调用预训练算法，并上传自身场景图片完成算法的微调和升级，快速训练出高精度算法。

天灾人祸等极端场景识别训练的数据几乎空白，面对这样“无数据”的情况，用户该如何训练算法？

以加油站场景的吸烟识别为例，这类行为的数据极难获取，因为这类危险行为往往伴随着成不可挽回的后果。而平台能够利用大模型能力，以加油站为背景，生成在该环境抽烟行为的人物，并将数据用于算法训练中，填补训练数据的空白。

使用 AI 合成数据来训练算法，不仅能够填补数据空白，还能够规避隐私安全等问题，已经逐渐成为大模型时代下训练新算法和提升算法精度的一条重要路径。

现场以“购物中心提袋识别”为例，演示了如何利用大模型泛化能力，解决识别对象标准不统一带来的算法训练难题。

大型购物中心一般没有统一的结算中心，购物中心难以掌握逛街顾客是否消费，也难以评估营销活动对实际消费转化的效果。而顾客是否提购物袋，是大型商场判断顾客是否消费的重要标准之一。但是，各品牌购物袋的大小、颜色均不统一；而且难以与顾客的背包区分，算法难以精准识别。

但在云天励飞的算法训练平台上，借助场景自适应能力，能够实现“千店千袋”的识别。首先，用户需要调用“拎手提袋识别”算法，识别所有的手提袋，再基于识别结果进行特定手提袋的识别训练，从而衍生出特定手提袋的识别算法，最后即可实现专用门店手提袋的精准识别。

从 2014 年成立至今，云天励飞一直坚持将 AI 技术与物理世界相结合，这也是云天励飞从成立之初自研芯片的重要原因。芯片是 AI 与物理世界的连接器，AI 通过芯片为实体赋能，物理世界的数据又通过芯片反哺 AI，推动 AI 进步发展。

“AI 商业化发展有三个阶段：AI 方案化、AI 运营化、AI 产品化。”陈宁博士在发布会现场说道。在 AI 方案化阶段，AI 企业主要通过项目制满足不同垂直领域客户需求。在打磨行业标杆项目的过程中，AI 企业不断积累行业认知和数据，AI 技术实力不断增强，并形成具备越来越强的泛化能力 AI 平台，企业也得以开启 AI 运营业务。而最终，所有的技术都需要通过物理实体赋能，因此 AI 最终必须走向产品化。

云天励飞业务发展路径也沿着这条路径展开。在 AI 方案化方面，云天励飞在警务、城市治理、智慧交通、人居生活等领域打造诸多标杆项目，并且在低空经济、智慧教育等创新领域持续展开探索。基于在大量行业的落地经验，云天励飞已形成数据运营、新能源运营平台，走向 AI 运营化。如今，云天励飞还逐步走向 AI 产品化。去年，云天励飞与华为昇腾联合推出天舟大模型训推一体机；如今又推出面向边缘训推场景的“深目”AI 模盒。此外，云天励飞还通过资本纽带，进军智能穿戴和机器人等硬件领域，形成日益完善的大模型产品体系。

从 AI 方案化、AI 运营化再到 AI 产品化，云天励飞一直在致力于做物理世界的“解码者”，通过算法芯片化的能力，为“无形”的技术和“有形”的世界构建通道，让 AI 不仅仅是一个在虚拟世界的工具，而是转化为物理世界的生产力。

点击底部阅读原文访问 InfoQ 官网，获取更多精彩内容！