Bendi新闻
>
商汤甩出大模型豪华全家桶!秀拳皇暴打GPT-4,首晒“文生视频”,WPS小米现场助阵

商汤甩出大模型豪华全家桶!秀拳皇暴打GPT-4,首晒“文生视频”,WPS小米现场助阵

“大模型+大算力”双轮驱动,运营算力达12000P。
作者 |  ZeR0
编辑 |  漠影
智东西4月23日报道,今日,商汤科技全新升级“日日新SenseNova 5.0”大模型体系,综合能力全面对标GPT-4 Turbo

同时,商汤在业界首次推出“云、边、端”全栈大模型产品矩阵,包括商汤端侧大模型、端云协同解决方案以及面向金融、代码、医疗、政务等领域的边缘产品“商汤企业级大模型一体机”。
“日日新SenseNova 5.0”采用混合专家架构,基于超过10TB tokens训练、覆盖大量合成数据,推理时上下文窗口可支持200K,主要增强了知识、数学、推理、代码能力,在主流客观评测上达到或超越GPT-4 Turbo性能。

现场演示了“日日新5.0”与GPT-4多项功能对比,包括创意写作、逻辑推理、文生图、图像理解、根据图片计算食物热量等。
为了秀端侧大模型的肌肉,商汤科技还“玩”起拳皇。一开始绿衣玩家GPT-4略占上风,但很快就被红衣玩家SenseChat-lite各种连招打得反应不过来,最终红方取胜。

商汤董事长兼CEO徐立说,不是模型能力有多强,是在不同的适用场景下,小模型的决策速度快,当大模型还在计算,小模型已经完成了判断并出拳,不管它的拳是不是最优的,都实实在在地打到了对手的身上。
其端侧大模型实现业内最快推理速度,旗舰平台最高达109.5字/秒,而人眼最快阅读速度仅为20字/秒,现场演示的处理对话、图像处理速度快过云端。商汤还正式发布端侧业务SDK,可适配多款高通骁龙、联发科天玑芯片。

企业级大模型一体机支持千亿模型加速和知识检索硬件加速,相比行业同类产品,千亿大模型推理成本可节约80%。小浣熊·代码大模型一体机轻量版每台售价35万元起,单台支持100人团队使用,每日使用成本低至每人4.5元

同时,商汤发布了基于昇腾原生的行业大模型,与华为共同打造面向金融、医疗、政务、代码等大模型产业生态。

在自身应用方面,商汤“日日新SenseNova 5.0”在秒画、如影、格物、琼宇、大医、小浣熊家族等产品均有重要更新。
还有One More Thing——文生视频生成平台,徐立带来了三段完全由大模型生成的视频,并着重强调对人物、动作、场景的可控性。

未来,通过输入一段文字描述即可生成一段视频,而且人物的服饰、发型、场景都能根据预先设定,保持视频内容的连贯性和一致性。
金山办公CEO章庆元、海通证券副总经理兼首席信息官毛宇星、小米集团小爱总经理王刚、阅文集团筑梦岛总经理葛文兵均来到现场,分别作为办公、金融、出行、IP角色等行业的代表进行分享。几位客户代表的发言都很有料,或连爆金句,或干货频出,对行业发展很有参考性。

01.
文科数理能力均显著提升,
全面对标GPT-4 Turbo


商汤董事长兼CEO徐立首先提到Scaling Law尺度定律,即随着模型参数变大、数据量变大、训练时长加长,算法性能会越来越好。
还有两条隐藏假设,一是可预测性,在小尺度上做很多实验,跨越5~7个数量级尺度依然保持性能的准确预测;二是保序性,在小尺度上验证的性能优劣,在大尺度上依然保持着优劣。
这可以指导在有限的研发资源上找到最优模型架构和数据配方,让大模型能最高效地学习。

基于实验结果,小模型在优化数据的情况下,性能可逼近甚至超越跨数据级的大模型。
“商汤在尺度定律的指导下,会持续探索大模型能力的KRE三层架构(知识-推理-执行),不断突破大模型能力边界。”徐立说。

为了解决数据集质量的瓶颈,日日新5.0训练用到10T+ tokens的中英文预训练数据,进行了精细设计的清洗处理,形成高质量基础数据。
此外,合成思维链数据,是激活大模型的强理解推理能力的关键。商汤在预训练过程中大规模采用数千亿tokens量级的逻辑型合成数据
“日日新5.0”在中文理解、知识储备、数理逻辑、代码编程等方面的能力明显提升,在主流客观评测上达到或超越GPT-4 Turbo

在文科能力方面,“日日新5.0”的创意写作、推理、总结能力均大幅优化,相同的中文知识注入后,可获得更好的理解总结及问答。
基于大量中文语料的构建,在开放式写作,比如让它写2022年基于《红楼梦》给匾额题名来探讨创新的高考作文,可以看到GPT-4写作风格比较生硬,“在学习上……在工作中,……”;“日日新5.0”则写得更加发散,从诗经楚辞到文化革古鼎新,再到互联网新知识的融合。

在理科能力方面,“日日新5.0”的数理、代码及推理能力达到业内领先水平。
商汤展示了一个数学题示例:妈妈给圆圆冲了一杯咖啡,圆圆喝了半杯后,加满水,她又喝了半杯后,再加满水,最后全部喝完,问圆圆总共喝掉多少咖啡和水。如果理解成总共加了两次半杯水即一杯水,那么答案是一杯咖啡一杯水。如果从每次喝掉多少水来算,计算则比较复杂。

“日日新5.0”理解完后,得出跟刚才解读一致的答案。而GPT-4把事情搞复杂了,得出的答案是喝了19/20杯咖啡和1+4/5杯水。
还有一个简单的逻辑情景题,13个小朋友玩老鹰抓小鸡,抓了5只小鸡,问还剩几只。GPT-4不理解老鹰抓小鸡游戏中有1人要当老鹰,给出的答案是8只。“日日新5.0”则给出正确答案。
在多模态能力方面,其在多模态大模型权威综合基准测试MMBench中综合得分排名首位,在多个知名多模态榜单中取得领先成绩。

商汤将“日日新5.0”的文生图能力与几个业界最好的模型做直观对比。

徐立说,文生图的一个难点是如何将真正的理解与合成放在一起。其他主流文生图模型对于文字嵌入到图像中都有一定缺失,日日新5.0则能表现得非常好,有比较完整的指令跟随生成效果。
在应用产品层面,“日日新5.0”支持高清长图的解析和理解以及文生图交互式生成,还可以实现复杂的跨文档知识抽取及总结问答展示
长图上会有很多信息点,但推到多模态窗口中,往往图像分辨率过高,上传不了。对此,商汤给出了非常大的分辨率接口,支持用户对长图等级性提问,包括描述图片细节、总结标题内容等。

再比如打车应用界面截图,它可以识别捕捉到其中的时间、车辆距离、文字提示、车辆信息、功能按钮、推广活动等核心信息。

它也可以化身卡路里助手,拍一张早餐照,让它算算一共多少热量。

相比GPT-4,日日新5.0在理解中式餐饮内容中表现更好。
小浣熊家族是基于商汤大语言模型打造的AI原生生产力系列工具,覆盖软件开发、数据分析、编程教育等多个场景,旨在提升工作效率,已推出代码小浣熊、办公小浣熊等成员。输入商汤小浣熊网页截图,“日日新5.0”可以进行详细描述。

再让它根据前两个小浣熊,来生成一张新的小浣熊形象,它会先解释自己的设计思路,然后生成对应形象。而对GPT-4进行完全相同的输入,GPT-4生出的形象毫不相关,并没有将前两个小浣熊形象融入到它的设计理念中。

通过用户的自然语言输入,办公小浣熊可自动将数据转化为有意义的分析和可视化结果。比如导入数据库文件,数据库里只有英文名,而用户输入查找的是中文名,第一波输入后没查到,接着告诉办公小浣熊“肯定有的 你再找找”,它就会进行思考,再度检查和筛选,找出模糊匹配的信息。

它还可以检查数据库中多个表格的交叉信息来汇总计算,并生成直观的可视化图表乃至雷达图。


02.
端侧模型跨级领先,
端云协同方案大降推理成本


天下武功,唯快不破。
商汤推出SenseChat-Lite版本端侧⼤模型,可落地手机、平板、VR眼镜、智能汽车等端侧。
商汤日日新·端侧大语言模型的推理速度更快,首次加载低于0.4秒,解码⼤于30tokens/秒,号称“同等尺度性能最优,跨级尺度全面领先”。

人眼最快阅读速度为20字/秒,而该模型在中端平台实现18.3字/秒的平均生成速度,旗舰平台更是达到78.3字/秒,最高能达到109.5字/秒

商汤通过SDK形式为终端用户提供量化部署工具链,数据处理均在终端设备上完成,有效保障⽤户隐私安全。
商汤还推出端云协同解决方案,进行高性能计算,处理复杂的任务。

该方案支持在不同的设备和平台上运行,使得模型可以在各种终端上进行部署和应用,同时实现在离线状态下仍能保障服务和应用。
其端云协同⽅案性能指标上,在综合考试、语言、知识考试、推理等17个测试集下,平均性能接近云侧,但80%的推理将在端侧处理,因此节省了大量云侧推理成本,模型能够及时适应变化的环境和需求,保持高性能和准确性。
现场演示了端侧离线运行商量平台,比如写请假申请、将长篇大论总结成一句话。基本上眼睛还没看清,模型已经生成出答案。

其端侧扩散模型同样实现了业内最快推理速度。

1B模型支持在高通、联发科高端平台上端侧离线运行,端侧LDM-AI扩图技术在主流平台上推理速度不到1.5秒,比友商云端app快了10倍,可在数秒内生成1200万像素及以上的高清大图,并支持在端侧快速进行等比例扩图、非等比例扩图、旋转填充扩图等多种图像编辑功能。

端侧智能体也很方便,能够自动执行一连串复杂指令,比如打开邮箱-查看邮件-把邮件移动到指定文件夹-打开微信-进入指定微信群聊-在群公告中发布指定内容。

商汤宣布端侧业务SDK正式发布,适配多种主流高通骁龙、联发科天玑芯片,支持XR、PC、车载、安卓/iOS移动全平台。

03.
发布企业级大模型一体机,
大模型推理成本可节约80%


面向边缘侧,商汤面向金融、医疗、政务、代码四个行业推出商汤企业级大模型一体机
一体机同时支持千亿模型加速和知识检索硬件加速,实现本地化部署,即买即用,相比行业同类产品,千亿大模型推理成本可节约80%;检索大大加速,CPU工作负载减少50%,端到端延迟减少1.5秒

金融大模型一体机采用国产双路主控CPU及四颗智算加速卡,单机能够满足30人同时使用,支持万量级的金融文档管理和检索,在万级文档知识库规模下检索准确率超过90%,满足金融部门的精准检索要求。

医疗大模型一体机是软硬一体私有化医疗大模型解决方案,针对智能问诊、导诊、病历结构化、影像报告解读等场景,支持智能调整回复内容的语言风格、详略程度、格式要求等,一键自定义专属医疗场景,实现小成本高精度的医疗大模型部署。

政务大模型一体机是面向政务咨询场景的边缘大模型产品,采用国产双路主控CPU及四颗智算加速卡,支持万量级的政策文档管理和检索,面向有政务咨询需求的部门单位, 辅助更高效地处理与法律法规、政策标准相关的咨询和决策任务。

小浣熊·代码大模型一体机轻量版是面向软件开发的边缘大模型产品,是一套安全可靠、开箱即用、高性价比的企业软件研发软硬件一体化解决方案,能够帮助开发人员更高效地编写、理解和维护代码,提高软件开发的效率和质量。

其在HumanEval的测试通过率高达75.6%,超过GPT-4的74.4%,能够支持90多种变成语言和8K上下文,单机可满足100人团队应用需求。小浣熊·代码大模型一体机轻量版每台售价35万元起,每日使用成本低至每人4.5元

相较于传统的云服务模式,这些一体机的所有数据处理过程均在客户的私有环境内完成,能够有效避免数据在传输过程中的泄露风险,及跨境传输等引发的合规问题。

04.
四大客户晒落地成果,
金融大模型、拟人大模型发布


金山办公CEO章庆元、海通证券副总经理兼首席信息官毛宇星、小米集团小爱总经理王刚、阅文集团筑梦岛总经理葛文兵均在现场分享了与商汤的合作进展,以及一些最新行业观察与见解。
金山办公CEO章庆元说,金山办公从去年下半年开始一直在跟商汤合作。大约四年前,金山办公就将AI定位为其产品核心战略之一,当时还没有大模型;金山办公一年陆续上线20多个AI功能,包括内容创作、智慧助理、知识洞察等。
两周前,金山办公发布WPS AI企业版,包括AI Hub智能基座、AI Docs智能文档库、Copilot Pro企业智慧助理。他分享说,企业关心的内容与C端应用完全不一样,所以他们做了整合。未来金山办公希望在Copilot方向有所突破。

“我始终认为,如果AI只会吟诗作画,其实AI是不可能改变世界,不可能颠覆世界。”章庆元说,AI要改变世界,真正提高生产力,不一定要多写代码,AI一定能够做一个真正的Copilot,因为它只有调取各种API,才能对企业生产力甚至对世界和社会产生巨大的影响
金山办公去年开始与商汤合作探索Copilot,4月发布WPS AI企业版Copilot Pro企业智慧助理,就是基于商汤日日新模型。其低代码功能也接入了商汤模型,通过对话形式来生成各种自己的办公自动化应用。他谈到金山办公测试过全球的Copilot,包括GPT-4,之所以选择跟商汤合作,是因为商汤在金山办公的应用场景中准确度还是非常高的。
章庆元认为理科能力比文科能力难,因为涉及思维链推理,“文科说实话,有时候文章写出来,听君一席话,胜似一席话,总是没错的。”
海通证券是中国境内唯一一家至今仍在运营并且未更名、未被政府注资且未被收购重组过的大型证券公司,正在构建AI应用生态。海通证券副总经理兼首席信息官毛宇星分享说,海通证券与商汤科技做的最新是在生成服务上,重点分享了智能问答、智能研发、智能研报三个运营场景。

现场,商汤科技与海通证券联合发布金融行业多模态全栈式大模型,双方在智能客服、合规风控、代码辅助、办公助手等领域助推业务落地,并共研智能投顾、舆情监控等行业前沿场景,打通证券行业大模型落地的全栈式能力。
在个人出行场景,小米汽车SU7的智能车舱中应用了商汤的大模型技术,基于商汤端云大模型解决方案。小米集团小爱总经理王刚说,小米人工智能助手小爱同学已经落地到小米最新发布的汽车、手机、AIoT和机器人中,这是一个软硬件深度结合的产品,要做到全场景体验一致。小爱同学不止有语音助手,还提供小爱建议、小爱视觉、小爱翻译、小爱通话等智能服务。
小爱大模型已在多设备落地,8月份在手机上开启内测,目前有900万大模型用户。王刚说,车上大模型和手机大模型的体验设计差别很大,需要对大模型进行相应的适配调教,才能适用于汽车任务。有大模型后,月活跃用户次日留存提升了10%,中长尾Query满足率也提升至80%
大模型技术给小爱带来了三个方面的跨越式升级:一是通用对话,二是垂直领域AI,三是NLP任务。具体而言,整个技术架构可以简化成如下图所示,基本分为4类问题,第一类偏工具类,第二类篇偏内容类,这两类相对简单,都是背后的一些执行类操作;第三类偏创作类,之前没有大模型是做不到的;第四类需要更大参数规模的大模型去回答,因为对知识的准确率要求极高。

如何选择大模型?王刚认为,首先要建设满足业务需求的评测体系,然后选择合适的模型(大小、擅长领域、性能),并针对业务场景将模型进行优化(Prompt优化、微调、预训练)。
在大模型综合能力评测方面,他关注的重要指标是效果指标性能指标。效果指标会拆解成不同维度,综合对比不同模型产生效果的差异,然后针对不同类别去构造一个混合系统,挑选最好的大模型。“现在我们在非常多的场景上使用了商汤的大模型。”王刚说。
在过去的合作过程中,他感受到商汤大模型有三个典型特点:

第一,模型性能好,速度快。当用户说完话,他们希望1.4秒内完成所有处理步骤,让用户听到相应的回复;但1.4秒对于大模型能力来说太苛刻了,现在要求放宽到了2秒内,王刚称能满足这一响应速度的大模型在行业内其实并不多。
第二,模型效果好,具备检索能力,可以引用高质量信息来源。
第三,模型能力强,支持知识注入、指令追随,包括能对生成内容要有一定约束和引导,支持快速对模型进行微调。在他看来,让大模型输出一个稳定的结果很不容易,大模型在实际产品场景中落地,通用基座能力要比较强大,更重要的是持续针对业务场景要求的大模型适配能力。
最后,他总结了小爱同学的未来规划,一是基于大模型进行技术升级,二是用多模态创造全新产品体验,三是和操作系统深度整合,四是端侧大模型在无网环境下提供较好的体验。
王刚还分享了一个小故事。今年1月,他所在的团队要向小米创始人、董事长、CEO雷军概括小米汽车大模型的效果,当时演示完后就被批了,团队压力很大,为达要求,希望一周完成四五个需求的优化,并达到比较好的效果。结果商汤团队在两三天内就把所有需求做完了。一周后,他们再去给雷军演示,整个效果已经非常不错。
谈到大模型推理成本,王刚说,他们最开始接入大模型时,大模性还非常贵,当时算下来一台手机一个生命周期内使用大模型的成本约20元,这是手机硬件部门接受不了的。
过去他们分析,要覆盖这部分成本,可能有3种途径,一是硬件愿意出钱,二是可商业化、互联网变现,三是用户付费。这三条路他们都尝试走了,也得益于大模型的进步,成本下降非常快,现在终端机和高端机上的硬件可以出一定费用来覆盖模型成本,大约只有原来20元的1/4~1/5中高端手机和汽车对大模型成本已经不敏感了,手机端有机会通过接下来的内容分发、服务分发、变现去覆盖大模型成本,但如何把大模型部署到智能音箱仍难度较大
阅文集团筑梦岛总经理葛文兵说,能够真正满足内心需求的产品存在市场空白,筑梦岛拥有广泛的角色阵容和雄厚的IP储备,随着用户对AI角色质量苛刻程度逐级提升,其中网文角色难度最大,因此筑梦岛选择与商汤合作。

商汤拟人大模型支持个性化角色创建与定制、知识库构建、长对话记忆、多人群聊等功能,可实现角色、人设及剧情推动能力,能做到人设贴合,可设置不同档位的对话亲密度,驱动各类原创及IP角色上线多个平台。
体验地址:https://character.sensetime.com/

05.
结语:“大模型+大算力”双轮驱动,
运营算力规模达12000P


基于“大模型+大算力”双轮驱动战略布局,商汤科技打造“日日新SenseNova”大模型体系和“SenseCore商汤大装置”,在推动自身大模型研发的同时,也为行业伙伴提供大模型训练、微调、部署和各类生成式AI的能力及服务。
SenseCore商汤大装置是商汤科技前瞻打造的高效率、低成本、规模化的新一代AI基础设施,目前实现了全国联网的统一调度,在上海、深圳、广州、福州、济南、重庆等地均有计算节点。
通过算法设计与算力设施联合优化,目前商汤大装置已实现万卡集群互联,运营算力有12000P;GPU超4万块;峰值算力有12000P,预计到今年年底达到18000P;国产化算力2000P,已完成58款国产芯片的适配与应用。
基于SenseCore商汤大装置,商汤新推出的“模型即服务”商业模式使客户能够轻松地在大装置微调和调用各类生成式AI能力。
日日新大模型体系在自然语言处理、视频生成和深度学习优化等多个方面取得创新,提供自然语言处理、图片生成、自动化数据标注、自定义模型训练等多种大模型及能力。
基于该大模型体系,商汤自研了中文语言大模型应用平台,以及包括AI文生图创作、2D/3D数字人生成、大场景/小物体生成等一系列生成式AI模型及应用,并面向政企客户提供多种灵活的API接口和服务。
在探索先进大模型技术的同时,商汤科技也在推动大模型与产业、应用场景更好的结合,帮助更多行业低门槛、高效落地部署AI大模型技术。

(本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容,未经账号授权,禁止随意转载。)



微信扫码关注该文公众号作者

来源:智东西

相关新闻

GPT-4现场被端侧小模型“暴打”,商汤日日新5.0:全面对标GPT-4 Turbo性能超越 GPT-4 Turbo!「商汤日日新」大升级,国产大模型超市开张了AI早知道|商汤科技发布“日日新5o”;支付宝发布国内首批多模态医疗大模型理想智能驾驶围绕「端到端」变阵,加速AI大模型上车|36氪独家波士顿春节联欢会:“华夏之春”,豪华阵容抢先看!商汤进入2.0时代:“日日新”大模型驱动生成式AI业务收入率先突破10亿端侧 AI 新篇章!商汤科技发布「速度最快」的端侧模型中国驻新加坡大使助阵第九届“工行杯”中企协篮球赛,见证巅峰对决!「摄影超次元乱斗3.0」模特席位再增实力嘉宾助阵!法国2月起实施这些新规!农民大军要“挺进巴黎”,警方装甲车对阵拖拉机,多人被捕!2023年大多数犯罪都在增加50万大军3000辆坦克2000架战机!解放军豪华阵容,24小时打垮台军榜单首发!三大阵营/TOP10供应商「领跑」汽车网络安全赛道首发!L2及以上智驾搭载率逼近50%!比亚迪/理想「领跑」新旧阵营4家国产芯片领衔,商汤亿咖通在列!智能汽车算力峰会嘉宾阵容大更新,全面拆解算力变局万亿城市大“变阵”,谁是格局挑战者?港股暴涨!进入技术性牛市!5天涨超80%!股价创3个月新高,商汤AI大模型瞩目!中概股跑赢大盘,市场回暖了?超强阵容集结!小红书大模型论文分享会来了,四大国际顶会作者强势来袭新一季「跑男」8大常驻阵容流出…不见Angelababy【倒计时2周】4大院士领衔,60+嘉宾阵容!合成领域的学术盛宴,就在 2024(第二届)合成生物学与生物医学健康大会!赌王之子”何猷君拿下一个IPO!奚梦瑶助阵61岁“倪阿姨”刷屏!将与孙颖莎对阵首创国内家用1450nm点阵激光美容仪,「易科美」母公司获千万级Pre-A轮融资|36氪首发“死亡列车”越境高峰将临!德州发放胡椒弹严阵以待36氪冯大刚X商汤科技徐立:中国有「百模大战」不一定是坏事,市场会验证产品和技术丨WAVES新浪潮2024
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。