Bendi新闻
>
大模型的“瘦身”革命:巨头逐鹿轻量化大模型 | 大模型一周大事

大模型的“瘦身”革命:巨头逐鹿轻量化大模型 | 大模型一周大事

7月前
大模型的快节奏发展,让了解最新技术动态、积极主动学习成为每一位从业者的必修课。InfoQ 研究中心期望通过每周更新大模型行业最新动态,为广大读者提供全面的行业回顾和要点分析。现在,让我们回顾过去一周的大模型重大事件吧。
一、重点发现

本周,轻量化和设备端集成成为行业的热点。微软的 Phi-3 系列小模型和苹果的 OpenELM 系列端侧小模型的发布,展现了 AI 应用向移动设备端迁移的趋势。这也预示着未来智能手机和笔记本电脑等设备将能够处理以往只能在云端或高性能服务器上执行的复杂任务,极大地扩展了端侧 AI 的潜力和应用范围。此外,长文本处理能力的竞争再次增大。Kimi 发布之后,商汤和浪潮分别升级自身模型的长文本能力并展开第二波围剿。

二、具体内容
大模型持续更新

4 月 23 日,微软推出了 Phi-3 系列小模型,并发布了其技术报告。值得注意的是,Phi-3-mini 型号,仅拥有 3.8 亿参数,已在众多性能评估标准上超越了 Llama 3 模型。为了促进开源社区的发展,微软特别设计了与 Llama 系列相兼容的模型架构。

4 月 23 日,商汤科技最近宣布推出了其最新的大模型——日日新 SenseNova 5.0 大模型,该模型采用了混合专家(MoE)架构。SenseNova 5.0 在超过 10TB tokens 的数据集上进行了训练,上下文推理长度达到了 200k。

4 月 25 日,浪潮海岳大模型 2.0 正式发布。在长文本、长图文、长语音处理方面能力进行升级。

开源领域

4 月 22 日,苹果公司开源了 OpenELM 系列小模型,涵盖 2.7 亿、4.5 亿、11 亿和 30 亿四种参数规模。这些模型能在个人设备上运行,包含从 2.7 亿到 30 亿参数的不同版本,旨在推动设备端 AI 应用。

4 月 25 日,Snowflake 推出了名为 Arctic 的开源大型语言模型(LLM)。Arctic 模型采用独特的 Dense-MoE 混合 transformer 架构,以低成本实现较高企业智能水平。此外,Arctic 的上下文窗口初始设置为 4K,团队正在研发支持无限序列生成的技术,未来将扩展到 32K。

多模态领域

4 月 22 日,腾讯 Robotics X 和腾讯 AI Lab 提出了多模态 AI 大模型 SEED-X。该模型是对之前 SEED-LLaMA 的升级版,能够理解任意尺寸和比例的图像,并包含多模态预训练和指令调整两个阶段,使用大规模多模态数据集增强模型的适应性和灵活性。在定量和定性实验评估中展现了卓越的性能,尤其在公共基准测试和现实世界应用场景中表现突出。

4 月 22 日,西湖大学、浙江大学的研究团队发布多模态大型语言模型(MLLM)——Cobra。它利用 Mamba 语言模型并融合视觉编码器,以线性计算复杂度提供高效的推理性能。在多个基准测试中,Cobra 展现了与参数更大型模型相媲美的性能,尤其是理解和处理视觉信息方面。

4 月 25 日,北京大学 Yuangroup 开源的 open-sora 更新升级。新增功能包括支持长达 16 秒的视频生成,最高 720p 的分辨率,并且能够处理不同宽高比的文本到图像、文本到视频、图像到视频、视频到视频以及无限长视频的生成需求。

科研领域

4 月 22 日,美国 AI 蛋白质设计公司 Profluence 推出了世界上首个开源的 AI 生成的基因编辑器 OpenCRISPR-1。成功实现了对人类基因组的精确编辑。该技术基于与 ChatGPT 相同的方法,通过分析大量生物数据,生成了数百万种自然界中不存在的 CRISPR 类蛋白质,扩展了 CRISPR 家族的多样性。

应用探索
新产品新应用 / 功能

4 月 20 日,文生图服务平台 Leonardo.ai 引入了新的图片样式引导功能。该功能允许用户上传个性化图片以生成更为精确和多样化的图像成果。该功能类似于用户友好的视觉微调工具,使得用户能够根据自己的需求定制连贯的连环画作或保持视觉一致性的宣传海报。

4 月 22 日,腾讯公司宣布其协作 SaaS 产品线全面整合了腾讯混元大模型。这包括了企业微信、腾讯会议、腾讯文档等核心产品,以及腾讯乐享、腾讯电子签、腾讯问卷和腾讯云 AI 代码助手等其他工具。

4 月 25 日,阿里巴巴通义实验室在通义 APP 上线 EMO 模型。该 AI 技术能通过人物照片和音频生成同步口型和表情的视频。为防止技术被滥用,通义实验室在应用内预置了经过审核的音频模板,暂不开放用户自定义音频,并采取了算法和人工两道审核机制,确保内容安全。

智能体

4 月 25 日,Sanctuary AI 推出了第七代 Phoenix 人形机器人。新一代机器人具有更长的运行时间、更快的构建速度、更低的制造成本、增加的运动范围和耐用性,以及更高的视觉和触觉感知能力,同时与麦格纳国际合作,推动通用人工智能机器人在汽车制造等领域的应用。

基础设施

4 月 21 日,中山大学、哈佛大学的研究人员针对多模态大模型的创造力进行研究并提出 Creative Leap-of-Thought(CLoT)的训练方法,旨在打破常规思维,激发模型的创新能力。CLoT 能够有效提升多模态大模型在创造性任务中的表现,超越了包括 GPT-4 在内的其他先进模型。此外,该研究还构建了 Oogiri-GO 数据集,为进一步研究提供了资源。

4 月 22 日,阿里云的百炼平台为 Llama 3 模型提供了一站式的解决方案,覆盖了模型的训练、部署和推理等关键环节。目前,阿里云在一定时间内对 Llama 3 模型的开发和调用实行免费政策,用户可以在百炼模型广场上申请试用 Llama 3,并与其他模型进行性能对比。

4 月 23 日,华为云在香港峰会上宣布,将在香港提供即开即用的 AI 云服务,为大模型训练和推理提供高效、长稳、可靠的 AI 算力。华为云通过全链路云化工具链支持大模型的高效迁移、开发和运行,并特别优化了昇腾云的大模型专区,以支持“百模千态”应用的快速落地。

4 月 24 日,高通发布骁龙 X Plus 芯片。该芯片采用 4nm 工艺,具备 10 核心和最高 3.4GHz 主频,GPU 算力达 3.8TFLOPS,并支持先进的连接技术。该芯片在 AI 性能上达到 45 TOPS,与骁龙 X Elite 相当,且在多线程 CPU 性能上超越了苹果 M3 芯片。

报告推荐

Sora 来袭,国内发展文生视频模型的土壤如何?各公司用脚投票开闭源路线的当下,开源在大模型市场进程中的价值正在被重新定义吗?人型机器人重回视野,大模型是否助力其刷新能力上限?Devin 和智能编码助手是同一条赛道上的不同节点?多家企业宣布 All in AI,对市场意味着什么?答案尽在 InfoQ 研究中心近期发布的《2024 年第 1 季度大模型监测报告》,关注「AI 前线」公众号,回复「季度报告」免费下载,一睹为快吧~

报告预告

AGI 究竟是什么?AI Agent 如何助力人工智能走向 AGI 时代?在营销、金融、教育、零售、企服又有哪些典型应用和案例?欢迎大家持续关注 InfoQ 研究中心即将发布的《中国 AGI 市场发展研究报告 2024》。

活动推荐

AICon 全球人工智能与大模型开发与应用大会暨通用人工智能开发与应用生态展将于 5 月 17 日正式开幕,本次大会主题为「智能未来,探索 AI 无限可能」。如您感兴趣,可点击「阅读原文」查看更多详情。

会议 9 折购票倒计时最后 2 天,购票或咨询其他问题请联系票务同学:13269078023,或扫描上方二维码添加大会福利官,可领取福利资料包。

你也「在看」吗?👇

微信扫码关注该文公众号作者

来源:AI前线

相关新闻

13家媒体怒告OpenAl等AI巨头背后:“合理使用”or“偷窃”?内容创作为何成了大模型的“免费午餐”?港大马毅:现在大模型的「知识」,不等同于「智能」Nature重磅:大模型的谎言如何“破”?牛津团队提出新方法,无需人工监督或特定领域知识阶跃星辰:大模型「new game」里的新玩家一文解读:如何理解“大模型时代”的狂飙趋势?|投资笔记第162期从「开城」到「无图」:大模型砸下来的钱好赚吗?从“百模”到“千体”:大模型智能体的竞争格局、商业模式和技术挑战CoT提出者Jason Wei:大模型评估基准的「七宗罪」大神Karpathy强推,分词领域必读:自动钓鱼让大模型“发疯”的token,来自Transformer作者创业公司2024傅盛开年大课:企业“私有化大模型的时代”来了?剑桥大学:基于语音的大模型攻击,轻松“操纵”多模态大模型LLM性能最高60%提升!谷歌ICLR 2024力作:让大语言模型学会「图的语言」解密PC的AI进化:AI大模型如何“压”进PC?王小川评AI大模型“价格战”:在中国市场,API服务对创业公司是走不通的;科大讯飞:讯飞星火Lite版永久免费丨AIGC日报北大袁粒:用户不会为只能“闲聊”的大模型买单 | 中国AIGC产业峰会港大发布XRec:首个让推荐系统「会说话」的智能大模型警惕AI大模型的“共情鸿沟”!剑桥团队呼吁:我们需要“儿童安全人工智能”框架新一轮「硬件彩票」:MatMul-free 会改变大模型的游戏规则吗?扎克伯格最新2万字访谈:价值百亿美金的“最强开源大模型”Llama3及背后的一切对话面壁智能刘知远:大模型将有新的「摩尔定律」,AGI 时代的智能终端未必是手机李丰对话连文昭:大模型的想象与泡沫,机器人的「不可能三角」与未来 | 峰瑞创投对话无问芯穹夏立雪:破解算力焦虑,我做了大模型算力领域的「淘宝」丨36氪专访揭秘Sora:用大语言模型的方法理解视频,实现了对物理世界的“涌现”“5.20元送一朵花”:Kimi试水打赏收费,AI大模型应用的商业化有了新路径?
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。