Bendi新闻
>
小模型时代来了?微软最小参数AI模型发布,性能逼近 GPT-3.5

小模型时代来了?微软最小参数AI模型发布,性能逼近 GPT-3.5

6月前

作者 | 李冬梅

当地时间 4 月 23 日,微软宣布推出其轻量级人工智能模型 Phi-3 Mini 的下一版本,这是该公司计划发布的三个小型模型中的第一个。

Phi-3 Mini 可测量参数仅为 38 亿,并在相对于 GPT-4 等大型语言模型更小的数据集上进行训练。现已在 Azure、Hugging Face 和 Ollama 上可使用。另外,微软还计划发布 Phi-3 Small(7B 参数)和 Phi-3 Medium(14B 参数)两个版本。

微软在去年 12 月时发布了 Phi-2,其性能与 Llama 2 等更大的型号不相上下。微软表示,Phi-3 的性能比前一版本更好,其响应速度接近比它大 10 倍的模型。

微软 Azure 人工智能平台公司副总裁埃里克· 博伊德(Eric Boyd)介绍说,Phi-3 Mini 的性能与 GPT-3.5 等 LLM 不相上下,"只是外形尺寸更小而已"。

与大型人工智能模型相比,小型人工智能模型通常运行成本更低,并且在手机和笔记本电脑等个人设备上表现更好。据外媒《The Information》今年早些时候报道称,微软正在组建一个专门专注于轻量级人工智能模型的团队。与 Phi 一起,该公司还构建了 Orca-Math,一个专注于解决数学问题的模型。

微软的竞争对手也在研发自己的小模型,其中大多数针对更简单的任务,例如文档摘要或编码辅助。其中最典型的就是 Google 的 Gemma 2B 和 7B,这两款模型更适合简单的聊天机器人和语言相关的工作。

此外,Anthropic 的 Claude 3 Haiku 可以阅读带有图表的密集研究论文并快速总结它们,而 Meta 最近发布的 Llama 3 8B 可以用于一些聊天机器人和编码辅助。

Boyd 表示,开发人员通过“课程”对 Phi-3 进行了训练。他们的灵感来自于孩子们如何从睡前故事、单词更简单的书籍以及谈论更大主题的句子结构中学习。

“市面上没有足够的儿童读物,因此我们列出了 3000 多个单词的清单,并要求大语言模型制作‘儿童读物’来教授 Phi,”Boyd 说。

他补充说,Phi-3 只是建立在之前迭代所学到的知识之上。Phi-1 专注于编程,Phi-2 开始学习推理,而 Phi-3 更擅长编程和推理。虽然 Phi-3 系列模型能够了解一些常识,但它无法在更大范围的应用场景中击败 GPT-4 或其他大语言模型。

Boyd 表示,公司经常发现像 Phi-3 这样的较小模型更适合他们的定制应用程序,因为对于许多公司来说,他们的内部数据集规模都比较小,而这些使用较少算力的小模型更具性价比。

参考链接:

https://www.theverge.com/2024/4/23/24137534/microsoft-phi-3-launch-small-ai-language-model

原文链接:https://www.infoq.cn/article/TaPZvxmCOlBv9bCYBzDZ

 内容推荐

跳进 AI 的奇妙世界,一起探索未来工作的新风貌!想要深入了解 AI 如何成为产业创新的新引擎?好奇哪些城市正成为 AI 人才的新磁场?《中国生成式 AI 开发者洞察 2024》由 InfoQ 研究中心精心打造,为你深度解锁生成式 AI 领域的最新开发者动态。无论你是资深研发者,还是对生成式 AI 充满好奇的新手,这份报告都是你不可错过的知识宝典。欢迎大家扫码关注「AI 前线」公众号,回复「开发者洞察」领取。

 活动推荐

AICon 全球人工智能开发与应用大会 暨 大模型应用生态展将于 5 月 17 日正式开幕,本次大会主题为「智能未来,探索 AI 无限可能」。如您感兴趣,可点击「阅读原文」查看更多详情。


今天是会议 9 折购票阶段,购票或咨询其他问题请联系票务同学:13269078023,或扫描上方二维码添加大会福利官,可领取福利资料包。

今日荐文


逃离 Windows!德国又宣布迁移到 Linux,涉及数万系统、3 万余人,官员吐苦水:Windows 对硬件要求太高了


三大模型联手爆改《流浪地球》结局!如果你是刘培强,你是认命还是怀抱希望?|AI 测评室


微软秒删堪比GPT-4的开源大模型!研发总部还被爆在北京?官方:我们只是忘了测试


刘强东AI数字人首播,30分钟观看破千万;雷军回应爽文人生:不是高考状元、没有40亿;特斯拉大裁员:员工对赔偿满意|AI周报


走近李生教授:培养出周明、王海峰等数位AI科学家,NLP国际最高奖项得主的科研之路

你也「在看」吗?👇

微信扫码关注该文公众号作者

来源:AI前线

相关新闻

小模型时代来了?微软推出其最小参数 AI 模型,性能逼近 GPT-3.5iPhone就能跑!微软推出轻量级模型Phi-3,性能堪比GPT-3.5 Turbo,AI的未来在手机端?5亿参数“小模型”如何超越千亿级参数大模型GPT-3.5?苹果微软两大巨头,扎堆儿发布小模型!真的终端智能快来了!微软发布Phi-3 Mini:3.8B参数小到能塞进手机,性能媲美GPT-3.5小模型性能直逼GPT-4?北航等提出基于强弱模型协同的ICL增强新范式Wanderboat AI:这个华人团队开发的AI旅行app,是大模型时代的小红书+马蜂窝?卷疯了!最强开源大模型Llama 3发布,最大参数4000亿,小扎内心:大模型比元宇宙香多了小模型崛起!Llama 3.1 8B参数减半性能更强,英伟达把剪枝和蒸馏玩明白了微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了AI早知道|商汤发布日日新5.0大模型;微软推出小语言模型Phi-3;腾讯旗下协作SaaS产品全面接入混元大模型OpenAI踏入小模型战场,发布GPT-4o Mini,同日Mistral联合英伟达推出竞品小模型怎么扩大参数?SOLAR: “自我嫁接”就行!要想赚钱,AI模型该大该小?贾扬清:论AI模型经济学的技巧手机可跑,3.8B参数量超越GPT-3.5!微软发布Phi-3技术报告:秘密武器是洗干净数据20%的杨幂+80%的泰勒长什么样?小红书风格化AI来了,可兼容SD和ControlNet轻量级模型,重量级性能,TinyLlama、LiteLlama小模型火起来了两个小模型互相验证,直接比肩大模型?微软的rStar甚至没用CoT和微调谷歌 Gemma 2 2B 发布火爆,小模型如何撑起大格局?超强阵容集结!小红书大模型论文分享会来了,四大国际顶会作者强势来袭三个臭皮匠顶个诸葛亮?可能是真的,已证实混合多个小模型性能比肩GPT3.5大模型「瘦身」进手机,面壁智能发布性能小钢炮 MiniCPM全球最强大模型一夜易主,GPT-4时代终结!Claude 3提前狙击GPT-5,3秒读懂万字论文理解力接近人类|亮马桥小纪严选传微软组建新团队开发更小、更便宜AI模型;Pika联手北大斯坦福开源文生图框架;传和硕独家拿下Ai Pin代工订单丨AIGC日报
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。