Bendi新闻
>
微软发布Phi-3 Mini:3.8B参数小到能塞进手机,性能媲美GPT-3.5

微软发布Phi-3 Mini:3.8B参数小到能塞进手机,性能媲美GPT-3.5

“小而美”的Phi-3-mini竟然归功于其合成数据组成的数据集?
编译 |  长颈鹿
编辑 |  香草
智东西4月24日报道,4月23日,微软在官网开源了小语言模型(SLM)——Phi-3-mini。这是微软Phi-3系列模型推出的首个模型。
Phi-3-mini作为微软Phi系列的第四代产品,以其38亿参数和3.3T tokens的庞大训练数据量,在语言、推理、编码和数学基准测试中超越了众多数百亿参数规模的模型。
此外,Phi-3-mini有4k和128k tokens两个上下文长度变体,经过预训练和指令调整,可以更好地理解人类的语言、表达、逻辑并执行不同类型的指令。
与大语言模型相比,Phi-3-mini模型操作更为简便。该模型的体积很小,这一特性使其可以在端侧部署和运行。据称,该模型可以作为聊天机器人离线访问,且具有不亚于GPT-3.5的性能。
Phi-3-mini的成本大幅降低。微软生成式AI研究副总裁塞巴斯蒂安·布贝克(Sébastien Bubeck)称,相比于其他相似功能的模型,Phi-3-mini成本可能只有十分之一。
据微软研究团队称,Phi-3-mini小体积、高性能的创新归功于由合成数据组成的数据集。该数据集由大量已过滤的网络数据和其他AI制作的儿童读物中的合成数据组成。
微软计划在未来几周内推出Phi-3系列的另外两个模型,分别是Phi-3-small(7B)和Phi-3-medium(14B)。
目前有三个平台可以获取Phi-3-mini:
Microsoft Azure AI Studio:
https://ai.azure.com/explore/models/Phi-3-mini-128k-instruct/version/2/registry/azureml
Hugging Face:
https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3
Ollama:
https://ollama.com/library/phi3

01.
“小而美”的模型
Phi-3-mini优于两倍其尺寸模型


据微软官网称,Phi-3模型是目前能力最强、性价比最高的小型语言模型(SLM),其在多种语言、推理、编码和数学基准测试中均展现出超越同等规模甚至更大型模型的能力。
Phi-3-mini包含两种上下文长度的规模,分别是4k和128k tokens,其中128k tokens的上下文窗口支持在同类模型是首次实现,且对模型质量的影响微乎其微。此外,该模型经过指令微调,能够以自然语言方式响应和执行多种指令,确保了其即时可用性。
Phi-3模型在小尺寸上具有突破性的性能。根据微软研发团队的测试,Phi-3模型在基准测试中优于相同尺寸和更大尺寸的语言模型。其中,Phi-3-mini的性能优于其尺寸两倍的模型,而Phi-3-small和Phi-3-medium的性能优于更大的模型,包括GPT-3.5 Turbo。
根据性能对照表,Phi-3-mini的两个变体于基准测试的19个对比项中,有17项胜过Gemma-7b模型,18项胜过Mistral-7b模型,11项胜过Llama-3-8B模型。但也有11项次于GPT3.5-Turbo模型,17项次于Claude-3 Sonnet模型。

▲Phi-3系列基准测试对照表(图源:微软)

此外,微软还在学术报告中称Phi-3模型的整体性能可以与Mixtral 8x7B和GPT-3.5等模型相媲美。
Phi系列模型的起源于微软研究部门,已经被广泛使用,其中Phi-2下载量超过200万次。从用于Python编码的Phi-1开始,到增强推理和理解的Phi-1.5,再到27亿参数的Phi-2,Phi系列在语言理解方面超越了其25倍参数大小的模型。
微软计划在未来几周内推出Phi-3系列的另外两个模型,分别是Phi-3-small(7B)和Phi-3-medium(14B),旨在为Azure AI和其他模型库提供更灵活的选择。

02.
Phi-3遵循安全和高质
Phi-3-mini为多个平台专门优化


Phi-3模型的设计遵循了微软的“负责任AI标准”,包括问责制、透明度、公平性、可靠性与安全性、隐私与安全和包容性。Phi-3模型经历了严格的安全度量和评估、红队测试、敏感用途审查,并遵循安全指南,以确保这些模型在开发、测试和部署过程中都符合微软的标准和最佳实践。
Phi-3模型在训练过程中采用了高质量的数据,这是基于先前的Phi模型工作的延续。它们还通过了广泛的安全后训练,包括从人类反馈中进行的强化学习(RLHF)、在数十个伤害类别上进行的自动测试和手动红队测试。
此外,Phi-3-mini在Azure AI上配备了一套完整的部署、评估和微调工具链,并通过Ollama平台使开发者能够在本地笔记本电脑上运行。模型还针对ONNX Runtime进行了优化,支持Windows DirectML,并且实现了跨平台支持,包括GPU、CPU和移动硬件。
同时,Phi-3-mini也作为英伟达推理微服务(NVIDIA NIM)提供,具备可广泛部署的标准API接口,并对英伟达GPU进行了专门优化。

03.
Phi-3提供离线推理场景
AI解决方案已落地印度


微软公司通过提供Copilots帮助客户用生成式AI进行业务转型。他们认为,不同任务对质量成本曲线上不同规模模型的需求正日益增长。
小语言模型,如Phi-3,特别适用于以下情况:资源受限的环境,包括设备上和离线推理场景;延迟约束的场景,快速响应时间至关重要;以及成本受限的用例,特别是那些具有较简单任务的用例。
由于尺寸较小,Phi-3模型可以在计算受限的推理环境中使用,特别是Phi-3-mini可以在端侧使用。Phi-3模型的较小尺寸还使得微调或定制变得更加容易和更具成本效益。此外,较低的计算需求使其成本更低,延迟更好。较长的上下文窗口使其能够处理和推理大量的文本内容,如文档、网页、代码等。
微软的一些客户已经开始使用Phi-3构建解决方案。比如农业领域,Phi-3模型为农民提供了更便捷、更经济的解决方案,并帮助他们在没有稳定互联网连接的情况下使用AI技术。
印度一家领先的商业集团ITC正在将Phi-3模型用于Krishi Mitra(一款面向农民的应用程序)内,帮助印度农民通过技术手段获得更好的农业解决方案。据悉,该应用已经覆盖了超过一百万名农民。

04.
结语:大小模型相辅相成
离线AI聊天已成现实


微软的Phi-3模型设计的初衷旨在兼容多种设备。Phi-3与Stability AI的Zephyr、谷歌的Gemini Nano和Anthropic的Claude 3 Haiku等小型模型一样,能够在端侧运行,而无需依赖互联网连接。
尽管云端大模型在性能上全面超越小模型,但它们也存在一些局限性,包括较高的成本、运行速度以及对互联网连接的依赖。相比之下,Phi-3允许用户在没有网络的情况下与虚拟助手进行互动,能够在不上传数据的前提下实现内容总结,解决了AI领域的一部分弊端。
未来这类模型有望与智能手机集成,甚至可能内置于常用家电中,为用户的生活提供个性化建议。我们期待AI变得越来越生活化,也期待小语言模型在未来的进步。

(本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容,未经账号授权,禁止随意转载。)


微信扫码关注该文公众号作者

来源:智东西

相关新闻

手机可跑,3.8B参数量超越GPT-3.5!微软发布Phi-3技术报告:秘密武器是洗干净数据小模型时代来了?微软最小参数AI模型发布,性能逼近 GPT-3.5iPhone就能跑!微软推出轻量级模型Phi-3,性能堪比GPT-3.5 Turbo,AI的未来在手机端?微软发布Phi-3,性能超Llama-3,可手机端运行小模型时代来了?微软推出其最小参数 AI 模型,性能逼近 GPT-3.5超越Llama-2!微软新作Phi-3:手机上能跑的语言模型AI早知道|商汤发布日日新5.0大模型;微软推出小语言模型Phi-3;腾讯旗下协作SaaS产品全面接入混元大模型AI集体失智!9.11比9.9大?微软回应全球死机蓝屏事件:影响850万设备;OpenAI发布GPT-4o mini | Q资讯OpenAI 发布 GPT-4o mini,GPT-3.5 退役/曝娃哈哈总经理宗馥莉请辞/香港消委会致歉农夫山泉AI赋能天气:微软研究院发布首个大规模大气基础模型Aurora发布几小时,微软秒删媲美GPT-4开源大模型!竟因忘记投毒测试今日arXiv最热NLP大模型论文:微软提出SliceGPT,删除25%模型参数,性能几乎无损只激活3.8B参数,性能比肩同款7B模型!训练微调都能用,来自微软苹果智能背后模型公布:3B模型优于Gemma-7B,服务器模型媲美GPT-3.5-TurboOpenAI 突然发布 GPT-4o mini !更快更便宜,人人免费可用,GPT-3.5 成为历史AI早知道|字节Coze海外版支持GPT-4o;文心一言上线新功能;微软开放Phi-3 轻量级AI模型5亿参数“小模型”如何超越千亿级参数大模型GPT-3.5?微软推出iPhone能跑的ChatGPT级模型,网友:OpenAI得把GPT-3.5淘汰了微软刚刚发布了VASA-1:单张照片生成超现实真人视频,还没开源但是性能SOTA下载:微软发布适用于CrowdStrike蓝屏死机的修复工具今日arXiv最热NLP大模型论文:微软发布可视思维链VoT,提高大模型空间想象力从视为癌症到全面拥抱,微软:Linux 是 Azure 上最受欢迎系统Mac不香啦?微软发布第一款GPT-4o加持的WindowsGitHub版Devin上线,会打字就能开发应用,微软CEO:重新定义IDE
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。