Meta用Llama 3向世人证明，自己依然是大模型开源社区中最重要的力量。
文｜李然、陈斯达
编辑｜苏建勋
来源｜智能涌现（ID：AIEmergence）
封面来源｜Meta官网
开源社区灯塔，“真·OpenAI”——Meta抛出了目前最强的开源大模型Llama 3。
模型下载链接：https://llama.meta.com/llama-downloads/GitHub项目地址：https://github.com/meta-llama/llama3
当地时间4月18日，Meta 发布两款开源Llama 3 8B与Llama 3 70B模型，供外部开发者免费使用。Llama 3的这两个版本，也将很快登陆主要的云供应商。按照Meta的说法，Llama 3 8B和Llama 3 70B是目前同体量下，性能最好的开源模型。Llama 3 8B在某些测试集上性能比llama 2 70B还要强！而且在未来几个月内，Meta还会推出更多的版本。英伟达高级科学家Jim Fan认为之后可能会发布的Llama 3-400B以上的版本其将成为某种“分水岭”，开源社区将能用上GPT-4级别的模型。
传奇研究员，AI开源倡导者吴恩达表示：Llama 3的发布是自己这辈子收到过的最好的礼物，谢谢你Meta！在Llama 3发布后，小扎向外媒表示，“我们的目标不是与开源模型竞争，而是要超过所有人，打造最领先的人工智能。”- 基于超过15T token训练，大小相当于Llama 2数据集的7倍还多；
- 支持8K长文本，改进的tokenizer具有128K token的词汇量，可实现更好的性能；
- 安全性有重大突破，带有Llama Guard 2、Code Shield 和 CyberSec Eval 2的新版信任和安全工具，还能够比Llama 2有更好“错误拒绝表现”。
根据Meta AI的工程师Aston Zhang透露，Llama 3的诞生始于去年夏天，团队攻克了数据集，预训练等方面的一系列难题。他还进一步透露，Llama 3之后还会解锁新的能力——更长的上下文，支持多模态，性能更强的400B版本。现在，感兴趣的用户已经可以在HuggingChat上体验了。
地址：https://huggingface.co/chat/（需要手动切换至Llama 3）
领先了，但不多
Meta展示的基准测试结果包括MMLU、ARC、DROP、GPQA（生物、物理、化学相关的问题集）、HumanEval（代码生成测试）、GSM-8K（数学应用测试）、MATH（同为数学相关基准测试）、AGIEval（问题解决的测试集）以及BIG-Bench Hard（常识推理测试）。在下图可看到，Llama 3 8B的成绩在九项测试中领先同行。但Mistral 7B（2023年9月发布）和Gemma 7B已经不算最前沿的开源模型。并且在引用的一些基准测试里，Llama 3 8B的得分，还只比这两位高一点点。
在MMLU、HumanEval和GSM-8K上，Llama 3 70B击败了Gemini 1.5 Pro。尽管无法与Anthropic性能最强的模型 Claude 3 Opus媲美，但 Llama 3 70B的性能，已经优于Claude 3系列的中杯模型Sonnet。
在Meta组织的人类反馈评分中，Llama 3 70B打败了Mistral、OpenAI、Claude发布的对应产品。这个人类反馈测试更贴近用户实际的使用体验，包括了最常见的大模型使用场景：头脑风暴、创意写作、角色扮演、复述、推理、总结等。
Meta不忘卖个关子，说自己目前最大的模型参数，已经超过4000亿（400B），但还在训练。不过据The Verge，Meta 尚未最终决定是否开源400B的版本。
在Llama 2发布后的几个月内，开源社区雨后春笋般地，冒出了很多性能非常强大的开源模型。开源社区的竞争格局，已经有了非常大的变化。当有人怀疑，Meta还能否继续在激烈地竞争中保持领先时，Meta用Llama 3的发布，让自己重新坐回了开源社区的铁王座之上。
15万亿token，训练数据量大质量高
Llama 3优越的性能，离不开庞大数据集的训练——15 万亿token，几乎是Llama 2的七倍。堆量只是第一步，Meta在训练时也十分重视数据质量，用上了许多过滤手段。使用合成数据（AI生成的数据）就是一个例子。官网介绍：我们发现前几代 Llama 非常擅长识别高质量数据，因此我们使用 Llama 2生成训练数据，提供给Llama 3的文本质量分类器，为 Llama 3 提供支持。
在接受“海量投喂”后，新版Llama在回答琐碎问题时应该能更准，在历史、STEM、工科及编程类问题时，也将显得游刃有余。
Meta还提到，Llama 3预训练数据集有超过5%的部分，来自高质量的非英语数据。加入这部分的目的在于，能更好满足各国用户、不同语言背景的使用需求。不过，针对所用训练数据的来源，Meta依然选择打马虎眼：“收集于公开来源（publicly available sources）”。
来源：Hugging Face而且两个版本的数据截止日期还略微有点不同，8B版本截止日期为2023年3月，70B版本为2023年12月。Meta因训练数据不足而产生焦虑，4月初时，还曾被无情揭伤疤。据纽约时报报道，2023年3月到4月期间，Meta高层天天开会，讨论如何把有版权的内容喂给模型训练——有的法子能说，比如收购Simon & Schuster出版社；有的不方便说，比如冒着吃官司的风险，在网上收集有版权的文本（见智能涌现文章 大模型闹“数据饥荒”，科技巨头进入灰色地带）。而且值得注意的是，根据外媒的说法，Llama 3使用的训练数据，有很大一部分是AI合成的数据。
△来源：The Verge看来，用AI训练AI，已经是一件正在发生的事情了。
全面优化训练流程，训练效率比Llama 2高出3倍
Meta还分享了在训练模型的过程中，相比自己前2代模型，做出了很多流程上的优化：数据并行化、模型并行化和管道并行化。在16000个GPU的集群上训练时，实现了每个GPU超过400 TFLOPS的计算利用率。为了最大限度地延长GPU的正常运行时间，Meta开发了一种先进的训练堆栈，可以自动执行错误检测、处理和维护。Meta还极大地改进了硬件可靠性和静默数据损坏检测机制，并且开发了新的可扩展存储系统，以减少检查点和回滚的开销。这些改进，使总体有效培训时间超过 95%。综合起来，这些改进使Llama 3的训练效率比Llama 2提高了约三倍。
最智能的免费AI助手，秒速文生图
小扎在之前采访中就已经表示过，未来Meta推出的大模型将重塑自家产品的使用体验。这次同Llama 3一同推出的，还有基于Llama 3构建的Meta AI。按照小扎的说法，Meta AI已经是目前最智能的免费AI助手。总结下来，Meta AI与自家APP生态的兼容性，无疑能让使用体验大大提升——无需切换，即可在Instagram、Facebook、WhatsApp 和 Messenger 的搜索框中畅通使用Meta AI。手机的聊天窗口中，输入问题+@Meta AI，就能得到想要的答案。“私聊”Meta AI对话也是可以的。刷Facebook时遇到好玩的事情，突发奇想有个疑问，帖子下面点开直接问！Meta当然没忘记PC端。登入meta.ai，无需注册登录，即可像GPT一样开启对话。当然，登录后可保存对话记录，便于未来参考。
要知道，OpenAI才刚在4月1日宣布无需注册体验ChatGPT。文生图功能酷炫至极。由于图像生成速度大大加快，每输入几个字母，图像就会发生变化——所输即所得！Meta AI生成图片质量高，还能在原图基础上生成GIF动图，与好友进行分享。据The Verge, Meta AI 助手的唯一一个集成了 Bing 和 Google 实时搜索结果的聊天机器人——Meta可决定使用哪种搜索引擎来回答prompt提示词。据介绍，Meta正向美国以外的十几个国家，推出英语版 Meta AI。澳大利亚、加拿大、加纳、牙买加、马拉维、新西兰、尼日利亚、巴基斯坦、新加坡、南非、乌干达、赞比亚和津巴布韦将可以使用 Meta AI。
可能是史上最安全的开源大模型而针对外界关于开源大模型担忧最多的安全性问题，Meta这次看起来也是做了了充足准备。Meta采用了一种新的系统级方法来负责任地开发和部署Llama 3。他们将Llama 3视为更广泛系统的一部分，让开发人员能够完全掌握模型的主导权。
Meta的指令微调模型，已经通过内部和外部进行了红队测试。Meta的红队利用人类专家和自动化方法来生成对抗性提示，试图引发有问题的响应。他们进行了全面的测试，来评估模型在化学、生物、网络安全和其他风险领域相关的滥用风险。除此之外，Meta还采用了业内最为先进的大模型安全技术，出生自带Llama Guard 2、Code Shield 和 CyberSec Eval 2的新版信任和安全工具，确保模型不会被轻易越狱，输出有害内容。看来Meta已经充分吸取了Llama去年意外泄漏的教训，在模型的安全性上下的功夫不亚于对性能的追求。未来，Meta团队将会公布Llama 3的技术报告，披露模型更多的细节。而团队成员还表示，Meta官方还会以直播或者博客的形式，让模型开发团队直接与外界进行交流。总之，Meta没有辜负开源社区对它的期待，继续在大模型开源之路上奋力狂奔！36氪旗下AI公众号
来个“分享、点赞、在看”👇
