国际科技财经移民娱乐民生时事体育

>

苹果加入开源大战，官宣端侧小模型OpenELM！参数2.7亿到30亿一台M2 Mac可跑

苹果加入开源大战，官宣端侧小模型OpenELM！参数2.7亿到30亿一台M2 Mac可跑

2月前

新智元报道

编辑：桃子

【新智元导读】开源战在这半个月愈演愈烈。先是Llama 3，又到微软Phi-3，再到今天苹果发布的OpenELM。四种不同小参数版本全部上线，我们离iPhone装进大模型不远了。

从Llama 3到Phi-3，蹭着开源热乎劲儿，苹果也来搞事情了。

今天，苹果团队发布了OpenELM，包含了2.7亿、4.5亿、11亿和30亿四个参数版本。

与微软刚刚开源的Phi-3相同，OpenELM是一款专为终端设备而设计的小模型。

论文地址：https://arxiv.org/abs/2404.14619

论文称，OpenELM使用了「分层缩放」策略，来有效分配Transformer模型每一层参数，从而提升准确率。

如下这张图，一目了然。

在约10亿参数规模下，OpenELM与OLMo相比，准确率提高了2.36%，同时需要的预训练token减少了2倍。

抱抱脸创始人表示，苹果加入了AI开源大战，一口气在HF中心发布了四款模型。

OpenELM有多强？

OpenELM的诞生，显然瞄准了谷歌、三星、微软这类的竞争对手。

近几天，微软开源的Phi-3，在AI社区引起了不小的反响。

因为，小模型的运行成本更低，而且针对手机和笔记本电脑等设备进行了优化。

根据论文介绍，苹果这款模型不仅能在笔记本（配备英特尔i9-13900KF CPU、RTX 4090 GPU，24GB内存），还可以在M2 MacBook Pro（64GiB内存）运行。

而OpenELM具体性能表现如何？

在零样本和少样本设置中，OpenELM的结果如下图表3所示。

通过与开源的大模型比较，OpenELM的变体比12亿参数OLMo的准确率提高了1.28%（表4a）、2.36%（表4b）和 1.72%（表4c）。

值得注意的是，OpenELM使用了OLMo少2倍的预训练数据的情况下，达到了这一水平。

再来看模型指令微调的结果。

如下表5所示，在不同的评估框架中，指令微调都能将OpenELM的平均准确率提高1-2%。

表6展示了参数高效微调的结果。PEFT方法可以应用于OpenELM，LoRA和DoRA在给定的CommonSense推理数据集中，提供了相似的平均准确度。

下表7a和7b分别显示了GPU和MacBook Pro上的基准测试结果。

尽管OpenELM对于相似的参数数量具有更高的精度，但研究人员观察到OpenELM要比OLMo慢。

虽然本研究的主要重点是可重复性而非推理性能，但研究人员还是进行了全面分析，以了解瓶颈所在。

分析结果表明，OpenELM处理时间的很大一部分，归因于研究者对RMSNorm的简单实现。

具体来说，简单的RMSNorm实现会导致许多单独的内核启动，每个内核处理一个小输入，而不是像LayerNorm那样启动一个融合的内核。

用Apex的RMSNorm替换简单的RMSNorm，结果发现OpenELM的吞吐量有了显著提高。

然而，与使用优化LayerNorm的模型相比，性能差距仍然很大，部分原因是：

（1）OpenELM有113个RMSNorm层，而OLMo只有33个LayerNorm层；

（2）Apex的RMSNorm没有针对小输入进行优化。

作者贡献

有趣的是，论文最后一部分还列出了每位作者，在这项研究中的具体贡献。

从预训练数据收集和工具、架构设计、模型训练，到评估套件和工具、HF集成、指令微调、参数高效微调，再到性能分析和MLX转换、代码审查，bug修改和维护全程都分工明确。

具体每人参与的内容，如下图所示。

参考资料：

https://arxiv.org/abs/2404.14619

微信扫码关注该文公众号作者

来源：新智元

相关新闻

国内首个开源千亿参数MoE大模型来了！性能超Grok-1，单张GPU可跑苹果开源了！首次公开手机端侧大模型，AI iPhone 的细节就藏在里面苹果开源大模型OpenELM来了，或将用在下一代iPhone上；红杉入局，传马斯克AI公司将获60亿美元投资丨AI周报 iPhone动嘴10秒P图！UCSB苹果全华人团队发布多模态MGIE，官宣开源人人可玩红杉资本入局，马斯克的AI公司接近达成60亿美元融资；苹果发布基于开源训练和推理框架的语言模型OpenELM丨AIGC日报苹果官宣“小游戏可接苹果支付”，微信抖音如何定分成比，万众期待！苹果一次性开源了8个大模型！包含模型权重、训练日志和设置，OpenELM全面开源天工2.0 MoE大模型发布；苹果开源自动修图神器MGIE；香港公司被AI换脸骗走2亿港元丨AIGC大事日报谷歌开源系模型第二代免费开放！27B媲美LLaMA3 70B，单H100或TPU主机可跑英伟达交付OpenAI全球首块H200；月之暗面否认创始人套现数千万美元；苹果发布设备端开源AI模型｜AIGC周观察第四十一期 AI早知道｜支付宝灰度测试智能助理；苹果开源推出高效语言模型系列 OpenELM 开卖一小时，苹果成交超15亿！爆雷！BC贷款经纪庞氏骗局圈钱$2.7亿破产跑路！加美两国发逮捕令独家！“30亿私募跑路”幕后老板被抓！狂玩资金盘，编织私募网，隐藏大量影子公司...苹果iOS 18将搭载生成式AI；谷歌Bard最新排名超GPT-4；百川发超千亿参数大模型Baichuan 3丨AIGC大事日报 Stability AI发布全新代码模型Stable Code 3B！媲美70亿Code Llama，没GPU也能跑 8点1氪：上市公司遭电信诈骗，涉案近1亿元；全球近8亿人工资落后于通货膨胀；苹果官网大降价活动可退差价一天赚超2亿元！华为一季度净利润暴涨564%！手机出货量甩开苹果，重夺中国市场第一华为回应智界 S7 截胡小米 SU7，雷军表态/苹果正在自研设备端大语言模型/「欧洲版OpenAI」洽谈融资5亿知名品牌突然“爆雷”：停业、解散！旗舰店“跑路”、官网打不开，“不发货也不退款”！曾2小时内销售上亿元，创始人卖房创业华为官宣P系列升级为Pura，传特斯拉拟新一轮裁员，蔚来造车资质获批，苹果首批AI功能或运行于设备端，这就是今天的其他大新闻！从LLM中完全消除矩阵乘法，效果出奇得好，10亿参数跑在FPGA上接近大脑功耗一夜疯涨1万亿！苹果启动史上最大规模回购：1100亿美元！全球资产集体嗨了！人民币暴力升值！期待节后大A表现！“鸽”了十年、烧掉190亿！苹果汽车再推迟发布，只敢承诺L2交付...华为再次遥遥领先？