Bendi新闻
>
李飞飞团队年度报告揭底大模型训练成本:Gemini Ultra是GPT-4的2.5倍
李飞飞团队年度报告揭底大模型训练成本:Gemini Ultra是GPT-4的2.5倍
2月前
机器之心报道
2023 年的进展速度比以往任何一年都要快得多,GPT-4、Gemini 和 Claude 3 等最先进的系统显示出令人印象深刻的多模态功能,能够生成流畅的数据多种语言的文本、处理音频和图像以及解释网络梗图。 2023 年新发布的支持生成式 AI 的大型语言模型数量比前一年翻了一番,其中三分之二是开源模型,例如 Meta 的 Llama 2,但性能最佳的是闭源模型,例如 Google 的 Gemini Ultra。 2023 年,工业界继续主导人工智能前沿研究。工业界产生了 51 个值得关注的机器学习模型,而学术界仅贡献了 15 个。2023 年,产学界合作产生了 21 个值得关注的模型,再创新高。 美国领先中国、欧盟和英国,成为顶级人工智能模型的主要来源地。2023 年,61 个著名的人工智能模型源自美国机构,远远超过欧盟的 21 个和中国的 15 个。 Gemini Ultra 是第一个在大规模多任务语言理解关键基准测试中达到人类水平表现的 LLM。OpenAI 的 GPT-4 也不甘示弱,在 Holistic Evaluation of Language Models 基准上取得了 0.96 的平均胜率得分,该基准将 MMLU 与其他评估结合起来。 不过,人工智能性能的提高是有代价的,报告发现,前沿人工智能模型的开发成本正变得越来越高。据说 Gemini Ultra 消耗了价值 1.91 亿美元的计算资源,而 GPT-4 的开发成本估计为 7800 万美元。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:[email protected]
微信扫码关注该文公众号作者
来源:机器之心
相关新闻
李飞飞团队重磅报告解读AI十大趋势:中国AI专利数全球第一,大模型训练狂烧钱,医学领域AI应用突出 | 大模界国产大模型评测超GPT-4!李开复:十年内不会套现章文嵩、蒋晓伟、李飞飞、张凯巅峰对谈:大模型时代的数据智能新趋势李彦宏:开源大模型不如闭源,后者会持续领先;周鸿祎:“开源不如闭源” 的言论是胡说八道谷歌Gemini 1.5技术报告:轻松证明奥数题,Flash版比GPT-4 Turbo快5倍李飞飞:大模型不存在主观感觉能力,多少亿参数都不行|首席资讯日报李飞飞:大模型不具备知觉,参数再多也不行李飞飞:更大的语言模型也不会带来感知能力李飞飞亲自撰文:大模型不存在主观感觉能力,多少亿参数都不行!李飞飞亲自撰文:大模型不存在主观感觉能力,多少亿参数都不行李丰对话连文昭:大模型的想象与泡沫,机器人的「不可能三角」与未来 | 峰瑞创投对话李飞飞谈AI:人应当是人工智能的核心李佳琦称今年618大促是难的:用户真的太多了,但李佳琦只有一个面壁智能发布最强端侧多模态模型:超越Gemini Pro 、GPT-4V,图像编码快150倍!零一万物发布千亿参数模型 Yi-Large,李开复:中国大模型赶上美国,立志比肩 GPT-5百度文心一言用户破 2 亿,李彦宏:文心大模型已成中国最领先的 AI 基础模型无注意力大模型Eagle7B:基于RWKV,推理成本降低10-100 倍华为诺亚频域LLM「帝江」:仅需1/50训练成本,7B模型媲美LLaMA,推理加速5倍今日Arxiv最热NLP大模型论文:清华大学让大语言模型自动并行自回归解码,速度提升高达4倍!AGI大辩论!杨植麟:无需定义,李大海:零边际成本,王小川:造医生?张鹏:是信念!中国最赚钱的山,一张门票259元,年收入超80亿,是黄山的4倍多!每个人却都想去......智能体技术发展趋势:李鹏谈大模型智能体与开放领域融合零一万物李谋:当大模型推理遇到算力瓶颈,如何进行工程优化?主人上班时打开监控,撞见张5倍大的狗头,瞬间鼻酸:想回家