2024.05.14

本文字数：2457，阅读时长大约4分钟

---

导读：第一财经记者使用GPT-4o来描述图片，发现其生成结果较准确，5秒左右就能生成描述图片的文字。

作者 | 第一财经 郑栩彤、钱童心

当地时间5月13日，OpenAI通过直播展示了产品更新。与此前传出的市场消息不同，OpenAI并未推出搜索引擎，也未推出GPT-4.5或GPT-5，而是发布了GPT-4系列新模型GPT-4o以及AI聊天机器人ChatGPT的桌面版本，聚焦多模态和端侧应用。

此前OpenAI公司CEO奥尔特曼（Sam Altman）就已经否认了公司将会发布GPT-5，他表示新版GPT非常“神奇”。根据OpenAI官方网站介绍，GPT-4o中的“o”代表Omni，也就是“全能”的意思。

据介绍，GPT-4o文本、推理、编码能力达到GPT-4 Turbo水平，速度是上一代AI大模型GPT-4 Turbo的两倍，但成本仅为GPT-4 Turbo的一半，视频、音频功能得到改善。OpenAI CEO奥尔特曼（Sam Altman）在博客中表示，ChatGPT免费用户也能用上新发布的GPT-4o。此外，OpenAI还与苹果走到一起，推出了适用于macOS的桌面级应用。

OpenAI技术负责人Mira Murati在直播中表示：“这是我们第一次在易用性方面真正迈出的一大步。”

价格低于GPT-4 Turbo

OpenAI研究员Mark Chen表示，新模型具有“感知情绪”的能力，能输出笑声、歌唱或表达情感，还可以处理用户打断它的情况。

在直播中，OpenAI演示了一段OpenAI员工与GPT-4o对话的视频，模型反应速度与人类相近，GPT-4o可利用手机摄像头描述其“看到”的东西。

另一段展示视频里，GPT-4o被装在两个手机上，其中一个代表人类与电信公司打电话沟通设备更换事项，另一个GPT-4o扮演电信公司客服人员。OpenAI还展示了GPT-4o搭载在手机上的实时翻译能力。

根据OpenAI介绍，GPT-4o与GPT-3.5、GPT-4的语音对谈机制不同。GPT-3.5和GPT-4会先将音频转换为文本，再接收文本生成文本，最后将文本转换为音频，经历这三个过程，音频中的情感表达等信息会被折损，而GPT-4o是跨文本、视觉和音频的端到端模型，是OpenAI第一个综合了这些维度的模型，可更好进行对谈。

OpenAI将GPT-4o定位为GPT-4性能级别的模型。据介绍，GPT-4o在传统基准测试中，文本、推理、编码能力达到GPT-4 Turbo的水平。该模型接收文本、音频和图像输入时，平均320毫秒响应音频输入，与人类对话中的响应时间相似，英文文本和代码能力与GPT-4 Turbo相当，在非英文文本上有改善，提高了ChatGPT针对50种不同语言的质量和速度，并通过OpenAI的API提供给开发人员，使其即时就可以开始使用新模型构建应用程序。 

第一财经记者在OpenAI官网看到，GPT-4o输入、输出每1M token（文本单位）收费0.005美元、0.015美元，GPT-4 Turbo输入、输出每1M token收费0.01美元、0.03美元。

“在过去两年中，我们花了大量精力在堆栈的每一层上提高-效率，作为这项研究的第一个成果，我们能使GPT-4级别的模型更广泛应用，GPT-4o即日起扩展红队访问权限。”OpenAI官网称，GPT-4o的文本和图像功能今日在ChatGPT中推出，“我们计划在未来几周内在API中向一小部分值得信赖的合作伙伴推出对GPT-4o新音频和视频功能的支持。”

第一财经记者在ChatGPT网站看到，ChatGPT已接入GPT-4o有限访问权限，但免费用户还不能使用图片生成功能。

记者使用了GPT-4o来描述图片，发现其生成结果较准确，5秒左右就能生成描述图片的文字。

此外，OpenAI还宣布推出一款适用于macOS的桌面级应用，使用键盘快捷键就可向ChatGPT提问。用户可通过电脑与ChatGPT语音对话，GPT-4o的新音频和视频功能后续将推出。OpenAI已向Plus用户推出macOS应用程序，今年晚些时候还将推出Windows版本。

值得注意的是，近日还有消息传出苹果与OpenAI商谈，以便在下一代iPhone操作系统使用ChatGPT功能。此次OpenAI重点展示了大模型在手机端侧应用的能力。

不过，此次OpenAI并未发布关于新模型的论文或技术文档。

今日，OpenAI特别强调了新模型的风险和局限性。该公司称：“GPT-4o的音频模式带来了各种新的风险。在接下来的几周和几个月里，我们将更关注技术基础设施、培训后的可用性以及发布其他模式所需的安全性。例如，在发布时，音频输出将仅限于选择预设的声音，并将遵守我们现有的安全政策。”

发力端侧应用

不少科技界人士发表了对OpenAI此次产品更新的看法。“我没想到GPT-4o会接近GPT-5。传闻中OpenAI的‘Arrakis’模型就采用多模态输入和输入。事实上，它可能是GPT-5的一个早期检查点（checkpoint），尚未完成训练。”英伟达高级科学家Jim Fan在社交媒体上评论称。

Jim Fan认为，在谷歌召开I/O大会前，OpenAI宁愿发布超过人们对GPT-4.5心理预期的产品，也不愿因为推出达不到人们期望的GPT-5，而让人感到失望。此外，谁先赢得苹果，谁就将大获全胜，与iOS整合有几个层次，例如抛弃Siri，OpenAI为iOS提炼出一个更小层级、设备上运行的GPT-4o。虽然此次未公开相关论文，加利福尼亚大学圣克鲁兹分校教授Xin Eric Wang还是评论认为，一个演示胜过千篇论文。

“比较让人失望的是，这次OpenAI没有发布GPT-5，连GPT-4.5都没看到。OpenAI发布了一系列应用，最重要的是发布了语音助手，由于使用了端到端大模型技术，体验远超Siri。OpenAI发布应用，恰恰说明应用在人工智能领域大有可为。目前看来，GPT-5可能还要‘难产’一段时间。”猎豹移动董事长兼CEO傅盛表示。

近期业内对大模型在既有参数下推动应用落地、商业变现多有讨论。OpenAI在继续研发下一代更大参数模型GPT-5的同时，也在推动价格下降、应用场景和用户群体扩大。

从API价格看，GPT-3.5 Turbo输入、输出每1M token（文本单位）收费0.0005美元、0.0015美元，GPT-4为0.03美元、0.06美元，GPT-4之后定价就持续下降。今年4月，OpenAI还宣布ChatGPT无需注册便可使用，此举被业界解读为扩大用户群体的努力，或其算力成本得到一定下降。此次产品更新后，奥尔特曼在其博客中强调，OpenAI使命的一个关键部分是让强大的人工智能工具免费，或以一个不错的价格推出。

包括OpenAI推出macOS桌面级应用在内，业内近期对大模型落地端侧多有期待。苹果就多次传出与大模型厂商洽谈合作，苹果自身还在端侧小模型领域布局，并推出可支持AI运行、性能更强的M4芯片。

近日一场对谈中，金沙江创投主管合伙人朱啸虎也判断，此前Meta发布的Llama3系列两个小模型性能强大，iPad Pro则用了M4芯片，以后端侧可能就直接跑一个小模型了。几百亿参数的小模型也可在端侧直接跑，尤其是今年下半年iPhone新品可能就类似，明年应用层将会爆发。

上海楼市，又有重磅消息！