Copilot功能大礼包！微软让个人AI助手进入团队，GPT-4o现已助力Azure，浏览器视频实时翻译
宣布推出Copilot全面融入Windows系统的Windows 11 AI PC一天后，微软又送上了Copilot的多种功能“大礼包”，进一步推动先进的人工智能（AI）助手与微软的业务及其合作伙伴结合。
美东时间5月21日周二开幕的年度Build开发者大会上，微软CEO Satya Nadella开场先提到微软几十年来有两大梦想：一是能不能让电脑理解人类，而不是人类被迫理解电脑，二是在信息日益增加的世界，电脑能不能帮助人类推理、规划以及更有效地运用所有的信息。他认为，现在这波AI浪潮能为微软找到实现这两大梦想的答案。
随后，Nadella聚焦Copilot。他提到了包含随时可用本地API的Copilot库Windows Copilot Library，称有40多种端侧AI模型“开箱即用”，展示了将Copilot全面融入个人电脑（PC）的新型PC Copilot+ PC如何与AI应用程序（App）密切结合。
周一微软介绍过Windows Copilot Runtime中包含超过40个AI模型。周二Nadella将Windows Copilot Runtime类比为重磅Windows API Win32，因为它让开发者更容易利用AI打造自己的Windows App。
Azure AI现已结合GPT-4o Azure将率先使用英伟达Blackwell AI芯片
接着Nadella提到AI基础设施。他表示，微软拥有“世界上最全面的人工智能基础设施”，有望在2025 年以前实现数据中心 100% 由可再生能源供电，微软云计算Azure的AI 服务落地国家数量已增加三倍。
他说，微软将成为首批提供英伟达最新Blackwell AI 芯片的云服务商之一，与英伟达建立了“深厚的合作伙伴关系”。
Nadella称，如今，已有超过5万家组织使用Azure AI。借助 Azure AI，微软提供最广泛的前沿和开源模型选择，包括大语言模型（ LLM）和小语言模型（ SLM）。
周一微软称，OpenAI上周最新发布的旗舰模型GPT-4o将很快可以加持Copilot。周二微软宣布，集成文本、图像和音频处理的多模态模型GPT-4o现可在Azure AI Studio中使用，也可作为API使用。
Nadella在开发者大会现场透露，GPT-4o已经结合到Azure AI，称OpenAI上周的GPT-4o演示“非常神奇”，OpenAI 是微软“最具战略意义、以及最重要的合作伙伴”。
微软称，在OpenAI官宣GPT-4o 的同一天，微软就在 Azure OpenAI 服务上开放了该模型供测试，本周二微软就宣布获得GPT-4o 的完整 API 访问权限。
在社交媒体X，一些网友对此感到兴奋，一个高点赞评论称，这是全新的世界，向Copilot问好。
有网友呼吁，展示用于编写Python代码等原生App，想要说话和编码/复制聊天等内容能同时进行，而且不需要特意下什么命令或者按什么按键，就像有人和你待在同一个房间一样。
Azure AI可用文图小模型 Phi-3-vision OPPO新手机正测试Azure AI文本语言互转技术
微软开发的AI SLM Phi-3 系列周二发布了一款新的多模态小模型Phi-3-vision，它可在 Azure 中使用。
微软介绍，Phi-3 模型功能强大、经济实惠，并针对个人设备进行了优化。Phi-3-vision 有42亿参数，能够输入图像和文本，并接收文本回复。例如，用户可以就图表提出问题，或就特定图像提出开放式问题。
微软还透露，中国手机厂商OPPO正在其新款智能手机上试点Azure AI的语音转文本、快速转录和 Azure AI 文本转语音技术。
Team Copilot将个人助手变身团队会议主持人、聊天协作者、项目经理
微软推出多种Copilot的AI功能扩展。周二公布的一大扩展功能是Team Copilot。
作为Copilot系列生成式AI技术的最新扩展，Team Copilot将Copilot for Microsoft 365从幕后的个人AI助手，扩展为团队新的重要成员。您将能够在 Teams、Loop、Planner 等协作工具中调用Copilot。
Team Copilot能够在会议中担任会议主持人，管理会议议程、跟踪会议时间并记录会议要点；也可以在聊天中作为协作者，提供重要信息、跟踪行动项目并解决未决问题。它还可以担任项目经理，帮助确保每个项目顺利推进，并及时通知团队进行输入。这些初始体验将在今年晚些时候推出预览版。
社交媒体X的一条评论称，Copilot的扩展看起来很有趣，微软预览了一些明显从ChatGPT 复制过来的功能：Builder UI、自定义函数、GPT Mentions。
Copilot Studio升级 用户可定制AI代理
微软Copilot Studio升级，推出全新的Agent代理功能，让开发者能够根据特定任务和功能，构建主动响应数据和事件的Copilot。
基于这类新功能的Copilot通过记忆和知识了解上下文、推理操作和输入，基于用户反馈进行学习，并在不知道如何处理时寻求帮助，从而独立管理复杂、长期运行的业务流程。
从 IT 设备采购到销售和服务的客户接待，用户都可以让基于Copilot Studio构建的Copilot为其工作。在部署前，用户可以先测试自己设计的Copilot AI 代理，然后在多个渠道使用该代理。
GitHub Copilot扩展定制Copilot体验
作为微软生成式AI的首批重大运用，GitHub Copilot目前拥有180万付费用户。GitHub本周二推出首套由微软和第三方合作伙伴开发的GitHub Copilot扩展，现已开启受邀预览。
GitHub Copilot扩展用于打造智能的第三方生态系统。它的新增功能允许开发者、企业通过其偏好的诸如Azure、Docker、Sentry 等服务，直接在 GitHub Copilot Chat 中定制其GitHub Copilot 体验。
GitHub Copilot for Azure展示了如何利用自然语言和更广泛的功能来提高开发速度。通过 Copilot Chat 使用该扩展，开发者可以探索和管理 Azure 资源，同时排除故障、查找相关日志和代码。
微软周二宣布了一项浏览器的新AI 功能，让用户您观看视频时可以通过配音和字幕实时获得翻译内容。微软的Edge浏览器将“很快”在 YouTube、LinkedIn、Coursera 等网站上提供实时视频翻译功能。
该功能将支持西班牙语翻译成英语，以及将英语翻译成德语、印地语、意大利语、俄语和西班牙语。Edge还将支持路透社、CNBC 和彭博社等新闻网站视频的实时翻译。微软计划未来增加更多语种翻译以及扩大支持的网站范围。
媒体评论称，除了提供一种将视频翻译成用户母语的简洁方法外，Edge的新AI功能应该还会让失聪或有听力障碍的用户更容易观看视频。
有网友评论称，这种视频实时翻译的功能如果推出，绝对值得关注。问题是，翻译的准确性和流畅性如何，如何保留原说话者的口气和语调。
首款基于Arm Azure Cobalt虚拟机预览版 正式发布Azure ND MI300X v5虚拟机
去年11月，微软发布了首款自研AI芯片Azure Maia 100和首款自研云处理器Azure Cobalt 100。本周二微软宣布，在Azure Cobalt 100的基础上，推出基于Arm架构定制的Cobalt 100虚拟机（VM）预览版。它是第一代采用微软新Cobalt处理器的虚拟机，对运行通用工作负载和云原生工作负载时的效率和性能进行了优化。
Nadella介绍，相比同类型Azure 虚拟机，基于Arm的Cobalt 100虚拟机性能可提升多达40%，它是微软Azure推出的功效最高计算产品。
微软Azure硬件系统及基础设施负责人Rani Borkar也告诉媒体，其初步测试显示， Azure Cobalt的性能比目前其数据中心所用所用商用Arm服务器的性能高多达40%。媒体称，微软目前正在Microsoft Teams 和 SQL Server 等工作负载上测试Cobalt CPU，计划明年向客户提供处理各种工作负载的虚拟机。
Maia 100 目前正在 GPT 3.5 Turbo 上进行测试， GPT 3.5同样是支持 ChatGPT、Bing AI 工作负载和 GitHub Copilot的模型。与 Cobalt CPU类似，微软目前对Maia 100 处于部署的早期阶段，并未披露其具体规格和性能表现。
微软是首家将AMD的MI300X AI加速器芯片用于客户AI训练和AI推理的云服务商。本周二微软宣布，Azure ND MI300X v5虚拟机系列已正式发布，针对高需求AI，以及诸如Azure OpenAI Service的高性能计算（HPC）工作负载进行了优化。
数据分析平台Microsoft Fabric推出实时智能
微软的AI支持数据分析平台Microsoft Fabric也有新功能发布。该平台的用户可以利用实时智能（Real-Time Intelligence）进行即时决策，提供了端到端的软件即服务（SaaS）解决方案，让客户能够对海量的、时间敏感的高颗粒度数据采取行动，更快、更明智地制定业务决策。
实时智能现已开启预览，它不仅帮助数据分析人员获得简单的低代码/无代码体验，也通过代码丰富的用户界面让专业开发者受益。
Microsoft Fabric推出工作负载开发套件，让独立软件供应商（ISV）和开发者能够在 Fabric 中扩展应用程序，打造统一的用户体验。
微软携手可汗学院 免费为美国中小学教师提供AI助手Khanmigo
周二，微软和可汗学院（Khan Academy）宣布达成多元合作伙伴关系，旨在将AI的变革潜力转化为现实。
合作伊始，微软将协助可汗学院为美国所有相当于国内中小学教育的K-12教育者免费提供Khanmigo for Teachers。这款AI驱动的教育助手能够释放教师时间，让他们专注于最重要的事情——与学生互动并提供支持。微软还将捐赠Azure AI优化的基础架构权限，提升Khanmigo for Teachers的可用性。该服务将由Azure OpenAI Service提供支持。
可汗学院还将与微软携手，借助微软开发的SLM系列Phi-3最新版，探索以经济实惠、可扩展、适应性强的方式改进数学辅导。他们还计划将更多可汗学院的教学内容引入Copilot和Microsoft Teams教育版，为学习者提供更多资源。
觉得好看，请点“在看”
微信扫码关注该文公众号作者