拿摄像机对自己一通拍，就能做出一个跟你自由对话的AI NPC？英伟达已经这么强了么

10月前

数字生命听说过吗？先别急着回答，看看下面的视频。

视频中展示的两个虚拟角色，他们的对话都是由人工智能生成的，而且每次对话的内容也都是不重复的。这个项目叫做Kairos，是Convai使用英伟达ACE（Avatar Cloud Engine）制作而成的。简单来讲，ACE是一种人工智能定制服务，可通过人工智能驱动的自然语言交互，为NPC带来智能，使其拥有自主性，从而改变游戏。

其中使用最多的是ACE里面的Omniverse Audio2Face，就和他的名字一样，这是一个将声音转到3D角色面部的软件。Audio2Face的本质是3D角色面部特征进行动画处理，以匹配任何配音轨道，下面视频是游戏《潜行者2》的一段演示，游戏中的NPC“游民”和“可儿舒诺夫”面朝镜头向玩家说话，角色的面部表情和说话时嘴型的变化都如同真实的人一样。

放在过去，想要实现这种角色面部五官能配合角色说话的动画，需要把角色的面部分解成不同的点，每一帧每一帧地调整这些点，使其能对应上角色的口型变化。哪怕是过去画面特别好的游戏，角色在说话时面部表情也都是非常僵硬的，原因就在这里。整个动画制作过程是非常繁琐复杂的，短短半分钟的对话，需要耗费将近两个礼拜的时间来制作。

但是有了Audio2Face后，情况就不一样了。你只需要像视频里一样，找个摄像机拍下你念台词时的面部表情。最后导入进Audio2Face就完成了，角色的面部表情变化就会跟你一样了。甚至连那些非现实人类外观的角色，也能适配Audio2Face。

一些离我们比较近的游戏厂商，比如米哈游、腾讯和网易，也都在使用ACE进行游戏开发。腾讯在2023年TGA上公开了旗下光子工作室游戏《Last Sentinel》的预告片，采用的就是英伟达ACE提供的解决办法。

事实上早在2023年中期就已经有使用ACE进行开发的产品了，就拿上文提到的Kairos来说。2023年5月的时候，Convai发布了产品演示视频，通过ACE和生成式人工智能创建的NPC。只不过当时产品里只有一个NPC，2024年CES上展示的是有两个NPC，两个NPC之间还可以对话。

《潜行者2》此前的预告片里也能看出端倪，早期预告片中为了展示ACE带来的效率提升，特意加入了一些角色之间语气强烈的对话内容。在上文提到的最新版预告片里，则是干脆直接把角色正脸甩到镜头前，让玩家好好看，仔细看，ACE做出来的角色到底有多牛！

ACE是怎么实现的？

难道你就不好奇吗？英伟达ACE为什么能把工作量那么庞大的3D动画给安排的明明白白的？

ACE本身由4个部分组成，分别为动画人工智能、语音和翻译人工智能、生成式人工智能和通用场景描述（也就是图里的OpenUSD）。刚才提到的Audio2Face，就属于动画人工智能这块。

ACE的本体叫做统一计算架构（UCF，Unified Compute Framework）。这是一个比较典型的低代码架构，专门用于开发云原生、实时和多模态人工智能应用程序。它具有用于微服务和应用程序的低代码设计工具，以及一系列优化的微服务和示例应用程序。通过采用微服务架构方法，统一计算框架使开发者能够将微服务组合成云原生应用程序或服务，以满足交互式人工智能用例的实时需求。

请注意，在计算机领域的微服务，和现实世界的微服务压根不是一回事。这里的微服务是一种架构风格，它将一个大型应用程序划分为一系列小型、松散耦合的服务。每个微服务都围绕着特定的功能或业务能力构建，运行在自己的进程中，并通常通过轻量级的机制与其他服务进行通信。这些服务可以独立于彼此部署、升级、扩展和维护，从而提高了整个应用程序的灵活性和可维护性。如果把整个架构比喻成一台机器，微服务就是齿轮传动装置。

UCF中的每个微服务都有一个限定的域上下文（如视觉人工智能、对话人工智能、动画人工智能与渲染、数据分析等），并且可以在应用程序内独立部署、管理和扩展。从应用程序中抽象出每个域减少了对低层次域和平台知识的需求。利用UCF，开发人员可以在极短时间内就创建好需要的应用。这是低代码架构的优势，可以把过去需要几个月时间写的代码，仅仅只对UCF输入一段话，描述代码想要实现的功能，就能生成相应的应用程序。

所以从构成的角度来看，ACE的各种功能就是UCF上的各种微服务。不过微服务只是实现的方式，大量的3D图形计算光靠方式上的创新是绝不可能实现的。这里就要提到ACE的“靠山”了，那就是英伟达Omniverse。

光看名字，是否能看出一些门道呢？不错，Omniverse就是英伟达的元宇宙。Omniverse是一个可以精确模拟物理规则的3D场景工具，允许用户在Omniverse共享虚拟空间中进行实时协作。包括光线追踪和DLSS在内，只要是英伟达有的技术，Omniverse上面都有。2021年宝马的数字孪生（digital twin）就是在Omniverse上开发的。懂赛车的朋友可以把Omniverse想像成虚拟世界的风洞试验，只不过它运行的速度是现实中风洞试验的数万倍。

最重要的，Omniverse提供了英伟达对人工智能算法的优化以及算力支持，这就使得ACE可以依靠人工智能来实现传统3D动画领域没办法实现的功能。

举个简单的例子，腾讯的Vtuber星瞳，她是通过动作捕捉技术和Unity 5来实现的。Unity 5用的是企业版，服务器承载没有限制，一个月合人民币1000块钱出头。动作捕捉设备一套没20几万下不来，同时因为要进行实况直播，实时渲染对计算资源的需求非常大，服务器费用合计下来每个月也要1万多块钱。再加上这些技术都需要相关专业人士，星瞳每场直播的成本是非常高的。