随幻科技Jeff Hong：好莱坞级别的虚拟制作，普通人也能完成？ | OMEGA访谈录

如今你已司空见惯的电影特效，最早是上世纪30年代诞生的。当时的好莱坞开始探索定格动画、光学印片机等物理特效技术，以呈现诸如时间蒙太奇、科幻变身的场景，但能够完成的画面相对有限。

特效技术真正开始突破，与计算机的发展紧密相关：上世纪70年代，卢卡斯成立了一个名为Industrial Light & Magic（ILM）的特效团队，还聘请了计算机科学家协助研发数字图像合成，几年后，震撼全球的《星球大战》上线了。

在这之后，电影特效、数字图像渲染逐渐成为行业标配；《星球大战》系列成就了ILM，也将电影工业带入了计算机时代。此后的《黑客帝国》等电影，则尝试用CGI（computer-generated imagery）技术，探索出了「子弹时间」的特效。

技术更迭日新月异。如今随着AI、XR等技术的发展，电影技术已从电脑特效时代走向了AI特效时代，而过去大屏幕才能使用、动辄成本百万的技术，如今也不再遥不可及。

本期OMEGA访谈录，我们请来随幻科技的创始人兼CEO Jeff Hong，他同时也是OMEGA三期学员。随幻科技是国内领先的一站式AI和XR产品及服务平台，他们自主研发了人人皆可进入的互动式在线虚拟空间，让过往需要借助专业团队的特效和视频制作普及化、成本也更可负担。本期他会和大家分享：

1.随幻科技是一家什么样的公司？

2.如何将专业的影视制作技术普及化？

3.如何保证内容生产的「质」与「量」？

4.XR设备和AI的发展对行业带来了哪些影响？

5.来到OMEGA的收获和建议

“我们将专业的影视制作技术普及化了”

先请Jeff介绍一下随幻科技这家公司。

我是随幻科技的创始人兼CEO Jeff Hong。从应用领域来说，随幻科技是一家提供视频生产和直播的解决方案/产品的公司。视频生产的领域很大，但我们更专注于利用3D数字资产以及数字人、AI和XR技术，提供有专业度的视频生产。

它和一般的用手机直播有所不同，简单来说就是，我们提供相应的软件和工具，使得用户能够将三维场景、真人和数字人融合在一起制作成视频，然后传播给观众。

2020年，随幻成立前夕，我们为小鹏汽车打造了业界第一场计算驱动的发布会，我们可能也是行业内首家为小鹏汽车打造线上发布会的公司。当时由于线下活动受限，小鹏汽车需要做一场线上发布会，他们追求的效果是——不仅不输于线下实景发布会，还要能超越线下实景发布会。

后面我们的服务慢慢扩展到直播、短剧、TVC广告以及教育等多个领域。平时大家只能在电视上或者影视特效上才能看到的一些内容，现在我们能够让它们在一个普通的环境下或者是在办公环境中生成，等于说我们将专业的影视制作技术普及化了。

让好莱坞电影级特效飞入寻常百姓家

请您介绍一下3D虚拟数字技术的发展历史。

虚拟拍摄、虚拟制作，乃至现在的虚拟直播等等，其实并不是新技术。最早它被用在好莱坞的电影特效中，原先是用绿幕拍摄素材，然后进行抠像、合成等等流程，非常耗时耗力，投入成本等也非常大，所以过往这些技术往往只被专业的影视制作人员所使用。

后来随着时间推移，虚拟拍摄和制作技术逐步被应用于电视领域，比如我们熟知的天气预报、体育演播室、春晚舞台，从电影过渡到了电视的阶段，在电视阶段普及化。不过它还是面临一些问题，之前只有那些规模较大的电视台或视频平台，才有能力采用这些技术。因为传统的设备、技术、体系、解决方案还是非常复杂的，需要由专业人员来操作和使用，而且这个“专业人员”还是一个团队，不仅包括专业的美术人员，还需要导演、导播、内容制作人员，以及技术编程工程师等，才能支撑起整套系统的运作。

还有一个点在于，我们有了这套系统还不够，大家最后看到的背后的3D数字资产，对于企业或者电视台等等之类的用户来说，也不足以靠自身力量来解决这个问题，他们经常需要找外面的团队来生产内容，所以使用成本很高，同时制作周期也会比较长。

我们当时也是看到了这样一个机会，就是如何将这些专业技术普及化。就像今天我们拍视频，很多工作室、个人都可以拍，但在很多年前，只有电视台等专业机构才能制作。我们的目标是将过去好莱坞或电视台才能使用的专业制作技术，变得适合企业甚至个人使用。

于是我们将其简化成一个普通人经过几小时学习就能使用的东西，不需要那么专业复杂的设备，通过一台普通的PC就能完成高质量的制作任务。同时我们提供大量可供用户自由编辑的数字资产、数字场景，让用户能够根据自己的需求进行DIY创作。我们通过降低技术门槛，提供丰富的资源和工具这三个维度，推动了虚拟制作技术的普及和应用。

这种使用上的低门槛、轻量化、专业化要求，技术上有什么门槛和壁垒吗？如何确保这样的产品的稳定性？

技术的发展更多是基于算法，这是整个行业的事情。为什么这个技术飞跃发生在近几年，而不是在更早的时间？这与我们日常使用的3D引擎的不断成熟、性能提升，以及显卡算力的增强都密切相关。

我们的核心任务是解决几个关键问题。

第一，是虚拟场景与真人的融合。它涉及到将真人融入到虚拟空间中，并在此基础上渲染出视频——无论是用于录制还是直播。这其中就有一个人与虚拟场景的融合的关系，以往这种融合是通过人工操作来进行处理的，比如根据虚拟环境来打特定灯光，在实际环境中打特定灯光，使两者看起来自然融合，但普通人肯定是不具备效果很好的条件。

如何在产品端“傻瓜式”地来解决这个问题？其实这就涉及到人工智能（AI）和计算机视觉（CV）算法。

第二，内容制作这一块，如果是专业的应用，比如一台晚会、一台舞会、一个电影，其实是低频次的事情，但一旦用于直播，它又是一个频次很高的事。用户对内容的独特性和创新性有很高的要求，如何高效供给内容就成了问题。我们不仅需要考虑如何利用3D技术来合成具有视觉冲击力的效果，还涉及到3D数字资产的创建和使用，以及如何稳定且快速地生产内容。这可能包括开发自己的3D编辑器，以期稳定快速地生产内容。无论是企业自身、合作伙伴，还是最终用户，都能够轻松地生产和使用3D内容。

我们怎么提供这样一套工具呢？这一块其实就看对产品的打磨，以及对引擎底层技术的一些研究。那怎么解决一些稳定性的问题，怎么确保不会在直播中发生一些事故等等？这就是产品在设计和推出的时候的一些考量了。

如何兼顾虚拟场景的「质」与「量」

其实随幻不仅要有技术能力，还需要有美工能力，因为要做一个非常美轮美奂的背景，对美术团队的要求很高。您怎么解决目前内容生成里的美工问题？

精品的内容永远稀缺，如果内容要普及，那对内容的数量要求是非常多的，所以它本身就是矛盾的。随幻解决保质保量的问题，基本上有两个路径：第一，技术驱动，通过技术手段提高制作效率；第二，打造内容创作的生态系统。

我们的内容的灵魂人物，恰恰来源于传统的影视行业，原来也是从事电影特效制作。影视行业天生对内容有很高的要求，但传统影视制作往往是项目制的，所以我们在打造这个东西的时候，其实面临一个问题：如何提高美术人员的工作效率，减少他们在单个项目上的时间投入？如何像搭乐高积木一样制作这种精美的3D数字资产？

因为它不同于Roblox或我的世界这类游戏，游戏的画面要求与视频或影视的要求相差甚远。我们需要打造的是能够产出高质量视频的3D内容资产，所以我们更多需要考虑接近真实的工程问题，以及一些资源融合问题。这正是我们过去两年一直在努力解决的，而通过努力，目前我们至少将内部生产效率提高了大概4到5倍。

另一方面是生态，我们还需要解决如何与合作伙伴共同打造内容的问题。这也是通过两个途径解决：

1. 通过将大量原有的3D数字资产导入到我们的产品、系统和平台中，这涉及到格式转换的问题。例如我们与SMG签订了战略合作协议，SMG拥有许多实景舞台和虚拟舞台的数字资产，包括各种运动会、世博会和电视台的各种演播室、舞台等。这些数字资产将被整合到我们的产品应用中，服务更多的用户。

2. 鼓励更多的合作伙伴参与内容生产。既然我们已经提高了内部的生产效率，那我们是否可以降低生产高品质3D内容的门槛，吸引更多的合作伙伴使用？所以我们就将内部使用的工具提供给一些合作伙伴试用，帮助他们快速生产内容。这样我们就降低了门槛，许多美术院校的学生也能使用我们的产品来生产大量的场景。

这个IP怎么归属？ 

IP还是归属于创作者，只是TA做完以后会上传到我们的平台库里面，然后我们会有统一的定价，有用户为此来付费使用，就按照一定比例来双方共享。

积极拥抱新技术，凡事发生皆有利

如今各种各样的硬件层出不穷，它会给随幻带来什么样的影响？比如Apple Vision Pro或者Meta Quest，这类硬件会给随幻带来利好吗？

我觉得对我们而言其实是一个利好。因为我们的3D数字资产要想发挥它最好的体验，最好的设备就是XR设备。目前XR设备在用户体验上还未达到最舒适的状态，所以它还没有大规模普及。如果XR设备能发展更快、迭代更快，对我们而言会是一个非常大的利好，因为那意味着我们大量的这种数字资产，以及我们这样的产品以及这样的内容，将不再局限于传统的电脑和电视等平面终端，自此多了一个很大的应用领域。

AI在当下以及未来会如何影响你们的工作流？

我们做很多的3D数字场景的时候，第一步一般是出概念设计，从平面图开始，逐步发展到3D制作，最终形成一个完整的作品。现在AI就能解决很多，已经能够显著提高设计效率。例如，Sora等产品在未来一两年内可能会进一步解决素材问题，包括空间转场等。以前我们常常需要通过网站或其他渠道，寻找合适的素材购买版权后才能使用。现在这些AI产品使得这个过程效率更高，能够帮助我们快速找到所需的素材。

尽管如此，目前AI还不足以制作一个完整的内容。无论是XR拍摄还是AI技术的应用，它们都只是一个实现目标的手段，包括我们XR里其实已经有很多是用了AI算法的。

目前随幻已经在切实地帮助一些直播品牌来解决降本增效的问题。我也想问问您，它的成本大概是什么量级？所有品牌都标配一个3D场景和虚拟人的阶段，您觉得什么时候会到来？

这几年我们陆续为超过2,000家品牌客户提供了服务，举办了近一两万场线上活动，以及用随幻的产品生产视频，客户包括卡地亚、欧舒丹、美的、小鹏等等。我们会根据客户市场和客户需求，沉淀出具有共性的通用化产品，因此成本方面有高有低，差异较大。但对于个人用户而言，随幻也提供个人用户能够负担使用成本的产品。

大客户更看重的是结果。即便产品易于使用，他们仍需考虑学习成本、风险性、稳定性和安全性。因此，他们更倾向于将产品应用转化为服务采购，这样成本自然会上升。这种做法符合他们的商业思维逻辑。

作为我们OMEGA三期学员，您对OMEGA这个项目有什么建议和意见吗？

在OMEGA的学习对我帮助非常大。我原本以为这会和一般的商学院课程或组织活动相差无几，但真正参与其中后，我发现我们三期学员的学习热情异常高涨。原因在于这些课程邀请的老师，为创业者提供了更高一层的视角，帮助我们从更高层次审视问题。我们可能在创业过程中更专注于日常事务和在我们行业内部发生的事情，但是老师其实有很多的视角来看我们的一些东西，这些视角也给我们带来很多思考、建议和参考。

另外一方面，我觉得我们很多学员在一起，有很多的碰撞、沟通，甚至是合作业务这样协同的机会，对企业也是帮助蛮大的。建议的话，我觉得这个课程数还可以再增加一点。每次老师传授的内容都非常丰富，但总感觉时间不够用。我们内心迫切希望能够接受更多的知识，吸收更多信息。