从开源角度看企业生成式AI落地之道

不可否认，开源对于生成式AI的创新发展将起到积极的推动作用。

实际上，当大模型刚开始成为热门话题时，关于大模型到底应该开源还是闭源的争论就不绝于耳。今天，我们已经可以看到一些苗头，诸如Mistral、LLaMA这样的开源AI模型，无论是自身的性能，还是在行业用户中的受认可程度都赶上甚至超过了闭源模型。

作为全球领先的企业开源软件解决方案供应商，红帽公司是如何催动开源之力，助AI快速落地的呢？在近日举行的2024红帽全球峰会上，红帽不仅发布了最新的企业Linux AI（RHEL AI），而且宣布了OpenShift AI的诸多更新。在混合云的世界中，加速开源生成式AI创新的普及，已成为红帽前进的新的驱动力。

OpenShift AI更具个性化和选择性

在人工智能方面，红帽致力于为用户提供应用的灵活性，以支持在数据所在地点运行AI工作负载，无论是数据中心、公有云还是边缘计算环境。红帽推出的AI平台提供了跨不同环境的一致性，使得企业能够更容易地管理和部署其AI解决方案。以红帽OpenShift AI为例，它是一个开放式的混合人工智能和机器学习平台，能够帮助企业在混合云环境中大规模创建并交付人工智能支持的应用，同时利用开放模型生态系统促进创新。从市场角度看，红帽通过包括OpenShift AI平台在内的一系列技术创新，以及与生态伙伴的紧密合作，不断增强自身在AI领域的竞争力。

概括来说，红帽在AI方面聚焦于提供灵活、一致的AI平台，以便更好地支持企业在各种环境中运行AI工作负载。此次红帽OpenShift AI在最新版本中增强了个性化和选择性。举例来说，最新的OpenShift AI 2.9提供了“边缘模型服务”，即利用单节点OpenShift，将AI模型的部署扩展至偏远地点。该服务即使在资源有限的环境（如断续的网络访问或气隙隔离的网络访问环境）中，仍可提供推理能力。目前，该服务处于技术预览阶段，能为企业提供从核心到云端再到边缘的可扩展、一致的运营体验，并提供开箱即用的可观察性。

再比如，OpenShift AI 2.9还提供了“增强型模型服务”，通过多个模型服务器支持预测式和生成式人工智能，包括对KServe的支持、vLLM和文本生成推理服务器、LLM和Caikit-nlp-TGIS运行时的服务引擎。这种增强型模型服务允许用户在单个平台上运行多个用例的预测式和生成式人工智能，以降低成本并简化操作。用户还可以轻松地为LLM模型提供开箱即用的模型服务，从而简化相关的工作流程。

另外，OpenShift AI 2.9还采用Ray来支持分布式工作负载，并且进一步改进了模型开发，同时很好地实现了模型监控和可视化，更增添了新的加速器配置文件。总的来说，OpenShift AI 2.9能够更充分地发挥红帽技术和方案在跨混合云环境中的灵活性，在提供基于客户数据增强的预先训练或策划的基础模型的同时，还能自由地利用多种硬件和软件加速器，使得AI模型更好地服务具体的业务场景。

“企业需要一个更可靠、更一致、更灵活的人工智能平台来提高其生产力、增加收入，并推动市场差异化。”红帽首席产品官兼高级副总裁Ashesh Badani表示，“为满足大规模企业人工智能的需求，红帽OpenShift AI能够在混合云中的各种位置部署智能应用，并可根据需求扩展和微调运营及模型，以满足实际生产应用和服务的需求。”

构建一个坚实的混合云基础，对企业落地AI到底有多重要？“现在，越来越多的模型运行在公共云中，参数量甚至超过万亿。尽管这些模型开箱即用，并能完成许多任务，但其运行和训练的成本非常高昂。当用户受限于云环境时，有很多场景其实是难以应对的。”红帽总裁兼CEO Matt Hicks认为，“无论是在笔记本电脑、工厂边缘还是汽车中，混合功能对于充分发挥AI的潜力都是至关重要的。我们必须持续改进AI模型，使其更好地适应实际任务和需求。而这就需要在特定用例上完成最后一段训练。这也是我们向全球领先的企业级Linux平台引入开源的InstructLab模型对齐工具的原因，目的是简化生成式AI模型的实验及调整对齐。”

为开源生成式AI应用增添新引擎

“受到外界多种因素的共同影响，企业的IT支出也会有所变化。一个趋势是，企业会更加倾向于投资GPU能力。这也反映出企业对于人工智能和自动化的重视程度。不断增加的投资有利于减轻工作负担，同时提高运行和维护的效率，也有助于增强安全性，从而让企业的员工更专注于业务本身。”Matt Hicks表示，“随着更多新技术、新工具投入使用，企业应用会变得更加自动化、智能化。”

红帽总裁兼CEO Matt Hicks

在这个过程中，最引人注目的就是人工智能如何与传统IT更好地融合。“能够运行一个已经构建好的模型只是一方面，更重要的是，能够通过训练模型来定制自己的解决方案，并在实践中加以应用。这就意味着需要将模型部署为服务，使用户可以更好地与之进行交互，调用它或向它提问等。这也正是我们深入谈论RHEL和RHEL AI，以及OpenShift和OpenShift AI的原因。”Matt Hicks如是说。

RHEL AI是一个基础模型平台，能够使用户更加便捷地开发、测试和部署生成式AI模型。RHEL AI整合了IBM研究院的开源授权Granite大型语言模型系列、基于大规模对话机器人对齐方法的InstructLab模型对齐工具，以及通过InstructLab项目实施的社区驱动模型开发方法。该解决方案被封装成一个优化的、可启动的RHEL镜像，用于在混合云环境中部署单个服务器，并且已经集成到OpenShift AI中。

众所周知，RHEL用于支撑所有可以在Linux上运行的应用程序，而RHEL AI则用于运行可以通过训练和定制的大型语言模型的AI部分；OpenShift用于管理可以在RHEL上以分布式方式跨集群运行的所有应用程序，而OpenShift AI则可以相同的方式管理一系列模型，并且高效地分割训练、使用和提供服务。“人工智能并不是孤立存在的，它只是企业的应用程序、员工、开发人员所使用的一种工具。”Matt Hicks表示，“我们注意到，传统技术与人工智能应用程序之间将产生许多交叉链接和整合。”

红帽致力于将自由获取、重复利用、透明开放以及鼓励贡献等开源项目的优势应用于生成式AI。RHEL AI融合了企业级就绪的InstructLab项目和Granite语言与代码模型，以及全球领先的企业级Linux平台，进一步简化了AI在混合基础设施环境中的部署。

在基于RHEL AI构建的基础模型平台上，开源的生成式AI模型能够轻松被企业所使用。RHEL AI为企业应用生成式AI提供了全面保障：红帽支持和保障的开源许可Granite语言和代码模型；提供支持并具有生命周期管理的InstructLab分发版本；通过RHEL镜像方式提供的优化可启动模型运行实例，包括Granite模型和InstructLab工具包、优化的Pytorch运行时库，以及针对AMD Instinct MI300X、Intel和NVIDIA GPU及NeMo框架的加速器；红帽提供的24小时全天候生产支持和扩展的生命周期支持等。

“在生成式AI时代，Linux仍将扮演至关重要的角色。尽管企业使用Linux的方式正在演变，但支持大型语言模型训练和推理的核心软件堆栈，例如PyTorch和Python堆栈，对Linux有着极大的依赖。Linux优化了这些软件的整合和性能，并且是GPU、CPU和新兴硬件类型之间的协调者。”Matt Hicks表示，“今天，Linux仍在不断发展，例如基于图像或模式的增强，从而提升了那些支持AI应用程序的设备的相关能力。在人工智能主导的领域中，Linux还是技术基础设施中的关键组成部分。”

企业可以在RHEL AI上试验和调整新的AI模型，并且可以通过红帽OpenShift AI来扩展这些工作流。OpenShift AI包含RHEL AI，并利用OpenShift的Kubernetes引擎训练和部署AI模型，以及借助OpenShift AI的集成MLOps能力来管理模型的生命周期。举例来说，IBM的watsonx.ai企业工作室就建立在红帽OpenShift AI上，当RHEL AI在OpenShift AI中可用后，将带来额外的企业AI开发、数据管理、模型治理和性价比的提升。

“RHEL AI的主要目标是利用硬件加速，在未来几年内它将覆盖NVIDIA、AMD、Intel等各类硬件，以便更好地支持模型的训练和运行。企业还可以选择来自Granite系列的大型语言模型，它的使用会更加安全可靠。”Matt Hicks表示，“红帽现有的混合平台重点关注的是应用程序的生命周期，通常从Linux开始，然后转向OpenShift、中间件和运行时环境。相较而言，RHEL AI更专注于为大型语言模型创建业务安全、管理生命周期和提供可预测性，并允许用户对其进行修改。对于推出RHEL AI这一套件，我们感到非常兴奋，因为它使得客户可以更容易地在生产环境中运行模型，并对其功能和安全性有更多信心。”

开源与人工智能相辅相成

开源与人工智能之间是相辅相成的关系。开源技术和文化不仅为人工智能的演进提供了肥沃的土壤，同时也是推动技术创新和社会进步的重要力量。比如，开源技术基于其自由、透明和协作的特性，为人工智能的研究和应用奠定了强大的基础。开源可以降低开发的门槛，而开源AI项目、算法与工具的共享，可以加速AI技术的创新。开源社区通过协作的力量，能够更有效地解决复杂的AI问题，推动技术的优化与快速迭代。

另一方面，随着人工智能技术不断走向成熟，开源社区也将面临新的机遇与挑战。这就需要开源企业、开源社区，扬长避短，加强行业规范和监管，同时加速技术创新，为开源模型、项目的落地提供更加全面、高效、安全、稳定的支撑。

从OpenShift AI到RHEL AI，红帽一直积极地在AI领域进行探索，并充分发挥了自身的技术特长和开源的优势。从底层硬件到服务再到工具，红帽为客户提供了全方位的支持，旨在加速创新，打造新质生产力。基于更灵活、扩展能力更强、适应性更佳的开源平台，企业能够更快地将人工智能部署在混合环境中，并应用于日常的业务运营中，挖掘新的业务增长点。

往/期/回/顾

从科技赋能到价值引领，东莞证券可进化的信创云建设启示录“智算”雄起 | 智算操作系统要“顶天立地”

从虚拟化走向云原生，红帽OpenShift“一手托两家”

生成式AI如何落地？红帽打了个样儿

企业级开源 比以往任何时候都更重要！

微信扫码关注该文公众号作者