做生成式AI时代的构建者

5月前

好消息，来自零一万物的Yi-1.5 6B/9B/34B的基础模型已在亚马逊云科技中国区域正式上线SageMaker Jumpstart；同时，来自百川智能的Baichuan-2 7B基础模型也即将上线亚马逊云科技中国区域的SageMaker Jumpstart。“这不仅标志着亚马逊云科技对于中国区投入的长期承诺，也彰显了我们与国内领先合作伙伴共同赋能客户生成式AI业务的决心。”亚马逊云科技大中华区产品总经理陈晓建兴奋地表示。

今天，我们正处于生成式AI这一变革时代。有亚马逊云科技提供的工具、产品、解决方案以及合作伙伴生态作为助力，每个人都面临着成为生成式AI构建者的绝佳时机。

降低生成式AI的应用门槛

作为赋能者，亚马逊云科技打造了面向生成式AI的三层技术栈，以帮助用户简化AI的部署与应用。

由下至上，最底层是以GPU和亚马逊云科技自研芯片为代表的基础设施，主要用于基础模型的训练以及在生产环境中运行推理。

中间层是以Amazon Bedrock为代表的，提供可以访问所需基础模型，以及构建和扩展生成式AI应用程序的丰富工具。

顶层则是以Amazon Q为代表的，利用基础模型构建的开箱即用的生成式AI应用程序，基于此，用户无需任何专业知识，即可快速上手生成式AI。

生成式AI技术本身是高门槛，但是将AI投入生产环境，为用户带来实实在在的价值，却必须捅破技术这层窗户纸，降低应用的门槛。亚马逊云科技就是在先进技术与用户之间的桥梁，以成熟的工具和服务，加速生成式AI在各行各业落地应用。

下面，就让我们抽丝剥茧，探究一下亚马逊云科技的三层技术栈，究竟是如何将生成式AI带入企业级应用环境的。

生成式AI需要什么样的底座？

用于基础模型训练和推理的基础设施，必须发挥中流砥柱的作用。虽然许多客户可能不直接参与构建基础模型，但亚马逊云科技在这一层的深入投资，增强了在更高层级提供服务的能力和效率。

“技术架构演进的过程中有三个不变的核心需求——基础组件能力、架构体系创新、多元技术融合。”亚马逊云科技大中华区解决方案架构总经理代闻表示，“我们应该看清变化的技术和不变的需求，积极推进架构演进，连接未来的想象。”

基础组件的能力决定了架构设计。云计算的最基础组件是计算、存储和网络，其中又以计算为最核心的组件。训练和推理工作负载会消耗大量算力。为了使生成式AI应用在经济上可行, 客户需要在专门构建的、高性价比的芯片和计算实例上运行训练和推理工作负载。

陈晓建表示，亚马逊云科技是客户使用NVIDIA GPU的卓越选择。亚马逊云科技中国区域正式推出了基于英伟达A10G GPU的Amazon EC2 G5实例，帮助中国区的客户运行生成式AI工作负载提供更好的性价比。Amazon EC2 G5的性能是Amazon EC2 G4DN的3倍，而推理性价比提升了40%。已经有很多客户使用Amazon EC2 G5实例处理基于Llama基础模型的微调与推理等。

英伟达为建造世界上最快的GPU超级集群，也选择与亚马逊云科技共同创立Project Ceiba，它搭载了超过2万个英伟达最新的Grace架构Blackwell 200超级芯片和第四代EFA网络，每个超级芯片可提供高达800 Gbps的网络带宽，其AI算力可以达到惊人的414 exaFLOPs。

在自研芯片方面，亚马逊云科技也丝毫没有懈怠。在过去五年中，亚马逊云科技在定制芯片领域的投资带来了机器学习训练和推理成本的大幅下降，其中，基于Amazon Trainium的Trn1 EC2实例和基于Amazon Inferentia芯片的Inf2 EC2实例，与类似的基于英伟达GPU的Amazon EC2实例相比，分别将训练成本降低50%，推理成本降低40%。亚马逊云科技定制芯片的优势不仅体现在成本和性能上，还体现在可持续性上。其中Amazon Inferentia2可以将深度学习推理能效提升50%，Amazon Trainium将深度学习训练能效提升25%。

在网络和存储方面，代闻介绍说，基于Nitro创新带来的服务器网络性能提升，结合新的数据传输协议和路由协议，亚马逊云科技得以建成超大规模数据中心网络 UltraCluster。它支持的GPU实例可以到两万台。在最新的Nitro平台支持下，单个虚拟机的最大IOPS可以达到400K，存储带宽为100Gbps。“亚马逊云科技重写了主机和闪存之间的闪存转换层算法，并且将这一算法运行到Nitro系统的一块芯片里，从而将SSD的访问延迟降低了60%，抖动减少了75%。”代闻如是说。

Amazon SageMaker是深受AI用户青睐的一款托管机器学习服务，它让开发人员可以轻松构建、训练、微调和部署基础模型。Amazon SageMaker拥有大量创新功能，包括自动模型微调、分布式训练、灵活的模型部署选项、机器学习操作工具和面向负责任AI的内置功能等。目前，Amazon SageMaker HyperPod已正式可用，它能将训练模型的时间减少多达40%。另外，像Amazon SageMaker Jumpstart能够提供模型选择、深度模型定制和评估等功能。亚马逊云科技正不断拓展SageMaker Jumpstart中的基础模型种类，计划将更多国内领先的基础模型引入其中，从而为开发者提供更多、更便捷的选择。

加速生成式AI应用的构建

使用基础模型加速生成式AI应用的构建，Amazon Bedrock首当其冲。陈晓建表示，几乎所有行业的客户都在使用Amazon Bedrock重塑用户体验、产品和流程，并将生成式AI融入到他们的核心业务中。

Amazon Bedrock提供了四大差异化价值，包括模型选择、模型定制、应用集成和负责任AI，让生成式AI触手可及。

Amazon Bedrock是一项全面托管的服务，用户可以通过单一的API访问来自AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI和亚马逊等领先人工智能公司的高性能基础模型。举例来说，Claude 3模型是Anthropic在2024年3月发布的业界领先基础模型之一。作为Anthropic和亚马逊云科技的战略合作的一部分，Amazon Bedrock也同步首发了Claude 3模型家族的产品。今天，包括Claude 3 Haiku、Claude 3 Sonnet和Claude 3 Opus都已经在Amazon Bedrock中可用。成千上万的客户已经通过Amazon Bedrock体验到了Claude 3在认知任务中树立的新基准，以及这些模型具有的无与伦比的智能、速度和成本效率。

Amazon Titan模型是由亚马逊开发和预训练的自研基础模型。最新推出的Amazon Titan Text Embeddings V2模型是亚马逊自研的Embedding模型，针对RAG工作流程进行了优化，并与Amazon Bedrock的知识库无缝集成，可以高效地提供更丰富、更相关的响应。另外，最新推出的Titan Text Premier基础模型是Titan Text系列中最先进的型号，旨在为各种企业应用程序提供卓越的性能。

“不会有一个基础模型适应于所有生成式AI场景。”陈晓建建议，“客户应根据不同的时间，不同的应用场景灵活地选择不同的模型。为了帮助客户选择合适的模型，我们推出了Amazon Bedrock模型评估功能，帮助客户简化评估、比较和选择基础模型的过程。它是企业快速分析和比较Amazon Bedrock上模型的最快方式。”

在模型定制方面，自定义模型导入功能Custom Model Import for Amazon Bedrock、模型评估功能Model Evaluation for Amazon Bedrock、知识库功能Knowledge Base for Amazon Bedrock等可以为用户提供更多便利。

此外，Amazon Bedrock的Agent功能允许开发人员定义特定的任务、工作流程或决策过程，以增强控制和自动化，同时确保与预期用例一致。Agents for Amazon Bedrock现已支持Claude 3 Sonnet和Haiku模型。亚马逊云科技还引入了更新的控制台体验，支持简化的架构和控制返回，使得开发人员更容易上手。

特别值得一提的是，亚马逊云科技一直倡导负责任地使用AI。陈晓建表示，以安全、可信和负责任的方式部署生成式AI，是亚马逊在生成式AI领域的“最高行动纲领”。亚马逊云科技承诺以负责任的方式构建服务，同时重点考虑公平和偏见、稳定性、可解释性、治理、透明度、隐私和安全性等6大方面。举例来说，Amazon Bedrock Guardrails可以帮助用户轻松实施生成式AI应用程序的保护措施，并根据用户的要求和负责任AI政策进行定制。Amazon Bedrock Guardrails是当前主流云服务商所提供的唯一解决方案，可以帮助客户阻止多达85%的有害内容。

开箱即用的生成式AI应用

Amazon Q是强大的生成式AI助手应用，它从一开始就着眼于安全性和隐私性进行了构建，能够帮助用户加速软件开发，并更好地利用企业业务数据。亚马逊云科技最新发布的Amazon Q Developer、Amazon Q Business和Amazon Q in QuickSight均已正式可用。

Amazon Q Developer可以协助开发人员完成从编码、测试、升级应用到故障排查、安全扫描和修复、优化云资源等繁琐重复的工作，让开发者有更多时间专注于创新体验的开发，并且加快应用部署速度。举例来说，应用Amazon Q Developer可以有效消除技术门槛。利用Amazon Q Developer的代码转换功能，升级Java版本和依赖项，可以大规模消除技术冗余，自动执行应用程序升级，将数天的工作缩减至几分钟。

Amazon Q Business的愿景是让每个企业都能获得生成式AI的力量，从他们的所有数据中获得洞见，采取行动并构建应用程序。Amazon Q Business的四大应用场景包括统一的对话检索式体验、生成总结与提炼关键发现、提升内容创作的效率，以及简化任务流程。Amazon Q Business的Amazon Q Apps功能目前已经可以公开预览。使用Amazon Q Apps创建应用程序非常简单，员工可以用自然语言描述他们想要的应用程序类型。

总之，亚马逊云科技希望凭借在算力、模型和框架，以及应用层面丰富的产品和服务，成为企业构建和应用生成式AI的首选。

往/期/回/顾

从科技赋能到价值引领，东莞证券可进化的信创云建设启示录 “智算”雄起 | 智算操作系统要“顶天立地”

成为企业构建和应用生成式AI的首选！亚马逊云科技哪来的底气？

十年，亚马逊云科技合作伙伴网络开启AI新征程

亚马逊云科技突破生成式AI“最后三公里”

微信扫码关注该文公众号作者

来源：云数智观察

做生成式AI时代的构建者

相关新闻