阿里安全大模型工程实践、NVIDIA NIM 推理微服务解析 | 研讨会直播预告

7月前

5月16日19点，智猩猩将举办「企业级大模型工程实践在线研讨会」。阿里巴巴 AI 基础架构工程师刘彬（花名：慧原）、NVIDIA 软件解决方案架构师吴金钟两位技术专家将分别做题为《阿里安全大模型工程实践》、《NVIDIA NIM 推理微服务加速企业级生成式 AI 应用落地》的专题分享和线上答疑。

演讲介绍

演讲一：阿里安全大模型工程实践

演讲嘉宾：刘彬（花名：慧原），阿里巴巴 AI 基础架构工程师

演讲时间：5 月 16 日 19:00 – 19:30

内容概要：

本演讲将深入探讨在阿里安全在大模型应用、特别是 Transformer 模型的工程实践和优化策略。演讲将从模型的结构分析、训练、部署、推理优化、量化技术到未来规划，向 AI 领域的工程师、研究人员和开发者，提供阿里安全团队在大模型技术应用的阶段性实践成果分享。在具体实践中，阿里安全采用 NVIDIA NeMo 框架和 TensorRT-LLM 显著优化了模型训练与推理性能。其中 NeMo 在多卡环境可实现 2-3 倍的训练加速，TensorRT-LLM 结合 SmoothQuant Int8 可实现领先的推理加速比，动态批处理策略 (Dynamic Batch) 将计算步骤减少 30%，实际 QPS 增益 2-3 倍。Prompt 优化策略在特定业务中提升吞吐高达 10 倍。整体优化成果显著增强了模型性能与业务效率。

听讲受益：

1. 技术洞察：深入理解大模型在实际应用中的工程挑战与优化策略，特别是在 Transformer 模型的处理、分布式训练和资源管理。

2. 应用实践指南：对于 AI 开发者和工程师，演讲将提供明确的模型训练、部署、优化、量化技术方案，如应用 NVIDIA NeMo 框架、TensoRT-LLM 推理加速库、动态批处理策略（Dynamic Batch）、Prompt 优化策略等，值得借鉴学习。

3. 量化决策：模型量化方法和评估的介绍，帮助您在选择适合业务的量化方案，平衡精度与资源消耗。

演讲二：NVIDIA NIM 推理微服务加速企业级生成式 AI 应用落地

演讲嘉宾：吴金钟，NVIDIA 软件解决方案架构师

演讲时间：5 月 16 日 19:30 – 20:00

内容概要：

进入 2024 年，企业正将注意力转向大规模生产部署，其中包括将 AI 模型连接到现有企业基础设施、优化系统延迟和吞吐量、日志记录、监控和安全性等。这种生产路径既复杂又耗时，需要专业技能、平台和流程，尤其是在大规模部署的时候。

NVIDIA NIM (NVIDIA Inference Microservice) 可以帮助企业解决上述问题。NIM 是一个容器化的推理微服务，包含行业标准 API、特定领域的代码、优化的推理引擎和企业运行时，是 NVIDIA AI Enterprise 的一部分。它是一种全新的软件打包和交付方式，能够快速部署各种定制 AI，并简化生成式 AI 模型在数亿 GPU 环境上的部署，包括云、数据中心和 GPU 加速的工作站。

本演讲将介绍 NVIDIA 如何通过 NIM 推理微服务赋能企业快速实现生成式 AI 技术的实际应用落地，共分为三个核心部分：NIM 概述、NIM 加速生成式 AI 全流程构建、通过 NIM demo 展示其可无缝接入现有 AI 开发管道、快速构建行业 AI 应用、快速构建多智能体 AI 应用的能力和巨大潜力。

听讲受益：

4. 企业决策者：了解 NIM 推理微服务如何简化生成式 AI 部署，加速业务转型，降低模型的选型、开发、验证、服务迁移等一系列成本，并大幅提升部署效率。

5. 技术团队：获取 NIM 推理微服务实现生成式 AI 快速大规模部署的实践指南，从数据处理到部署、优化、评估、推理，一站式解决方案。

6. 开发者：学习如何集成 NVIDIA NIM 推理微服务到现有 AI 开发管道，通过快、好、省的方式实现概念验证。

7. 研究人员：了解 NVIDIA 针对 LLM 推理和部署优化所提供的软件及微服务，包含可用来支持各类大模型推理优化和部署的 TensorRT-LLM 及Triton 推理服务器等技术。