Bendi新闻
>
大模型场景下智算平台的设计与优化实践
大模型场景下智算平台的设计与优化实践
4月前
小模型与大模型的区别主要体现在训练时长、成本和工程问题上。 大模型时代的智算平台需要解决基础设施、调度、应用和运维等方面的问题。 新的要求包括适配多种异构芯片、优化存储读写性能、高性能网络搭建等。
基础设施层面的问题包括适配多种异构芯片、固件和驱动兼容性等。 调度层的挑战涉及大规模异构算力的高效调度和分配。 应用层的需求包括训练和推理加速、训练容错等。 运维方面的目标是提高故障处理能力和容量管理效率。
在基础设施层，讨论了国产卡与NV卡的兼容性、混合多芯的使用、高性能存储方案等。 调度层的技术实践包括提高单卡资源利用率、GPU虚拟化、资源管理和调度逻辑等。 应用层的技术实践涉及AIAK训推加速、训练容错、Flash Checkpoint等。 运维方面的实践包括故障处理、容量管理、任务性能调优等。
智算平台的发展应致力于简化下层复杂性，使GPU的使用更加便捷。 应定位于连接异构资源和承载AI平台的关键角色。 发展趋势显示预训练难度增加，领域微调多样化，模型推理可能迎来新的增长。
相关阅读：
InfiniBand高性能网络设计概述 面向E级计算的4款高性能处理器概述 基于鲲鹏处理器的高性能计算实践 高性能计算关键组件核心知识 一文全解高性能制造仿真技术 高性能计算：RoCE技术分析及应用 高性能计算：谈谈被忽视的国之重器 高性能计算：RoCE v2 vs. InfiniBand网络该怎么选？ 高性能网络全面向RDMA进军
Intel下一代数据中心CPU：Chiplet设计，性能240%提升
温馨提示：
扫描二维码关注公众号，点击阅读原文链接获取“架构师技术全店资料打包汇总(全)”电子书资料详情。
微信扫码关注该文公众号作者
来源：架构师技术联盟
相关新闻
大模型增强下的图智能在金融场景的应用与实践大模型加持下的 AIOps 业务场景实践有哪些新“解法”？金融风控等场景的大模型应用，核心系统的国产化实践… 工银科技、平安壹钱包、华泰证券等确认出席 FCon帝国理工刘教授-大数据驱动下的纽约市出租车运营优化研究｜收获一作论文与导师推荐信！天弘基金：AI Agent在金融场景下的创新与应用实践阿里安全使用 NVIDIA NeMo 框架和 TensorRT-LLM 的大模型工程化落地实践大Batch训练大语言模型的探索与实践ACL 2024 | 多目标直接偏好优化MODPO：大语言模型的多目标对齐国产算力训练大模型的经验与教训医院是应用大模型最好的场景，但不是商业化的最好场景场景融合与 ROI 考量：金融大模型落地的两大困境有解吗？万字综述大模型高效推理：无问芯穹与清华、上交最新联合研究全面解析大模型推理优化大模型时代下的技术管理“新思维” ｜年度盘点与展望6月AI探索：深圳百位产品人集结，与实战专家共探AI大模型的行业落地实践曾经火出圈的提示工程要死了吗？危！大模型能自己优化Prompt了北大学生优化清华系大模型，拿ASC全球超算大赛冠军大模型在金融支付 ToC 场景的应用探索：在技术创新与政策监管之间取得平衡优步使用谷歌云平台实现大数据基础设施的现代化只会写代码的程序员要不存在了？大模型浪潮下开发者概念泛化 | InfoQ 研究中心大模型时代的工业质检：技术革新与实践探讨零一万物李谋：当大模型推理遇到算力瓶颈，如何进行工程优化？2024傅盛开年大课：企业“私有化大模型的时代”来了？深度解码：AI 大模型的繁荣与困境 | Q福利从 CLM 启航：中国大模型的探索与未来