Bendi新闻
>
从啥也不会到DPO：大模型微调（Fine-Tuning）实践经验最全总结
从啥也不会到DPO：大模型微调（Fine-Tuning）实践经验最全总结
6月前
详细大纲
课程介绍与目标 学习安排与课程结构 学员参与要求 课程项目与技术概览 推荐工具和开源资源
大模型的概念与历史发展 关键技术和算法基础 数据准备与预处理 预训练、指令微调、对齐 模型评估以及能力分析
微调与全量训练的区别 微调在不同领域的应用案例 选择微调任务和数据 微调的效果评估方法 微调项目的规划与管理
Transformer模型的基础架构 Self-Attention机制的工作原理 Transformer在NLP任务中的应用 Transformer模型的变种与发展 使用Transformer模型的实用技巧 Encoder和Decoder介绍
常见的中英开源大模型介绍 模型选择标准与评估 开源模型的获取与使用 社区支持与资源分享 开源大模型发展方向
Huggingface介绍 本地下载开源模型 理解HF相应的库以及导入大模型 模型封装以及部署 性能优化与成本控制
指令微调的概念与应用价值 指令集设计与实现 微调流程与实践技巧 性能评估与优化策略 指令微调的挑战与解决方案
LoRA微调的方法 实施LoRA微调的步骤 LoRA微调在实际项目中的应用 性能评估与调优技巧 LoRA微调的局限与未来展望
Alpaca项目介绍 指令数据的理解 LoRA微调的实施与调优 项目评估与效果分析 经验总结与案例分享
为什么需要大模型压缩 模型压缩的方法与技术 压缩对模型性能的影响 压缩模型的常见方法 模型服务化的最佳实践
QLoRA微调技术介绍 微调策略与实施过程 应用QLoRA的案例 QLoRA微调的性能调优 面临的问题与解决方法
设计QLoRA微调方案 准备数据与环境配置 开源模型选择 执行微调与性能监控 项目经验分享与讨论
DeepSpeed框架概述 配置与环境搭建 在大模型训练中使用DeepSpeed 分布式训练介绍 框架背后技术实现 DeepSpeed参数理解 实战案例与经验分享
Megatron-LM框架介绍 框架安装与配置指南 应用Megatron-LM进行模型训练 框架背后技术实现 Megatron-LM参数理解 实战案例与经验分享
为什么需要Flash Attention GPU计算背景知识 Flash Attention技术背后 在大模型中应用Flash Attention 实际部署与应用案例
微调模型性能测试的重要性 Benchmark工具与方法介绍 执行Benchmark的步骤与技巧 结果分析与解读 Benchmark设计与业务场景
结合QLoRA和Flash Attention的策略 微调与部署的一体化流程 项目实施的关键步骤 成果评估与性能优化 经验分享与问题解决
开源模型的概述 常见的开源模型分类 选择开源模型的考量因素 开源模型的获取和使用指南 维护和贡献开源模型的最佳实践
ChatGLM模型家族介绍 ChatGLM1到ChatGLM3迭代 ChatGLM的私有化部署 ChatGLM的特色 微调ChatGLM模型的步骤和技巧 微调案例分享
理解需求以及技术方案设计 医疗指令数据的搜集 医疗Benchmark的获取和整理 微调ChatGLM+LoRA模型 微调案例分享
Qwen和YI模型家族概述 两个模型家族的迭代 Qwen和YI大模型的私有化部署 两个大模型家族的特色 微调Qwen和YI模型的实践指南 微调案例分享
LLaMA模型家族特点 LLaMA大模型的迭代和架构变化 LLaMA大模型的私有化部署 微调LLaMA模型的方法和建议 LLaMA模型微调的案例分析 微调案例分享
Mistral和Phi模型家族简介 Mistral和Phi在多语言中的应用 两大模型家族的特色 量大模型家族的私有化部署 微调Mistral和Phi模型的流程 微调案例分享
MoE（Mixture of Experts）模型概念 MoE模型在大规模数据处理中的优势 微调MoE模型的关键点 MoE模型的应用案例 MoE模型的扩展性和可维护性问题 Mistral 8x7b 微调案例分享
理解需求以及技术方案设计 智能客服指令数据收集 Benchmark的获取和整理 微调Mistra 8x7b+QLoRA模型 模型评估以及验收报告制作
Baichuan中文大模型 Falcon模型家族 Bloom模型介绍 不同领域开源模型的应用实例 微调这些开源模型的技术指导
评估开源模型的关键标准 匹配项目需求和模型特性 实践中选择开源模型的经验分享 开源模型使用中的常见陷阱 社区和资源的重要性
大模型对齐的重要性和应用场景 基本对齐技术和方法概述 对齐过程中的数据处理和预处理 模型对齐的评估指标 大模型对齐的挑战和策略
开源数据集的重要性和来源 选择和处理对齐用的开源数据 开源数据在模型对齐中的应用 数据隐私和伦理考量 维护和更新开源数据集
RLHF（强化学习从人类反馈）技术介绍 RLHF在模型对齐中的应用案例 实施RLHF技术的步骤 RLHF技术的效果评估 解决RLHF应用中的问题 RLHF实战案例分析
DPO（Direct Preference Optimization）概念 DPO在优化模型对齐中的作用 实现DPO的关键技术点 DPO应用的案例和效果分析 DPO技术的挑战和前景 DPO实战案例分享
需求分析以及技术方案设计 数据收集和预处理 训练Reward Model 训练RLHF完整微调 项目的评估和优化
需求分析以及技术方案设计 对齐数据的准备和处理 执行DPO模型对齐流程 对齐效果的评估和调整 项目中遇到的挑战
当前大模型对齐技术的发展趋势 模型对齐在大模型中的真正价值 对齐在工程上挑战 模型对齐技术的伦理和社会影响 资源推荐和学习路径
垂直领域的研发符合中国现状 垂直领域大模型研发pipeline 微调大模型的基本方法和流程 选择合适的微调策略 微调中的性能优化技巧 微调项目的评估和调整
智能问诊领域的应用场景和需求 大模型能力维度设计 领域内benchmark设计 快速测试开源模型能力并选择合适的模型 微调模型以适应医疗数据 模型部署以及RAG设计
金融领域通用大模型需求分析 金融领域大模型benchmark XuanYuan开源项目剖析 金融领域大模型案例解读 微调模型在金融Benchmark上的评估 金融领域中的未来潜在落地场景
教育领域的大模型应用场景和需求 微调大模型进行个性化学习支持 EduChat开源项目剖析 指令数据和对齐数据的整理 Benchmark以及大模型评估 教育领域中的未来潜在落地场景
课程学习要点回顾 项目成果分享和评估 学习心得和经验交流 未来发展趋势和学习路径
课程主讲
中科院博士 头部金融科技公司资深算法专家 曾任埃森哲人工智能实验室数据科学家 拥有丰富的大模型微调/情感分析/博文品牌识别/问答系统等各类项目经验
多家上市公司技术战略顾问 曾任金融科技独角兽公司首席科学家 曾任量化投资初创公司首席科学家 曾任美国亚马逊推荐系统工程师 深耕人工智能领域十余年，授课培养AI学员数万人
报名咨询
微信扫码关注该文公众号作者
来源：PaperWeekly
相关新闻
总结！大模型微调（Fine-Tuning）的常见方法深入解析大模型主流微调方法：从LoRA、QLoRA到Flash Attention、增量学习文末送书！大语言模型应用指南：以ChatGPT为起点，从入门到精通的实践教程张钹院士：从大语言模型到通用人工智能文末送书！解构大语言模型：从线性回归到通用人工智能王煜全CES展大总结（一）香港金管局央行数字货币的探索：从批发CBDC到零售CBDC（下）香港金管局央行数字货币的探索：从批发CBDC到零售CBDC（上）从焦虑到从容：求职过程中的经验总结AI视觉的“大一统”：从CV到多模态，从行业大模型到机器人，旷视如何布局？北京民族志电影史：从王朝末日到市井生活（1900-1949）危机时刻（二）：从欧文·费雪、凯恩斯到辜朝明、伯南克危机时刻（一）：从欧文·费雪、凯恩斯到辜朝明、伯南克今日arXiv最热NLP大模型论文：COLING2024发布数据集揭示从莎士比亚时期开始的性别偏见今日Arxiv最热NLP大模型论文：AllenAI最新研究：让AI从简单学起，竟然能解决难题？从「开城」到「无图」：大模型砸下来的钱好赚吗？从“百模”到“千体”：大模型智能体的竞争格局、商业模式和技术挑战万字长文总结多模态大模型最新进展（Modality Bridging篇）从入门到精通：产品经理岗位能力模型构建全指南内网穿透快速入门！教你从外围打点到内网穿透（零经验上手！）图解大模型计算加速系列：Flash Attention V1，从硬件到计算逻辑试驾排到凌晨3点！小米汽车店员忙到飞起：从没见过这么多人！蔚来、问界突然亮出大动作，特斯拉：Model Y全系涨价5000元！从F1到EB5绿卡：学生签证转美国绿卡的最全攻略！从普通员工到销售主管：二胎宝妈如何更好地兼职写作，既能兼顾好孩子，又能为工作赋能？（内附10W＋文章写作方法）