我做了6节提示学习实战论文课（附20G训练资料）

作为最先进的AI学习方法，提示学习和指示学习（instruction learning）代表了目前NLP方向的新趋势，能够让AI系统对齐人类的意图，大大提高大语言模型的学习能力。

由于所涉及的检索和推断方法多种多样，提示学习的实施十分复杂，特别是训练一个属于自己NLP任务的Pre-training LM。

这次我综合整理了20G的语言训练资料，包含点评、社区互动、维基百科等，这些数据已经处理好了，可以直接二进制读取然后进行训练。

扫码回复“提示学习”

获取训练合集

这次我邀请了在阿里和微软亚洲研究院等公司进行NLP相关项目的John老师在1月25日晚20：00来分享提示学习的学习策略，此次课程的主题是—《Introduction to the Prompt Learning 》

课程大纲：

1. Prompt基本概念描述
2. Prompt基本方法介绍
3. Prompt相关工具
4. 总结与学习路径

0.01元解锁

《Introduction to the Prompt Learning 》

另外John老师还做了《提示学习前沿论文解读课》，课程将从instruction tuning、Self-Instruct以及Black-box Prompt Learning三项技术入手，通过理论（3篇论文解读）+实战（LORA微调大模型）的方式，5节课全方位带大家深度掌握大型语言模型提示学习系列知识。

0.01元解锁

《提示学习前沿论文解读课》

课程大纲

第一节课：Prompt Learning 概述

第二节课：论文解读1

paper1：Finetuned Language Models are Zero-Shot Learners

❝

论文会议：ICLR 2022

本文提出了一个新的概念 instruction tuning，就是将很多数据集都表示成指令的形式，来进行fine-tune，从而大大提高了unseen 任务上的零样本性能。

通过学习这篇论文，我们可以了解在一组task上微调模型是否会提高模型在unseen task上的性能，以及通用模型的未来研究方向。

第三节课：论文解读2

paper2：Self-Instruct: Aligning Language Model with Self Generated Instructions

❝

论文会议：ACL 2023

大型“指令调优”的语言模型已经证明了其在新任务上卓越的zero-shot能力。但是人工编写指令数据集仍然存在一些挑战。

本文首次提出自动构造instruction数据的方法，通过LLM生成指令来指导自身微调。提出的框架Self-Instruct可以使用最少的人工标注，生成大量的用于 instruct-  tuning 的数据。

第四节课：代码实践LoRA微调

第五节课：论文解读3

paper3：Black-Box Prompt Optimization: Aligning Large Language Models without Model Training

❝

现有的对齐方法主要侧重于对LLM进行进一步的训练，然而这些对齐方法在效率、可访问性、可解释性方面仍存在缺陷。

清华团队提出了一种黑盒提示优化（BPO）来执行对齐，通过优化用户Prompt以适应LLM对输入的理解来对齐大语言模型和人类的意图。

0.01元解锁

《提示学习前沿论文解读课》

老师介绍