消灭「幻觉」！谷歌全新ASPIRE方法让LLM给自己打分，效果碾压10x体量模型

---

  新智元报道  

大模型的「幻觉」问题马上要有解了？

威斯康星麦迪逊大学和谷歌的研究人员最近开发了一个名为ASPIRE的系统，可以让大模型对自己的输出给出评分。

如果用户看到模型的生成的结果评分不高，就能意识到这个回复可能是幻觉。

如果系统可以进一步筛选评分的结果进行输出，比如如果评分过低，大模型就可能生成「我没法回答这个问」，从而有望最大限度的改善幻觉问题。

论文地址：https://aclanthology.org/2023.findings-emnlp.345.pdf

ASPIRE能让LLM输出答案以及答案的置信度得分。

研究人员的实验结果表明，ASPIRE在各种QA数据集（例如 CoQA 基准）上显著优于传统的选择性预测方法。

让LLM不仅要回答问题，还要评估这些答案 。

在选择性预测的基准测试上，研究人员通过ASPIRE系统取得了超过10倍规模的模型的成绩。

就像让学生在课本后面验证他们自己的答案，虽然听起来有点不靠谱，但是细细一想，每个人在做出一道题目之后，确实会对答案的满意程度会有一个评分。

这就是ASPIRE的本质，它涉及三个阶段：

(1) 针对特定任务的调优，

(2) 答案采样，

(3) 自我评估学习。

在研究人员看来，ASPIRE不仅仅是另一个框架，它代表着一个全面提升LLM可靠性，降低幻觉的美好未来。

如果LLM可以成为决策过程中值得信赖的合作伙伴。

只要通过不断优化选择性预测的能力，人类距离充分发挥大模型的潜力就又近了一步。

研究人员希望能凭借ASPIRE，开启下一代LLM的进化，从而能创建更可靠和更具有自我意识的人工智能。

针对特定任务的微调

ASPIRE执行特定于任务的微调以训练适应性参数，同时冻结LLM。

具体来说，LLM参数（θ）被冻结，并添加自适应参数进行微调。

答案采样

在针对特定任务进行调优后，ASPIRE使用LLM和学习到的为每个训练问题生成不同的答案，并创建用于自评估学习的数据集。

自评估学习

在对每个查询的高似然输出进行采样后，ASPIRE添加自适应参数，并且仅微调来学习自评估。

由于输出序列的生成仅取决于 θ 和，因此冻结 θ 和学习到的可以避免在学习自评估时改变LLM的预测行为-评估。

研究人员优化了，使得改编后的LLM可以自己区分正确和错误的答案。

在这个框架中，可以使用任何参数有效的微调方法来训练和。

在训练和后，研究人员通过波束搜索解码获得查询的预测（beam search decoding）。

通过使用软提示调整训练研究人员观察到LLM的准确性大幅提高。