Bendi新闻
>
ICML 2024 Spotlight | 在解码中重新对齐,让语言模型更少幻觉、更符合人类偏好
ICML 2024 Spotlight | 在解码中重新对齐,让语言模型更少幻觉、更符合人类偏好
4月前
AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:[email protected];[email protected]
本文介绍了一篇语言模型对齐研究的论文,由瑞士、英国、和法国的三所大学的博士生和 Google DeepMind 以及 Google Research 的研究人员合作完成。其中,通讯作者 Tianlin Liu 和 Mathieu Blondel 分别来自瑞士巴塞尔大学和 Google DeepMind Paris。这篇论文已被 ICML-2024 接收,并且入选为 spotlight presentation (仅占总投稿量的 3.5%)。
论文地址:https://openreview.net/forum?id=n8g6WMxt09¬eId=E3VVDPVOPZ 代码地址:https://github.com/liutianlin0121/decoding-time-realignment
简单:DeRa 基于两个模型在原始输出 (logits) 空间的的插值,因此实现起来非常简单。 灵活:我们可以通过 DeRa,针对不同需求(如用户、提示词、和任务)灵活地调节对齐的强度。 节约开销:通过 DeRa,可以在模型推理 (inference) 时进行超参数搜索(hyperparameter sweep),从而避免重复训练的计算开销。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道:[email protected]
微信扫码关注该文公众号作者
来源:机器之心
相关新闻
人类偏好就是尺!SPPO对齐技术让大语言模型左右互搏、自我博弈ACL 2024 | 多目标直接偏好优化MODPO:大语言模型的多目标对齐复旦发布层次性奖励学习框架,增强大模型人类偏好对齐ICML 2024 | 探究知识编辑对大语言模型的近邻扰动ICML 2024 | 大语言模型预训练新前沿:最佳适配打包重塑文档处理标准ICML 2024 | 大语言模型预训练新前沿:「最佳适配打包」重塑文档处理标准ICML 2024 | 大语言模型如何表征不同信念?首届大模型顶会COLM 高分论文:偏好搜索算法PairS,让大模型进行文本评估更高效ICML 2024爆火演讲!Meta等揭秘大模型内心世界:不同于人类的2级推理ICML 2024演讲爆火!Meta朱泽园揭秘大模型内心世界:不同于人类的2级推理没算法没实验,这篇论文凭借纯理论入选ICML 2024 SpotlightAI也会「刷抖音」!清华领衔发布短视频全模态理解新模型 | ICML 2024即插即用,快速适配!港大FlashST:简单通用的智慧交通时空预测模型 | ICML 2024ICML 2024 | 大模型Checkpoint极致压缩,精度无损存储降低70倍ICML 2024 | 北大、字节提出新型双层位置编码方案,有效改善长度外推效果神经网络架构「殊途同归」?ICML 2024论文:模型不同,但学习内容相同ICML 2024 | 量化大模型退化严重?ETH北航字节推出LoRA新范式ICML 2024 | 人物交互图像,现在更懂你的提示词了,北大推出基于语义感知的人物交互图像生成框架模型偏好只与大小有关?上交大全面解析人类与32种大模型偏好的定量组分ICML 2024 Oral | DPO是否比PPO更适合LLM,清华吴翼团队最新揭秘大模型与具身智能的火花,ICML 2024 MFM-EAI Workshop征稿和挑战赛启动UIUC 李博:如何探索大模型背后的安全隐忧?丨ICML 2024 直击ICML 2024 | 自动化所提出SpikeLM,首个完全脉冲驱动的通用语言建模方案清华提出时间序列大模型:面向通用时序分析的生成式Transformer | ICML 2024