Bendi新闻
>
OpenAI组建「集体对齐」新团队,确保AI模型与人类价值观保持一致!

OpenAI组建「集体对齐」新团队,确保AI模型与人类价值观保持一致!

 夕小瑶科技说 原创
 作者 | 付奶茶

OpenAI 最新宣布将成立一个“集体对齐”(Collective Alignment)的全新团队!

这个团队主要由研究人员和工程师组成,旨在专注于设计和实施收集公众意见的流程,以协助训练和调整AI模型的行为,从而解决潜在的偏见和其他问题。

众所周知,为了安全考虑,AI要想真正进入到人类社会,一定要做好价值观对齐。OpenAI 认为让公众参与进来非常重要,这是为了确保AI模型与人类价值观保持一致的关键举措。

十大民主人工智能项目

早在 2023年5月,OpenAI 就宣布启动“民主人工智能”(Democratic Inputs to AI grant program)计划,并从近1000名申请者中挑选出了十大民主人工智能团队,授予这些团队总额达10万美元的资金用于设计、开发用来让公众治理人工智能的的工具。

比如前5个团队做的项目如下:

  • 人工智能政策判例法: 创建一个全面的案例库支持人工智能的交互场景。鼓励专家和公众的参与,塑造复杂情况下的人工智能行为。

  • 民主政策制定的集体对话: 制定反映知情公众意愿的政策,通过采用集体对话的方式来弥合人口鸿沟,确保政策的制定更具民主性。

  • 大规模审议:通过AI辅助的视频通话进行小组对话,增强参与者之间的联系和理解。

  • 民主微调: 通过从聊天对话中提取价值观,创建价值观道德图,用于微调人工智能模型,确保了模型在跨文化和意识形态范围内的一致性。

  • 激励AI对齐: 制定实时、大规模的参与指南的协调平台,旨在实现透明和民主的人工智能模型协调。

弥合数字鸿沟很困难,代表多样性是一大挑战

在资助计划进行的过程中,OpenAI 和项目小组也提出了一些有趣的发现:

舆论经常变化,依靠人类意见无法确定

项目小组发现公众的观点变化的速度非常快,甚至可能每天都不同!这对于确定意见,收集不容易改变的核心价值观来说非常困难。

弥合数字鸿沟仍然很困难,这可能会扭曲结果

研究小组发现在线招募的人普遍更积极支持人工智能,因此并不可以代表中立的观点。而且,由于咨询平台的限制,跨越鸿沟来吸引多样性参与者是非常困难的。

在两极分化群体中寻求共识不是易事

当一些人对某个问题持不同意见时,寻找共识可能会很困难。比如在会议上,少数人坚决认为不应该限制人工智能助手回答某些问题,而多数投票结果与他们相左。为了解决这个问题,一些团队努力寻找在两极分化的群体中得到大力支持的政策提案。

代表多样性是一大挑战

在代表群体意志时,要达成的包容各种观点的共识可能是一个巨大挑战。一些团队采用了一些创新的方法,比如Inclusive.AI团队研究了不同的投票方法,以确保每个人都有平等发言的机会。

小结

总的来说,人工智能治理是一个复杂的任务,需要在捕捉多样观点的同时确保公平、民主和透明,还要确保人工智能的发展与人类的价值观保持一致,并在民主进程中发挥积极作用。这是一个持续演化的领域,需要不断的改进和调整,以适应不断变化的社会需求和技术发展。希望OpenAI此举能够帮助人类找到更多的方法来有效治理人工智能,以实现更公平和包容的社会。

参考资料

 [1]https://openai.com/blog/democratic-inputs-to-ai-grant-program-update
 [2]https://twitter.com/OpenAI/status/1747260226099896359
 [3]https://www.maginative.com/article/openai-believes-the-public-should-have-a-say-in-steering-powerful-ai-models/

微信扫码关注该文公众号作者

来源:夕小瑶科技说

相关新闻

OpenAI超级对齐团队再发「绝唱」!首提「证明者-验证者」博弈,训练GPT说人话四大维度深度体验,GPT-4o为何被称作“最强”;OpenAI超级对齐团队“分崩离析”;脑机试验招募第二名患者|一周国际财经逼近GPT-4的新模型发布!「欧洲版OpenAI 」联手微软,却被质疑违背初心专治大模型“刷题”!贾佳亚团队新基准让模型只挑错不做题,GPT-4得分不到50苹果或在今晚发布 Apple Pencil Pro/雷军:逛完北京车展后「很绝望」/微软或开发新模型与 OpenAI 竞争微软深夜再掀AI生产力革命,奥特曼登台「自曝」新模型!微软深夜再掀AI生产力革命,奥特曼登台「自曝」新模型!定制Copilot十亿打工人狂欢OpenAI“保卫人类”的团队分崩离析,Ilya与Altman内讧曝光:“OpenAI的人请庄重点”OpenAI“最后一篇”超级对齐论文发布:大小模型相互博弈,输出可读性up喜发新模型,却被众嘲是破产“前兆”!Stability AI “最强”模型人形绘制太“阴间”,网友:因为研发太讲武德"黑寡妇"斯嘉丽·约翰逊表示,OpenAI盗用了她的声音,制作了名为“Sky”的ChatGPT AI新声音!GPT-4级别模型惨遭泄露!引爆AI社区,“欧洲版OpenAI”下场认领国产「GPTs」上线!全面对标 OpenAI 的智谱发布大模型,性能逼近 GPT-4「硅谷鲁迅」疯狂对线!AI大佬LeCun暴走,从马斯克到OpenAI,无差别狂怼15 秒音频即可“复制”原声!但OpenAI 担心新语音模型被滥用而限制发行警惕AI大模型的“共情鸿沟”!剑桥团队呼吁:我们需要“儿童安全人工智能”框架清华团队国产“Sora”火了!画面效果对标OpenAI,长度可达16秒,还能读懂物理规律端侧 AI 新篇章!商汤科技发布「速度最快」的端侧模型史上首次!AI驾驶战机成功与人类飞行员空中「狗斗」傅盛揭穿OpenAI「阳谋」,引130万人围观!百亿参数模型帮老板打王者,一张3060就能跑奥特曼挂帅新团队,OpenAI新一代大模型开训,前任高管却「投敌」了新晋开源顶流模型 Llama 3.1 被开发者赞爆!小扎拿苹果“开刀”反对闭源厂商:AI 不要“苹果税”!南大周志华团队8年力作!「学件」系统解决机器学习复用难题,「模型融合」涌现科研新范式欧盟加大对AI巨头审查,OpenAI、微软与谷歌在列;上海市首个“AI陪诊师”正式上线丨AIGC日报
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。