Bendi新闻
>
同济校长郑庆华院士:大模型的四大缺陷

同济校长郑庆华院士:大模型的四大缺陷

7月前


MLNLP社区是国内外知名的机器学习与自然语言处理社区,受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。
社区的愿景是促进国内外自然语言处理,机器学习学术界、产业界和广大爱好者之间的交流和进步,特别是初学者同学们的进步。
转载自 | 大模型智能
来源 | 中国人工智能产业年会

郑庆华认为,大模型已经成为当前人工智能的巅峰,大模型之所以强,是依托了大数据、大算力和强算法,但是也面临着若干缺陷。

郑庆华总结了大模型存在的四大固有缺陷。

缺陷一是过度消耗数据和算力。大模型的参数量已达到万亿级别,训练数据规模和算力消耗与参数规模成正比。

缺陷二是灾难性遗忘。在新任务上训练会损害之前任务的性能;在问题求解阶段,无法记住处理过的数据或场景,比如在无人驾驶中,人脑对路况有记忆,但自动驾驶每次都要重新计算,并为此消耗了大量能量。

缺陷三是黑盒模型逻辑推理能力弱,大模型缺乏“分而治之”能力,在处理需要逻辑、数值推理等复杂问题时表现不佳,无法举一反三、触类旁通。

缺陷四是大模型不知道自己错了,也不知道为啥错,更做不到知错就改。以GPT4求解算术运算题的实例为例,对于在1381和1453之间选两个随机数相乘的结果给出了错误答案,被指出错误后,无法定位是语料,还是训练等原因,更无从修正。


技术交流群邀请函

△长按添加小助手

扫描二维码添加小助手微信

请备注:姓名-学校/公司-研究方向
(如:小张-哈工大-对话系统)
即可申请加入自然语言处理/Pytorch等技术交流群

关于我们

MLNLP 社区是由国内外机器学习与自然语言处理学者联合构建的民间学术社区,目前已经发展为国内外知名的机器学习与自然语言处理社区,旨在促进机器学习,自然语言处理学术界、产业界和广大爱好者之间的进步。
社区可以为相关从业者的深造、就业及研究等方面提供开放交流平台。欢迎大家关注和加入我们。

微信扫码关注该文公众号作者

来源:机器学习算法与自然语言处理

相关新闻

同济大学校长郑庆华:坚守教育初心 防止技术凌驾于育人之上港大马毅:现在大模型的「知识」,不等同于「智能」【友情转发】【校园寻宝】|华大课友校园寻宝活动:畅游校园,与同专业的小伙伴们一起探秘校园之美!腾讯混元文生图大模型开源:Sora 同架构,更懂中文,已支持 16s 视频生成华中科技大学同济医学院附属同济医院发表的SCI论文,大数据分析简报(2024)解决Transformer根本缺陷,CoPE论文爆火:所有大模型都能获得巨大改进华中科技大学同济医学院附属协和医院的SCI论文,大数据分析简报(2024)同济、NUS等提出GalleryGPT,巧妙运用大模型收集绘画图像-艺术分析文本数据1.1 亿大单:华为、深信服、H3C、绿盟、天融信、奇安信、海康、同方、诸葛运帷等是赢家58同城孙启明:生活服务垂类大模型怎么搭?自研+开源两手抓,火速微调上线Llama 3|GenAICon2024就在本周末!大华超市Tustin分店隆重开业!三店同庆,优惠促销全攻略请查收!奥特曼深夜发动价格战,GPT-4o mini暴跌99%!清华同济校友立功,GPT-3.5退役同济的学生用愚蠢的方式问了一个重要的大麻问题CoPE论文爆火!解决Transformer根本缺陷,所有大模型都能获得巨大改进复旦发布公开匿名评测平台:3D生成模型同台竞技,魁首究竟花落谁家!我这双斯*奇同款大底的运动鞋,脚感几乎无差/100出头《2023剧集市场报告》:头部大剧同台对垒、黑马剧作频出新年第—炸!1000+的大品牌“同款”,我只花了100多就买到了~新加坡国家发展部长李智陞:如买到有房屋缺陷的转售组屋,买家可解约Canada Goose加拿大鹅最新季报:大中华区营收同比增长12.3%,七月新开两家店【社会】93省:有预谋的一系列恐同袭击,丧心病狂!一个家最舒服的亲子关系:穿同款、说废话、一起宅查尔斯病情恶化,疑似女王同款血癌:燃烧余晖的时候到了向同济大学提问德国总理的学生诚挚道歉
logo
联系我们隐私协议©2024 bendi.news
Bendi新闻
Bendi.news刊载任何文章,不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。文章信息的合法性及真实性由其作者负责,与Bendi.news及其运营公司无关。欢迎投稿,如发现稿件侵权,或作者不愿在本网发表文章,请版权拥有者通知本网处理。