同济校长郑庆华院士：大模型的四大缺陷

同济校长郑庆华院士：大模型的四大缺陷

2月前

MLNLP社区是国内外知名的机器学习与自然语言处理社区，受众覆盖国内外NLP硕博生、高校老师以及企业研究人员。

社区的愿景是促进国内外自然语言处理，机器学习学术界、产业界和广大爱好者之间的交流和进步，特别是初学者同学们的进步。

转载自 | 大模型智能

来源 | 中国人工智能产业年会

郑庆华认为，大模型已经成为当前人工智能的巅峰，大模型之所以强，是依托了大数据、大算力和强算法，但是也面临着若干缺陷。

郑庆华总结了大模型存在的四大固有缺陷。

缺陷一是过度消耗数据和算力。大模型的参数量已达到万亿级别，训练数据规模和算力消耗与参数规模成正比。

缺陷二是灾难性遗忘。在新任务上训练会损害之前任务的性能；在问题求解阶段，无法记住处理过的数据或场景，比如在无人驾驶中，人脑对路况有记忆，但自动驾驶每次都要重新计算，并为此消耗了大量能量。

缺陷三是黑盒模型逻辑推理能力弱，大模型缺乏“分而治之”能力，在处理需要逻辑、数值推理等复杂问题时表现不佳，无法举一反三、触类旁通。

缺陷四是大模型不知道自己错了，也不知道为啥错，更做不到知错就改。以GPT4求解算术运算题的实例为例，对于在1381和1453之间选两个随机数相乘的结果给出了错误答案，被指出错误后，无法定位是语料，还是训练等原因，更无从修正。

技术交流群邀请函

△长按添加小助手

扫描二维码添加小助手微信

请备注：姓名-学校/公司-研究方向（如：小张-哈工大-对话系统）即可申请加入自然语言处理/Pytorch等技术交流群

关于我们

MLNLP 社区是由国内外机器学习与自然语言处理学者联合构建的民间学术社区，目前已经发展为国内外知名的机器学习与自然语言处理社区，旨在促进机器学习，自然语言处理学术界、产业界和广大爱好者之间的进步。

社区可以为相关从业者的深造、就业及研究等方面提供开放交流平台。欢迎大家关注和加入我们。

微信扫码关注该文公众号作者

来源：机器学习算法与自然语言处理