从 CLM 启航:中国大模型的探索与未来
作者丨陈鹭伊
编辑丨岑峰
在人工智能的广阔舞台上,大模型技术的崛起如同一部波澜壮阔的史诗巨作,令人心潮澎湃。从2013年Word2Vec的诞生,到Transformer、Bert的相继问世,再到GPT系列的连续突破,直至今日的GPT4,大模型技术的发展历程,就是一部NLP的革命史。在这场认知革命中,NLP研究者以其无可争议的主导地位,推动了大模型技术的飞速发展。
2024年,“大模型”在保持了过去一年的热度的基础上持续升温,过去一年中,AI领域见证了通用大模型井喷式爆发,大模型也由语言模型主导、聚焦认知层面的“上半场”,进入了多模态模型兴起、注重商业模式和场景应用的“下半场”。这一转变不仅是技术层面的演进,更是对NLP研究者角色和使命的重新定义。
为响应这一趋势,中国中文信息学会大模型专家委员会发起了中国大模型大会(China Conference on Large Models,简称 CLM)。2024年6月18日至19日,由中国中文信息学会主办,并得到了与大型技术密切相关的12个学会专业委员会的共同协办的首届中国大模型大会(CLM 2024)于在北京召开,CLM大会汇聚了百余名国内自然语言处理领域的知名学者及行业专家、围绕“中国大模型之路”,共同讨论大模型技术的前沿进展、应用场景和未来趋势。
大会邀请了高文院士、方滨兴院士和郭毅可院士做主旨报告,同时还邀请多位大模型领域的杰出学者做特邀报告。12 场大模型专题论坛主题涵盖生成式人工智能、知识图谱、社会媒体、计算语言学、机器翻译、语音信息信息检索、情感计算、民族语言、隐私计算、开源情报等多个热点前沿领域,大会的举办不仅标志着中国中文信息学会中国大模型技术发展中的重要地位,也展现了中国学者在这一领域的深厚积累和创新能力。
在这样的背景下,CLM大会不仅是大模型“上半场”的归纳总结,更是拉开了"下半场“的中国大模型道路的探索的序幕。
在多模态大模型主导的“下半场”
“语言模型的重要性毋庸置疑。”在CLM大会上,香港科技大学首席副校长郭毅可院士在特邀报告中开宗明义,从图灵的《计算机械与智能》和维纳《人有人的用处——控制论与社会》这两篇1950年发表的杆性论文讲起,阐述了语言作为人类思维和交流的基本工具,以及语言模型在大模型发展中的核心地位。
他指出,机器的语言能力定义了机器的思维能力。语言不仅是信息传递的媒介,更是思维和认知的载体。这一点在大模型的发展中得到了体现,而语言模型的构建和优化是实现机器智能的关键步骤。NLP研究者通过对语言的深入理解,不断推动语言模型的创新和发展,使其能够更好地捕捉语言的细微差别和复杂性。
而多模态模型的发展趋势,正是对作为大模型基础的语言模型的补充。单纯的语言信息并不能完全代表人类的交流和认知过程,图像、声音、视频等非语言模态信息的加入,为机器提供了更丰富的环境感知和知识理解能力。多模态模型通过整合语言和其他模态的信息,能够更全面地模拟人类的感知和认知过程,从而提升机器智能的层次和应用范围。这种融合不同模态信息的能力,不仅为大模型的应用开辟了新的可能性,也为NLP领域带来了新的研究课题和挑战。
在CLM 2024大会首日的其他特邀报告中,我们看到了NLP研究者如何在“下半场”中继续发挥主导作用。他们不仅在理论上深化了对语言的理解,更在实践中推动了大模型技术的多模态融合和场景应用。从大语言模型到世界模型,从探索AGI的发展到深入理解大模型的价值管理模式,从ChatGLM的创新应用到鹏城云脑与脑海大模型的技术前沿以及应用者视角的AI发展与合作,NLP研究者的足迹遍布大模型技术的每一个角落。
随着大模型技术的蓬勃发展,未来的研究方向在哪里?在CLM 2024大会上,众多专家学者的讨论和报告为我们指明了方向,同时也揭示了面临的挑战。
关于中国大模型发展的机遇,《人民日报》去年就有撰文称,中国庞大实体产业基础,是国产大模型弯道超车机遇。其中的关键是大模型基础设施建设,近年来,我国重视并积极支持人工智能与大模型基础设施建设,并取得了一定成效。
高文院士所做的大会开场报告《鹏城云脑与脑海大模型》,就是围绕大模型基础设施建设,探索“中国大模型之路”的代表作。2020年,在芯片“卡脖子”的大环境下,鹏城实验室用国产GPU和CPU打造了人工智能大科学装置——第二代的鹏城云脑,第三代的鹏城云脑也在建设中。资料显示,第三代鹏城云脑的算力是前一代的16倍,将于2025年完成。
方滨兴院士所做的《大模型保险箍:大模型价值管理模式初探》的报告,则是在对当前大模型安全风险防控技术方案评述的基础之上,重点介绍团队构造的大模型安全风险防控的“保险箍”模式。在大模型的安全风险可控的前提下赋能下游应用,始终是推动中国大模型应用发展的前提条件。
而在应用端,据 AI 科技评论与多个中国大模型团队的交流,越来越多的团队已经开始批判思考“OpenAI模式”——因为如果一味追赶 OpenAI,那么“我们将最多成为 OpenAI,却无法超越 OpenAI”。
在CLM大会上,清华大学教授唐杰汇报了自研模型ChatGLM遇到的困难与收获,同时介绍了对ChatGPT技术点的理解,分析了下一步要实现ChatGPT的技术路线和挑战。
尽管模型组合与 OpenAI 相似,但在具体的技术实施上,智谱不乏自己的思考。例如,不同于 OpenAI 的 GPT 系列采取单向自回归路线,智谱的 GLM 大模型采取的是双向自回归路线;另一个例子是,OpenAI一直是Scaling Law的坚定支持者,但智谱不久前发布的研究却提出了一个新的理解:损失(Loss)才是涌现的关键,而非模型参数。
越来越多的中国的研究团队,已经不再单纯模仿 OpenAI,尝试走出一条不一样的道路。
大会首日的最后一个议程是“中国大模型之路”的专题讨论,嘉宾们围绕从2018年以来6年的大模型浪潮中,中国AI学界的主要经验和教训,以及在未来6年应如何作为等问题进行了分享。而最引人关注的,则是 NLP研究者尤其是初学者最关注的终极问题,即“大模型兴起之后,NLP是否已死”的讨论。
不止一位嘉宾认为,大模型的出现并不是NLP研究的终点,而是为NLP领域带来了新的研究深度和广度。大模型提供了强大的基础能力,使得研究者能够探索更加复杂和深入的语言问题,如语言的多模态表达、语言的具身性等。
此外,尽管大模型在某些任务上表现出色,但NLP领域仍存在许多未解决的问题。例如,大模型在处理歧义、理解复杂语境等方面仍有局限。因此,NLP研究者需要继续在模型的可解释性、鲁棒性等方面进行探索,以推动NLP技术的进一步发展。
由此而生的一个有趣的观点是:NLP不是“已死”,而是“过热”。有的问题不必再研究,但新的问题会不断出现。如同1900年代开尔文勋爵对物理学“物理学的大厦已经建成,只是天边还有两朵乌云”的描述,今天的NLP可能正处于一个转折点,将迎来类似经典力学到量子力学的翻天覆地的转变。
大模型的发展也为NLP教育和人才培养带来了新的挑战和机遇。教育者需要更新课程内容,引导学生理解大模型的原理和应用,同时培养学生的创新思维和解决实际问题的能力。
最后与会嘉宾普遍认为,NLP远未死去,而是在大模型的推动下焕发了新的活力。NLP研究者应拥抱变化,积极探索新的研究方向和应用场景,不断创新,以推动NLP技术向更高层次发展。
写在最后:
6月19日,CLM进入第二天,与大模型关系密切的12个专委会,将围绕大模型与各自领域的结合分成12个专场进行进一步的深入探讨。这也再次说明,这次会议不仅是对过去几年中国大模型技术发展的回顾,更是对未来方向的探索和思考。
通过CLM大会这个平台,我们见证了大模型技术如何为NLP领域带来革命性的变化,以及中国学者在这一过程中的重要贡献。中国中文信息学会,作为本次大会的主办方,发挥了关键的指导和引领作用,促进了大模型研究的进步、学术交流和知识共享。
大模型技术的崛起,为NLP带来了前所未有的研究深度和应用广度。它不仅改变了我们对语言处理的认知,也为多模态、跨领域研究提供了新的视角和工具。从单模态的语言模型到多模态的智能系统,从理论研究到产业应用,NLP正在经历一场深刻的变革。
对于NLP的初学者和研究者而言,这是一个充满机遇和挑战的时代。对于大模型与NLP的未来,中国中文信息学会将继续发挥其在学术界和工业界的桥梁作用,推动产学研用的深度融合,培养更多具有创新能力和实践能力的优秀人才。同时,学会也将致力于构建更加开放、包容、协作的学术生态,为全球人工智能的发展贡献中国智慧和中国方案。
更多内容,点击下方关注:
未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!
公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。
未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!
公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。
微信扫码关注该文公众号作者