中国信通院可信 AI 代码大模型和智能开发工具新一轮评估报名启动
代码大模型标准聚焦大模型在软件工程领域展现的服务能力,评价指标覆盖通用能力、专用场景能力和应用成熟三大能力域;智能开发标准围绕基础能力和高级能力两大维度,从技术、使用、安全和工程化等角度,对智能开发工具和落地能力提出了全栈技术要求。
2024 年 5 月至 6 月,中国信通院完成首批可信 AI 代码大模型能力评估并发布评估结果,智谱 CodeGeeX 代码大模型、阿里通义灵码代码大模型、商汤小浣熊代码大模型、华为云盘古研发大模型通过评估。2024 年 7 月,中国信通院启动了首批智能编码工具能力评估,评估结果和解读将于近期正式发布。
图 1 可信 AI 代码大模型评估结果发布
为了进一步推动智能化软件工程高质量发展,现正式启动代码大模型和智能开发工具的新一轮评估报名工作。
本标准适用于金融、科技、互联网、电信、软件等各行业,生产、使用或计划使用代码大模型或智能开发工具的企业。一是为模型厂商提供代码大模型能力的评价和指导标准,帮助提升产品能力;二是为模型应用方提供有效衡量其能力水平的标准依据,帮助企业提供选型参考;三是提供评估软件工程领域配套工具智能化能力水平的标准,推动行业智能化进程。
代码大模型评估以《智能化软件工程技术和应用要求 第 1 部分:代码大模型》为依据,包含 3 个能力子域、16 个能力项、20+ 个能力子项及 100+ 个能力要求。
图 2 代码大模型标准结构
《智能化软件工程技术和应用要求 第 2 部分:智能开发能力》包含 6 个能力项、21 个能力子项近 300 项能力要求。报名参评的企业可根据情况选择如下评估内容,包括智能编码工具评估、低代码智能开发能力评估、代码质量检查工具评估。
图 3 智能开发工具标准结构
中国信通院将持续关注和跟踪智能化软件工程(AI4SE)领域动态,并联合 AI4SE 工作组进一步推动行业发展。目前在开展评估工作的同时,工作组已启动智能测试相关标准的编制,以及基于大模型的智能运维相关标准的研讨等各项工作,欢迎更多企业加入。
现正式启动代码大模型和智能开发工具的新一轮评估报名,报名截止 2024 年 8 月 23 日。
中国信通院人工智能研究所
闫老师:13041008356 (微信同号)
齐老师:18686962307 (微信同号)
秦老师:13488684897 (微信同号)
中国人工智能产业发展联盟(AIIA)智能化软件工程工作组(AI4SE 工作组),于 2023 年 9 月正式成立,旨在进一步发挥生成式 AI、大模型等人工智能技术在软件工程领域的潜力,充分释放 AI 赋予软件工程的价值。AI4SE 工作组已吸纳 130+ 成员单位,覆盖金融、电信、软件等诸多行业,欢迎更多企业加入,请联系上述联系人。
微信扫码关注该文公众号作者