首个专为半导体行业设计的开源大模型 SemiKong 问世

作者 | 赵明华

7 月 10 日，国外初创公司 Aitomatic 宣布推出 SemiKong。这是世界上第一个专为半导体行业设计的开源 AI 大型语言模型（LLM）。它旨在通过将特定领域的知识纳入模型来解决半导体行业面临的一些挑战，例如有关半导体器件和工艺的物理和化学问题。

SemiKong 由人工智能联盟（AI Alliance）成员合作研发。AI 联盟成立于 2023 年，致力于构建、支持和倡导整个 AI 技术领域的开放式创新，包括软件、数据和模型、安全、安保和信任、工具、评估、硬件、教育、开放科学和宣传。

SemiKong 基于联盟成员 Meta 开源的 Llama3 模型，利用了包括 Tokyo Electron 在内的领先半导体公司和 FPT Software 等 AI 专家的专业知识。IBM 研究院 AI 开放创新负责人 Anthony Annunziata 强调，“SemiKong DRAFT v0.6 的诞生表明，汇集不同的专业知识能推动半导体制造等关键行业的重大进步。”

SemiKong 的训练过程主要分为 3 个主要阶段：预训练领域知识——自我微调（指令数据集）——合并和量化。从放出的代码权重，可以看出 SemiKong 有 8B 的参数。它在准确性、相关性和对半导体工艺的理解方面表现出了显著的进步。

Aitomatic 表示，即使是其较小版本，在特定领域的应用中也常常超越较大的通用模型，从而有可能加速整个半导体价值链的创新并降低成本。并且，它也为那些打造适合自身的专有模型的芯片公司提供了一个有价值的基座。

随着 SemiKong 降低半导体生产成本，消费者可以在未来几年内以更低的价格看到功能更强大的智能手机、笔记本电脑和智能家居设备。SemiKong 于 2024 年 7 月 9 日起在 HuggingFace 和 GitHub 上提供下载。下一个更强大的版本计划于 2024 年 12 月推出，预计 2024 年 9 月将推出首批特定工艺型号。

开源地址：https://github.com/aitomatic/semikong

SemiKong 项目的领导者， Aitomatic 首席执行官 Christopher Nguyen 表示：“SemiKong 将重新定义半导体制造业。这种开放式创新模式由人工智能联盟提供支持，利用集体专业知识应对行业特定挑战。在 Aitomatic，我们正在使用 SemiKong 创建领域特定 AI 智能体，以前所未有的效率解决复杂的制造问题。”

Tokyo Electron 高级专家、半导体行业模型的早期提出者 Daisuke Oku 补充道：“SemiKong 是半导体开源 AI 的一个令人激动的开始。Aitomatic 的创新方法有可能为我们的行业带来巨大的飞跃。”