速度秒掉GPT-4o、22B击败Llama 3 70B，Mistral AI开放首个代码模型

5月前

机器之心报道

编辑：杜伟、陈萍

开放但禁止商用用途。

对标 OpenAI 的法国 AI 独角兽 Mistral AI 有了新动作：首个代码大模型 Codestral 诞生了。

作为一个专为代码生成任务设计的开放式生成 AI 模型，Codestral 通过共享指令和补全 API 端点帮助开发人员编写并与代码交互。Codestral 精通代码和英语，因而可为软件开发人员设计高级 AI 应用。

Codestral 的参数规模为 22B，遵循新的 Mistral AI Non-Production License，可以用于研究和测试目的，但禁止商用。

目前，该模型可以在 HuggingFace 上下载。

Mistral AI 联合创始人、首席科学家 Guillaume Lample 表示，Codestral 可以很轻松集成到 VS Code 插件中。

有用户将 Codestral 与 GPT-4o 进行了比较，Codestral 速度直接秒了 GPT-4o。

精通 80 + 编程语言

Codestral 在包含了 80 + 种编程语言的多样化数据集上训练，包括 Python、Java、C、C++、JavaScript、Bash 等流行编程语言。此外也在 Swift 和 Fortran 等编程语言上表现良好。

因此，广泛的语言基础确保 Codestral 可以在各种编码环境和项目中为开发人员提供帮助。

Codestral 可以胜任编写代码、编写测试并使用中间填充（fill-in-the-middle）机制补全任何代码部分，为开发人员节省时间和精力。同时使用 Codestral，还有助于提高开发人员的编码水平，降低错误和 bug 风险。

代码生成性能新标准

作为一个 22B 参数的模型，Codestral 与以往的代码大模型相比，在代码生成性能和延迟空间方面树立了新标准。

从下图 1 可以看到，Codestral 的上下文窗口长度为 32k，竞品 CodeLlama 70B 为 4k、DeepSeek Coder 33B 为 16k、Llama 3 70B 为 8k。结果显示，在代码生成远程评估基准 RepoBench 上，Codestral 的表现优于其他模型。

Mistral AI 还将 Codestral 与现有的特定于代码的模型进行了比较，后者需要较高的硬件需求。

在 Python 上的表现。研究者使用 HumanEval pass@1、MBPP sanitised pass@1 基准来评估 Codestral 的 Python 代码生成能力；除此以外，研究者还用到了 CruxEval、RepoBench EM 基准评估。

在 SQL 上的表现。为了评估 Codestral 在 SQL 中的性能，研究者使用了 Spider 基准测试。

在其他编程语言上的表现。研究者还在其他六种编程语言（包括 C++、bash、Java、PHP、Typescript 和 C#）中对 Codestral 进行了评估，并计算了这些评估的平均值。

FIM 基准。研究者还评估了 Codestral 在代码片段中间有缺失的情况下补全代码的能力，主要是在 Python、JavaScript 和 Java 上进行实验，结果显示，Codestral 补全的代码，用户可以立即运行。

博客地址：https://mistral.ai/news/codestral/

转载请联系本公众号获得授权

投稿或寻求报道：[email protected]

微信扫码关注该文公众号作者

来源：机器之心

相关新闻