8月24日消息,Meta 现推出了一个名为 Code Llama 的 AI 编码工具,号称“最先进的大型编码语言模型”。
该模型基于 Llama 2 大型语言模型打造,可以理解为“Llama 2 的写代码专用版”,可用于“生成新的代码并调试人类编写的工作”,目前已上线 Github。
据悉,Code Llama 将采用与 Llama 2 相同的社区许可,并对研究和商业领域免费开放。
Meta 指出,Code Llama 能够根据代码核自然语言提示 / 要求生成你想要的代码和有关代码的自然语言,或者在指向特定代码时进行完善和调试。
除了基础版的 Code Llama 外,Meta 还推出了专为 Python 设计的版本 ——Code Llama-Python,以及一个能够理解自然语言指令的版本 ——Code Llama-Instrct。
在 Meta 的基准测试中,Code Llama 在编程任务上的表现优于最先进的公开可用的 LLM 模型。
Meta 称,每个特定的 Code Llama 版本都不可切换 / 替代,公司不建议将基本 Code Llama 或 Code Llama-Python 用于自然语言指令。
Meta 发布了三种大小的 Code Llama,分别具有 7B、13B 和 34B 参数。每个模型都使用 500B 代码 tokens 和代码相关数据进行训练,而且 7B 和 13B 基础模型和指令模型也经过了中间填充 (FIM) 功能的训练,允许它们将代码插入到现有代码中。