当地时间周一,科技媒体The Information援引一位Meta员工消息报道称,该公司计划在下周推出两个小型的Llama 3大语言模型(LLM),作为夏季推出正式版Llama 3的先行版本。
这两个小模型的发布,预计将为Llama 3的正式亮相进行铺垫。Meta在去年7月份发布了Llama 2,此后,包括谷歌、马斯克旗下的xAI与Mistral等在内的数家公司发布了开源的大语言模型,竞争十分激烈。
Llama 3直接对标OpenAI的GPT-4,后者已经成为一个强大的多模态模型,不仅能够处理更长的文本,还支持图像输入。
报道称,正式版Llama 3也将支持多模态处理,即同时理解和生成文本及图片;而先行推出的两个小版本则不具备这一能力。
一般而言,较小的模型成本更低,运行更快,尤其在运行大型模型成本高昂的当下,其价值尤为凸显。小型模型还便于开发者在移动设备上开发人工智能软件。
Meta此前已推出三个版本的Llama 2,其中最大的一个拥有700亿个参数,另外两个版本分别拥有130亿和70亿个参数。
据硬AI此前文章,Llama 3的最大版本可能会拥有超过1400亿个参数。
Meta还将在Llama 3中改进Llama 2在响应争议性话题时过于保守的问题,研究人员计划放松大模型在这一方面的限制,以便它更多地与用户互动,提供背景信息,而不仅仅是拒绝回答。