4月19日,全球科技、社交巨头Meta在官网,正式发布了开源大模型——Llama-3。
据悉,Llama-3共有80亿、700亿两种参数,分为基础预训练和指令微调两种模型(还有一个超4000亿参数正在训练中)。
与Llama-2相比,Llama-3使用了15T tokens的训练数据,在推理、数学、代码生成、指令跟踪等能力获得大幅度提升。
此外,Llama-3还使用了分组查询注意力、掩码等创新技术,帮助开发者以最低的能耗获取绝佳的性能。很快,Meta就会发布Llama-3的论文。
开源地址:https://huggingface.co/collections/meta-llama/meta-llama-3-66214712577ca38149ebb2b6
Github地址:https://github.com/meta-llama/llama3/
英伟达在线体验Llama-3:https://www.nvidia.com/en-us/ai/#referrer=ai-subdomain
「AIGC开放社区」曾在今年3月13日,根据Llama-3的硬件设施和训练速度,预测其将于4月末发布果然被说中了。
但首发的Llama-3虽然在性能上获得大幅度提升,功能上却没有带来太多的惊喜,例如,将类Sora的视频,或者Suno那样的音频功能内置在模型中,通过文本直接生成。
其实,Meta已经发布了很多音频、视频还有图像的产品和研究论文,想整合它们估计只是时间问题。我们就期待一下Llama-3可以在未来几个月,带来更多的亮眼功能吧。
Llama-3简单介绍
本次Llama-3的介绍与前两个版本差不多,大量的测试数据和格式化介绍。但Meta特意提到Llama-3使用了掩码和分组查询注意力这两项技术。
目前,大模型领域最流行的Transformer架构的核心功能是自我注意力机制,这是一种用于处理序列数据的技术,可对输入序列中的每个元素进行加权聚合,以捕获元素之间的重要关系。
Llama-3介绍
但在使用自我注意力机制时,为了确保模型不会跨越文档边界,通常会与掩码技术一起使用。在自我注意力中,掩码被应用于注意力权重矩阵,用于指示哪些位置的信息是有效的,哪些位置应该被忽略。
通常当处理文档边界时,可以使用两种类型的掩码来确保自我注意力不会跨越边界:1)填充掩码,当输入序列的长度不一致时,通常会对较短的序列进行填充,使其与最长序列的长度相等。
填充掩码用于标记填充的位置,将填充的部分掩盖,使模型在自我注意力计算中忽略这些位置。
2)未来掩码,在序列生成任务中,为了避免模型在生成当前位置的输出时依赖后续位置的信息,可以使用未来掩码。
未来掩码将当前位置之后的位置都掩盖起来,使得自我注意力只能关注当前或之前的位置。
此外,在Transformer自注意力机制中,每个查询都会计算与所有键的相似度并进行加权聚合。
而在分组查询注意力中,将查询和键分组,并将注意力计算限制在每个查询与其对应组的键之间,从而减少了模型计算的复杂度。
由于减少了计算复杂度,分组查询注意力使得大模型更容易扩展到处理更长的序列或更大的批次大小。这对于处理大规模文本数据或需要高效计算的实时应用非常有益。
同时分组查询注意力允许在每个查询和其对应组的键之间进行关注的计算,从而控制了注意力的范围。这有助于模型更准确地捕捉查询和键之间的依赖关系,提高了表示能力。
Meta表示,Llama-3 还使用了一个 128K的词汇表标记器,能更有效地编码语言,在处理语言时也更加灵活。
训练数据方面,lama 3 在超过 15T tokens的公开数据集上进行了预训练。这个训练数据集是 Llama 2 的7倍,包含的代码数量也是 Llama 2 的4倍。
为了实现多语言能力,Llama 3 的预训练数据集中有超过 5% 的高质量非英语数据,涵盖 30 多种语言。
Llama-3测试数据
为了测试Llama-3的性能,Meta开发了一个全新的高质量人类评估数据集,有1,800个提示,涵盖12个关键用例,包含,征求建议,头脑风暴,分类,封闭式问题回答,编码,推理等。
测试结果显示,Llama-3 -700亿参数的指令微调模型的性能,大幅度超过了Claude Sonnet、Mistral Medium和GPT-3.5。
Meta还在MMLU、AGIEval、BIG、ARC等知名测试平台中,对Llama-3 -700亿参数基础预训练模型进行了综合测试,性能大幅度超过了Mistral 7B、Gemma 7B、Gemini Pro 1.0等知名开源模型。
好文章,需要你的鼓励
Coursera在2025年连接大会上宣布多项AI功能更新。10月将推出角色扮演功能,通过AI人物帮助学生练习面试技巧并获得实时反馈。新增AI评分系统可即时批改代码、论文和视频作业。同时引入完整性检查和监考系统,通过锁定浏览器和真实性验证打击作弊行为,据称可减少95%的不当行为。此外,AI课程构建器将扩展至所有合作伙伴,帮助教育者快速设计课程。
腾讯ARC实验室推出AudioStory系统,首次实现AI根据复杂指令创作完整长篇音频故事。该系统结合大语言模型的叙事推理能力与音频生成技术,通过交错式推理生成、解耦桥接机制和渐进式训练,能够将复杂指令分解为连续音频场景并保持整体连贯性。在AudioStory-10K基准测试中表现优异,为AI音频创作开辟新方向。
英国政府研究显示,神经多样性员工从AI聊天机器人中获得的收益远超普通同事。在Microsoft 365 Copilot试点中,神经多样性员工满意度达90%置信水平,推荐度达95%置信水平,均显著高于其他用户。患有ADHD和阅读障碍的员工表示AI工具为他们提供了前所未有的工作支持,特别是在报告撰写方面。研究表明,AI工具正在填补传统无障碍技术未能解决的职场差距,为残障人士提供了隐形的工作辅助。
Meta与特拉维夫大学联合研发的VideoJAM技术,通过让AI同时学习外观和运动信息,显著解决了当前视频生成模型中动作不连贯、违反物理定律的核心问题。该技术仅需添加两个线性层就能大幅提升运动质量,在多项测试中超越包括Sora在内的商业模型,为AI视频生成的实用化应用奠定了重要基础。