4月23日晚,微软在官网开源了小参数的大语言模型——Phi-3-mini。
据悉,Phi-3-mini是微软Phi家族的第4代,有预训练和指令微调多种模型,参数只有38亿训练数据却高达3.3T tokens,比很多数百亿参数的模型训练数据都要多,这也是其性能超强的主要原因之一。
Phi-3-mini对内存的占用极少,可以在 iPhone 14等同类手机中部署使用该模型。尽管受到移动硬件设备的限制,但每秒仍能生成12 个tokens数据。
值得一提的是,微软在预训练Phi-3-mini时使用了合成数据,能帮助大模型更好地理解语言架构、表达方式、文本语义理解、逻辑推理以及特定业务场景的专业术语等。
开源地址:https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3
Ollama地址:https://ollama.com/library/phi3
技术报告:https://arxiv.org/abs/2404.14219
2023年6月,微软首次推出了专用于Python编码的模型Phi-1,只有13亿参数却在编程领域击败了GPT-3.5等知名模型,这让微软看到小参数模型的广阔发展空间。
随后在Phi-1基础之上,微软推出了具备推理、文本生成、内容总结、起草邮件的大语言模型Phi-1.5,成为当时最强小参数模型之一。
2023年12月,微软在Phi-1.5基础之上开发了Phi-2,参数只有27亿并且在没有人类反馈强化学习和指令微调的情况下,击败了130亿参数的Llama-2和70亿参数的Mistral;在编码和数学测试中,Phi-2的性能甚至超过了700亿参数的Llama-2。
本次发布的Phi-3系列集合了之前三代所有的优秀技术特征,并使用了海量高质量数据集、创新的训练、微调方法,使其成为目前最强的开源小参数模型。
Phi-3-mini架构简单介绍
Phi-3-mini采用了transformer架构,支持4K和128K上下文窗口,也是同类小模型中第一个支持128K的开源产品。
高质量训练数据集是Phi-3-mini性能超强的重要原因之一,微软使用了3.3T tokens数据集包括:经过严格质量筛选的网络公开文档、精选的高质量教育数据和编程代码;
通过合成数据创建的教科书式数据,例如,数学、编码、常识推理、世界常识、心理科学等;
高质量聊天格式的监督数据,涵盖各种主题以反映人类在不同方面的偏好,例如,遵循指令、真实性、诚实性等。
在训练策略方面,为了帮助Phi-3-mini更好地吸收合成数据,微软使用了迭代训练策略:初始阶段,Phi-3-mini使用了公开网络数据,学会了基本的语法、语义和上下文理解;
迭代阶段,将合成数据与网络数据合并构建全新的训练集,并对Phi-3-mini进行迭代训练,进一步强化模型的理解和生成能力,并且进行多次重复训练。
测试数据方面,Phi-3 Mini在MMLU、GSM-8K、MedQA、BigBench-Hard等知名基准测试平台中,对语言理解、逻辑推理、机器翻译、编码等进行了综合测试。
结果显示,Phi-3-mini仅通过少量样本提示,在语言理解、编码、数学的性能超过了参数更大的模型,整体性能非常出色。
微软表示,在未来几周内还会发布70亿参数的Phi-3-small和140亿参数的Phi-3-medium两款小模型。其中,Phi-3-medium的性能可媲美Mixtral 8x7B 和GPT-3.5,资源消耗却更少。
本文素材来源微软官网、Phi-3论文,如有侵权请联系删除
好文章,需要你的鼓励
字节跳动智能创作实验室发布革命性AI视频数据集Phantom-Data,解决视频生成中的"复制粘贴"问题。该数据集包含100万个跨场景身份一致配对,通过三阶段构建流程实现主体检测、多元化检索和身份验证,显著提升文本遵循能力和视频质量。
这是一项关于计算机视觉技术突破的研究,由多家知名院校联合完成。研究团队开发了LINO-UniPS系统,能让计算机像人眼一样从不同光照下的照片中准确识别物体真实的表面细节,解决了传统方法只能在特定光照条件下工作的局限性,为虚拟现实、文物保护、工业检测等领域带来重要应用前景。
被盗凭证导致80%的企业数据泄露。随着AI智能体投入生产,管理10万员工的企业将需要处理超过100万个身份。传统身份访问管理架构无法应对智能体AI的大规模部署。领先厂商正采用蓝牙低功耗技术替代硬件令牌,实现基于距离的身份验证。行为分析可实时捕获被入侵的智能体,零信任架构扩展至智能体部署。这代表了自云计算普及以来最重要的安全变革。
这篇文章介绍了北京人工智能研究院开发的OmniGen2模型,一个能够同时处理文字转图像、图像编辑和情境生成的全能AI系统。该模型采用双轨制架构,分别处理文本和图像任务,并具备独特的自我反思机制,能够自动检查和改进生成结果。研究团队还开发了专门的数据构建流程和OmniContext评测基准,展现了开源模型的强大潜力。