4月23日晚,微软在官网开源了小参数的大语言模型——Phi-3-mini。
据悉,Phi-3-mini是微软Phi家族的第4代,有预训练和指令微调多种模型,参数只有38亿训练数据却高达3.3T tokens,比很多数百亿参数的模型训练数据都要多,这也是其性能超强的主要原因之一。
Phi-3-mini对内存的占用极少,可以在 iPhone 14等同类手机中部署使用该模型。尽管受到移动硬件设备的限制,但每秒仍能生成12 个tokens数据。
值得一提的是,微软在预训练Phi-3-mini时使用了合成数据,能帮助大模型更好地理解语言架构、表达方式、文本语义理解、逻辑推理以及特定业务场景的专业术语等。
开源地址:https://huggingface.co/collections/microsoft/phi-3-6626e15e9585a200d2d761e3
Ollama地址:https://ollama.com/library/phi3
技术报告:https://arxiv.org/abs/2404.14219
2023年6月,微软首次推出了专用于Python编码的模型Phi-1,只有13亿参数却在编程领域击败了GPT-3.5等知名模型,这让微软看到小参数模型的广阔发展空间。
随后在Phi-1基础之上,微软推出了具备推理、文本生成、内容总结、起草邮件的大语言模型Phi-1.5,成为当时最强小参数模型之一。
2023年12月,微软在Phi-1.5基础之上开发了Phi-2,参数只有27亿并且在没有人类反馈强化学习和指令微调的情况下,击败了130亿参数的Llama-2和70亿参数的Mistral;在编码和数学测试中,Phi-2的性能甚至超过了700亿参数的Llama-2。
本次发布的Phi-3系列集合了之前三代所有的优秀技术特征,并使用了海量高质量数据集、创新的训练、微调方法,使其成为目前最强的开源小参数模型。
Phi-3-mini架构简单介绍
Phi-3-mini采用了transformer架构,支持4K和128K上下文窗口,也是同类小模型中第一个支持128K的开源产品。
高质量训练数据集是Phi-3-mini性能超强的重要原因之一,微软使用了3.3T tokens数据集包括:经过严格质量筛选的网络公开文档、精选的高质量教育数据和编程代码;
通过合成数据创建的教科书式数据,例如,数学、编码、常识推理、世界常识、心理科学等;
高质量聊天格式的监督数据,涵盖各种主题以反映人类在不同方面的偏好,例如,遵循指令、真实性、诚实性等。
在训练策略方面,为了帮助Phi-3-mini更好地吸收合成数据,微软使用了迭代训练策略:初始阶段,Phi-3-mini使用了公开网络数据,学会了基本的语法、语义和上下文理解;
迭代阶段,将合成数据与网络数据合并构建全新的训练集,并对Phi-3-mini进行迭代训练,进一步强化模型的理解和生成能力,并且进行多次重复训练。
测试数据方面,Phi-3 Mini在MMLU、GSM-8K、MedQA、BigBench-Hard等知名基准测试平台中,对语言理解、逻辑推理、机器翻译、编码等进行了综合测试。
结果显示,Phi-3-mini仅通过少量样本提示,在语言理解、编码、数学的性能超过了参数更大的模型,整体性能非常出色。
微软表示,在未来几周内还会发布70亿参数的Phi-3-small和140亿参数的Phi-3-medium两款小模型。其中,Phi-3-medium的性能可媲美Mixtral 8x7B 和GPT-3.5,资源消耗却更少。
本文素材来源微软官网、Phi-3论文,如有侵权请联系删除
好文章,需要你的鼓励
Gartner预测,到2030年所有IT工作都将涉及AI技术的使用,这与目前81%的IT工作不使用AI形成鲜明对比。届时25%的IT工作将完全由机器人执行,75%由人类在AI辅助下完成。尽管AI将取代部分入门级IT职位,但Gartner认为不会出现大规模失业潮,目前仅1%的失业由AI造成。研究显示65%的公司在AI投资上亏损,而世界经济论坛预计AI到2030年创造的就业机会将比消除的多7800万个。
CORA是微软研究院与谷歌研究团队联合开发的突破性AI视觉模型,发表于2023年CVPR会议。它通过创新的"区域提示"和"锚点预匹配"技术,成功解决了计算机视觉领域的一大挑战——开放词汇目标检测。CORA能够识别训练数据中从未出现过的物体类别,就像人类能够举一反三一样。在LVIS数据集测试中,CORA的性能比现有最佳方法提高了4.6个百分点,尤其在稀有类别识别上表现突出。这一技术有望广泛应用于自动驾驶、零售、安防和辅助技术等多个领域。
人工智能正从软件故事转向AI工厂基础,芯片、数据管道和网络协同工作形成数字化生产系统。这种新兴模式重新定义了性能衡量标准和跨行业价值创造方式。AI工厂将定制半导体、低延迟结构和大规模数据仪器整合为实时反馈循环,产生竞争优势。博通、英伟达和IBM正在引领这一转变,通过长期定制芯片合同和企业遥测技术,将传统体验转化为活跃的数字生态系统。
中国电信研究院联合重庆大学、北航发布T2R-bench基准,首次系统评估AI从工业表格生成专业报告的能力。研究涵盖457个真实工业表格,测试25个主流AI模型,发现最强模型得分仅62.71%,远低于人类专家96.52%。揭示AI在处理复杂结构表格、超大规模数据时存在数字计算错误、信息遗漏等关键缺陷,为AI数据分析技术改进指明方向。