法国著名大模型平台Mistral.AI开源了最新小参数模型——Ministraux。
Ministraux一共有Ministral 3B和8B两个版本,是专为手机、平板、笔记本等移动设备设计,在文本生成、推理、函数调用和效率方面非常强悍,大幅度超过了Meta的Llama-3.2和谷歌的Gemma-2,重新定义100亿参数以下小模型的性能。
所以,Mistral.AI在发布时也挺直接,这是目前世界最好的开源小参数模型。
开源地址:https://huggingface.co/mistralai/Ministral-8B-Instruct-2410
从Mistral.AI公布的测试数据来看,Ministraux的性能确实不错。以最小参数的3B为例,在MMLU、AGIEval、Winogrande、Arc-c、TriviaQA等主流基准测试平台中,分别达到了60.9、42.1、72.7、64.2、56.7的超高分数。
比谷歌的Gemma-2-2B、Meta的Llama-3.2-3B性能高出一大截,甚至超过了70亿参数的模型性能。
而8B版本与Meta、谷歌开源的同类模型相比,在主流测试基准中同样大幅度超越。
Ministral 3B和8B支持128k上下文长度,能够处理超长文本序列,这对于打造AI翻译、离线AI助手、本地数据分析AI助手等非常有帮助。
此外,如果你想开发一个更复杂的AI助手,也可以将Ministraux与Mistral Large等参数较大的模型混合使用,可以充当多流程的智能代理,处理输入解析、任务路由,并根据用户意图在极低延迟和成本下调用多个上下文的API。
架构方面,Ministral 8B版本使用了特殊的交错滑动窗口注意力机制,极大提升了推理效率、内存利用率以及用户响应,这也是能在移动端使用离线大模型的主要原因之一。
传统的Transformer自注意力机制需要对序列中的每个位置计算与其他所有位置的相似度,这会导致计算量和内存需求呈现二次方增长。
而滑动窗口注意力机制通过限制注意力计算的范围,仅在固定大小的窗口内进行计算,只计算窗口内的位置之间的相似度,并将注意分数归一化得到权重。这可以大幅度减少AI算力,并保持局部依赖性。
价格方面,如果不是本地部署也可以使用Mistral.AI服务,Ministral 8B 的API定价为每百万输入和输出token0.1美元,而Ministral 3B 的定价为每百万输入和输出token 0.04美元。
Mistral.AI表示,新发布的Ministraux只是他们对小参数模型的尝试,效果却非常好超过了一年前发布的Ministral 7B。
未来会继续开源更多高性能、小参数的模型,让更多的开发者可以轻松在本地部署使用。
好文章,需要你的鼓励
人工智能正在推动数据中心的变革。为满足 AI workload 的需求,数据中心面临前所未有的电力消耗增长、散热压力和设备重量挑战。应对这些挑战需要创新的解决方案,包括 AI 专用硬件、可再生能源、液冷技术等。同时,数据中心还需平衡监管压力和社区关切。未来数据中心的发展将决定 AI 技术能否实现其变革性潜力。
展望2025年,云技术和应用开发正在快速演进,重塑组织创新、扩展和保护应用的方式。人工智能正在增强而非取代开发,DevOps整合简化了工作流程。混合运营模式日益普及,平衡云、边缘和本地计算。安全仍是重中之重,AI驱动的DevSecOps成为标准。同时,低代码和无代码平台正在重新定义开发人员的角色。
云基础设施初创公司 Together AI Inc. 在新一轮融资中筹集了 3.05 亿美元,估值达到 33 亿美元。此次 B 轮融资由 General Catalyst 和 Prosperity7 共同主导,参与者还包括超过十家其他投资者,如 Nvidia Corp.、Salesforce Ventures 和前思科系统公司首席执行官 John Chambers。
上海人工智能实验室的一项新研究表明,通过适当的工具和测试时扩展技术,参数仅有10亿的小型语言模型在复杂数学基准测试中可以超越4050亿参数的大型语言模型。这一发现为企业在不同环境和应用中部署小型语言模型进行复杂推理任务提供了新的可能性。