法国著名大模型平台Mistral.AI开源了最新小参数模型——Ministraux。
Ministraux一共有Ministral 3B和8B两个版本,是专为手机、平板、笔记本等移动设备设计,在文本生成、推理、函数调用和效率方面非常强悍,大幅度超过了Meta的Llama-3.2和谷歌的Gemma-2,重新定义100亿参数以下小模型的性能。
所以,Mistral.AI在发布时也挺直接,这是目前世界最好的开源小参数模型。
开源地址:https://huggingface.co/mistralai/Ministral-8B-Instruct-2410
从Mistral.AI公布的测试数据来看,Ministraux的性能确实不错。以最小参数的3B为例,在MMLU、AGIEval、Winogrande、Arc-c、TriviaQA等主流基准测试平台中,分别达到了60.9、42.1、72.7、64.2、56.7的超高分数。
比谷歌的Gemma-2-2B、Meta的Llama-3.2-3B性能高出一大截,甚至超过了70亿参数的模型性能。
而8B版本与Meta、谷歌开源的同类模型相比,在主流测试基准中同样大幅度超越。
Ministral 3B和8B支持128k上下文长度,能够处理超长文本序列,这对于打造AI翻译、离线AI助手、本地数据分析AI助手等非常有帮助。
此外,如果你想开发一个更复杂的AI助手,也可以将Ministraux与Mistral Large等参数较大的模型混合使用,可以充当多流程的智能代理,处理输入解析、任务路由,并根据用户意图在极低延迟和成本下调用多个上下文的API。
架构方面,Ministral 8B版本使用了特殊的交错滑动窗口注意力机制,极大提升了推理效率、内存利用率以及用户响应,这也是能在移动端使用离线大模型的主要原因之一。
传统的Transformer自注意力机制需要对序列中的每个位置计算与其他所有位置的相似度,这会导致计算量和内存需求呈现二次方增长。
而滑动窗口注意力机制通过限制注意力计算的范围,仅在固定大小的窗口内进行计算,只计算窗口内的位置之间的相似度,并将注意分数归一化得到权重。这可以大幅度减少AI算力,并保持局部依赖性。
价格方面,如果不是本地部署也可以使用Mistral.AI服务,Ministral 8B 的API定价为每百万输入和输出token0.1美元,而Ministral 3B 的定价为每百万输入和输出token 0.04美元。
Mistral.AI表示,新发布的Ministraux只是他们对小参数模型的尝试,效果却非常好超过了一年前发布的Ministral 7B。
未来会继续开源更多高性能、小参数的模型,让更多的开发者可以轻松在本地部署使用。
好文章,需要你的鼓励
Oracle 推出最新一代 Exadata 平台 X11M,大幅提升了 Oracle 数据库在 AI、OLTP 和分析方面的性能。X11M 针对云、多云和客户数据中心环境进行了优化,在速度和效率上相比前代系统有显著提升。它通过硬件和软件的深度集成,为企业客户提供了强大的数据处理能力,同时兼顾了可扩展性、成本效益和可持续性。X11M 的推出标志着 Oracle 在数据库技术领域又迈出了重要一步。
在 GPU 众多特性中,NVIDIA GPU 凭借其独特的 CUDA 架构和丰富的 CUDA 核心而备受瞩目。然而,由于 GPU 资源的高昂成本和相对稀缺
随着数据中心能耗的急剧增长,使之成为双碳目标达成的重点监控目标。文章针对数据中心中功耗大于200W的高功率芯片,沿着散热路径