总部位于巴黎的人工智能初创公司 Mistral AI 今天宣布开源其新的轻量级 AI 模型 Mistral Small 3.1,声称其性能超越了 OpenAI 和 Google LLC 开发的类似模型。
这一举措可能会加剧开发高性能低成本大语言模型的竞争。Mistral Small 3.1 仅使用 240 亿参数就能处理文本和图像,虽然规模仅为目前最先进模型的一小部分,但仍能与它们竞争。
在一篇博客文章中,Mistral 解释说,与其前身 Mistral Small 3 相比,Mistral Small 3.1 提供了"更好的文本处理性能、多模态理解能力,以及扩展到 128,000 个 token 的内容窗口"。
该公司补充说,新模型可以以每秒约 150 个 token 的速度处理数据,这使其非常适合需要快速响应的应用场景。从各方面来看,这都是一个令人印象深刻的技术成就,突显了 Mistral AI 的另类战略。与竞争对手简单地投入更多计算资源不同,该公司的许多进步源于对算法改进和训练优化技术的关注。这种方法使其能够最大化小型模型架构的性能。
Mistral AI 的这种方法的主要优势在于使 AI 更容易获取。通过构建能在相对普通硬件上运行的强大新模型 - 在本例中是单个 RTX 4090 显卡或配备 32GB 内存的 Mac 笔记本电脑 - 它使更先进的 AI 能够部署在更小的远程设备上。
与简单增加 AI 模型规模相比,Mistral 的方法最终可能更具可持续性。随着中国的 DeepSeek Ltd. 也采用类似策略,其资金更充足的竞争对手最终可能别无选择,只能走上同样的道路。
这家法国公司由来自 Google DeepMind 部门和 Meta Platforms Inc. 的前 AI 研究人员于 2023 年创立,现已成为欧洲顶级 AI 公司。迄今为止,该公司已筹集超过 10.4 亿美元资金,估值约为 60 亿美元。这确实是一笔巨额资金,但与 OpenAI 据报道的 800 亿美元估值相比却显得微不足道。
Mistral Small 3.1 是该公司最近一系列发布的最新产品。上个月,它推出了专注于阿拉伯语言和文化的新模型 Saba,本月又推出了 Mistral OCR。Mistral OCR 是一个专门使用光学字符识别将 PDF 文档转换为 Markdown 文件的模型,使其更容易被大语言模型访问。
这些专业产品丰富了公司更广泛的 AI 模型组合,其中包括公司当前的旗舰产品 Mistral Large 2、多模态模型 Pixtral、代码生成模型 Codestral,以及用于边缘设备的高度优化模型系列 Les Ministraux。
这个多样化的产品组合突显了 Mistral AI 如何根据市场需求调整其创新,创建各种专用系统以满足不断增长的需求,而不是直接与 OpenAI 和 Google 正面竞争。
该公司对开源的承诺也是一个独特的战略选择,在由封闭、专有模型主导的行业中脱颖而出。这种策略在某种程度上也取得了成效,其轻量级前身 Mistral Small 3 已经衍生出"几个出色的推理模型"。这表明开放合作有潜力使 AI 发展的速度远超任何单个公司独自工作的速度。
通过开源其模型,Mistral 还受益于更广泛的 AI 社区提供的扩展研发能力,使其能够与资金更充足的竞争对手竞争。
然而,Mistral 的开源策略也使其更难产生收入,因此必须寻求提供专业服务、企业部署和利用其基础技术的独特应用,以提供其他类型的优势。
Mistral 选择的道路是否正确仍有待观察,但目前显然 Mistral Small 3.1 是一个重要的技术成就,强化了强大的 AI 模型可以以更小、更高效的包装形式实现的理念。
Mistral Small 3.1 可通过 Huggingface 下载,也可以通过 Mistral 的 AI 应用程序接口或 Google Cloud 的 Vertex AI 平台访问。在未来几周内,它还将通过 Nvidia Corp. 的 NIM 微服务和 Microsoft Corp. 的 Azure AI Foundry 提供。
好文章,需要你的鼓励
研究显示,英国中小企业虽占企业总数99.9%,但因资源与专业不足,难以有效应对网络攻击。CyCOS项目旨在通过构建支持社区,帮助中小企业提升网络防御能力。
上海交大研究团队开发的VideoREPA是一种突破性的视频生成框架,通过令牌关系蒸馏技术将视频理解模型中的物理知识转移到文本到视频(T2V)扩散模型中。与传统方法不同,VideoREPA关注空间和时间关系的对齐,使生成的视频更符合物理常识。实验表明,这种方法在VideoPhy基准测试中将物理常识分数提高了24.1%,明显优于现有技术。该研究为创建更真实的AI生成视频提供了新思路,展示了理解能力与生成质量间的密切关联。
Wispr 的 Flow 是一款创新的 iOS 语音输入软件,借助 AI 技术能将语音无缝转换为精美文字,每周免费 2000 字,支持 100 多种语言,并能实现多设备同步。
浙江大学和莫纳什大学研究团队开发了PM-Loss,一种用于改进前馈式3D高斯分布渲染的新型正则化损失函数。研究针对深度图在物体边界处的不连续性问题,通过预训练Transformer模型预测的点图提供几何先验知识,实现了更平滑、准确的3D场景重建。实验表明,PM-Loss在多个数据集上显著提升了渲染质量,PSNR提高至少2dB,特别改善了物体边界处的细节表现。该方法易于集成到现有模型中,无需修改架构,为3D视觉和图形学领域提供了新的研究思路。