本文原文来自DataLearnerAI官方网站:
https://www.datalearner.com/blog/1051721328234545
在人工智能领域,Mistral与NVIDIA的合作带来了一个引人注目的新型大模型——Mistral NeMo。这个拥有120亿参数的模型不仅性能卓越,还为AI的普及和应用创新铺平了道路。MistralAI官方博客介绍说该模型是此前开源的Mistral 7B模型的继承者,因此未来可能7B不会再继续演进了!
Mistral NeMo另一个最大的特点是大幅提高了多语言能力,特别是中文的支持大幅提高。虽然此前Mistral AI开源了很多模型,但是中文表现都很一般。而Mistral NeMo则在中文水平大幅提升。
Mistral NeMo简介
Mistral NeMo的评测结果
Mistral NeMo多语言支持包含中文!
Mistral NeMo技术简介
Mistral NeMo兼容此前的Mistral 7B模型
Mistral NeMo是完全开源的模型
Mistral NeMo最令人瞩目的特点之一是其超长的上下文窗口,能够处理高达128k tokens的输入文本,这使得模型在理解复杂场景和长文本处理上具有显著优势,为多轮对话提供了更广阔的应用空间。
在同等规模的模型中,Mistral NeMo在推理能力、世界知识的掌握以及编程准确性方面都达到了顶尖水平,这使其在解决复杂问题和生成高质量代码等多种应用场景中表现出色。
下图是Mistral NeMo与其它模型评测结果的对比:
从上面可以看到,尽管综合理解能力(MMLU)上Mistral NeMo模型表现一般,但是在数学推理任务上表现很亮眼!
根据DataLearnerAI收集的大模型评测结果,新开源的Mistral NeMo模型在130亿参数规模的模型上评测非常优秀,MMLU评测得分第一。
鉴于此前MistralAI开源的模型的良好口碑,这样的成绩下Mistral NeMo的能力非常值得期待。
此前MistralAI开源的Mixtral MoE以及Mixtral 7B都是不支持中文,或者中文非常弱。此次官方宣称对中文的支持说明这方面能力已经达到一定水平了。下图是Mistral NeMo在多语言上的评测结果,显著超过了Llama3-8B。
尽管没有很详细的描述,但是官方还是透露了一些技术细节,Mistral NeMo采用了基于Tiktoken开发的新分词器Tekken,在多种自然语言和源代码的处理上表现卓越,其文本压缩效率比传统分词器高出约30%,显著提升了模型的效率和性能。
Mistral NeMo在遵循精确指令、推理、处理多轮对话和生成代码等方面都表现出显著进步,不仅能理解用户需求,还能更准确地完成各种复杂任务。
为了降低企业和开发者的门槛,Mistral采用了标准架构,可以轻松替代任何使用Mistral 7B的系统。模型权重已在HuggingFace上公开,并配有推理和微调工具,而NVIDIA则将其作为NIM推理微服务容器提供,进一步简化了部署和使用过程。
Mistral选择开源友好策略,通过Apache 2.0许可证发布模型的预训练和指令微调检查点,极大推动了学术界和产业界对该模型的采用与创新。
Mistral NeMo模型的开源地址参考DataLearnerAI的模型信息卡:https://www.datalearner.com/ai-models/pretrained-models/Mistral-NeMo-Base-12B
好文章,需要你的鼓励
从浙江安吉的桌椅,到广东佛山的沙发床垫、河南洛阳的钢制家具,再到福建福州的竹藤制品,中国各大高度专业化的家具产业带,都在不约而同地探索各自的数字化出海路径。
哥伦比亚大学研究团队开发了MathBode动态诊断工具,通过让数学题参数按正弦波变化来测试AI的动态推理能力。研究发现传统静态测试掩盖了AI的重要缺陷:几乎所有模型都表现出低通滤波特征和相位滞后现象,即在处理快速变化时会出现失真和延迟。该方法覆盖五个数学家族的测试,为AI模型选择和部署提供了新的评估维度。
研究人员正探索AI能否预测昏迷患者的医疗意愿,帮助医生做出生死决策。华盛顿大学研究员Ahmad正推进首个AI代理人试点项目,通过分析患者医疗数据预测其偏好。虽然准确率可达三分之二,但专家担心AI无法捕捉患者价值观的复杂性和动态变化。医生强调AI只能作为辅助工具,不应替代人类代理人,因为生死决策依赖具体情境且充满伦理挑战。
这项研究首次发现AI推理模型存在"雪球效应"问题——推理过程中的小错误会逐步放大,导致AI要么给出危险回答,要么过度拒绝正常请求。研究团队提出AdvChain方法,通过训练AI学习"错误-纠正"过程来获得自我纠错能力。实验显示该方法显著提升了AI的安全性和实用性,用1000个样本达到了传统方法15000个样本的效果,为AI安全训练开辟了新方向。