AI新加坡联手阿里云推出东南亚大语言模型Sea-Lion v4

新加坡人工智能机构与阿里云发布全新大语言模型Qwen-Sea-Lion-v4,专门针对东南亚语言和文化特色进行优化。该模型结合阿里云Qwen3-32B基础模型和大量东南亚地区数据集,在东南亚语言模型评估榜单中位居开源模型首位。模型支持119种语言,能在32GB内存的消费级笔记本上运行,采用字节对编码技术更好处理非拉丁文字,并具备3.2万词元上下文长度,可执行文档级推理和摘要任务。

新加坡人工智能组织(AISG)与阿里云联合发布了一个专门针对东南亚语言和文化特点优化的大语言模型。

这款名为Qwen-Sea-Lion-v4的模型将阿里巴巴的Qwen3-32B基础模型与AISG的大型区域数据集相结合,为以西方为中心的人工智能模型提供了开源替代方案。

据AISG介绍,这款新模型在参数少于2000亿的开源模型中,在东南亚语言模型综合评估(Sea-Helm)排行榜上位居榜首。

这也是Sea-Lion(东南亚语言一体化网络)项目的最新进展。Sea-Lion项目于2023年首次启动,旨在解决主流生成式AI模型中普遍存在的英语偏向问题。

尽管OpenAI的GPT-4或Meta的Llama系列等模型在英语和主要欧洲语言方面表现出色,但它们在处理东南亚地区资源匮乏的语言时经常遇到困难。

此外,全球性模型无法考虑当地文化背景或该地区代码切换的倾向——即将英语与当地方言结合的做法,如新加坡的新式英语或马来西亚的马式英语。

Sea-Lion的早期版本专注于为该地区创建主权能力,确保东南亚数据不仅仅是美国模型训练中的脚注。

AISG人工智能产品高级总监Leslie Teo表示,与阿里巴巴的合作将有助于推进AI包容性,使Sea-Lion更好地代表东南亚。

"这体现了我们加速该地区AI创新的共同愿景,确保开发者、企业和公共机构能够获得开放、负担得起、与当地相关且真正理解该地区语言、文化和社区的AI,"Teo说道。

Qwen-Sea-Lion-v4基于Qwen3-32B基础模型构建,该模型在119种语言的36万亿个Token上进行了预训练。为了满足东盟市场的需求,AISG使用超过1000亿个东南亚语言Token进行了高级后训练。

该模型还可以在配备32GB内存的消费级笔记本电脑上运行。这对该地区来说是一个关键功能,因为许多中小企业和开发者无法获得工业级GPU集群。

此外,该模型不再使用句子分割标记器,而是采用字节对编码(BPE)。这使其在处理泰语和缅甸语等非拉丁文字方面表现更佳。凭借原生32k Token上下文长度,该模型可以处理文档级推理和摘要任务。

阿里云智能新加坡总经理Hon Keat Choong表示,此次合作充分利用了Qwen模型的"多语言和推理优势",结合AISG深厚的区域专业知识。

为了改善模型在口语化语音方面的表现,团队在后训练期间增加了翻译和跨语言任务的比例。这使模型能够更好地解释反映该地区实际使用情况的非正式聊天和混合语言输入。

该模型可通过AISG网站和Hugging Face免费下载,提供四位和八位量化版本以便于部署。

Q&A

Q1:Qwen-Sea-Lion-v4有什么特别之处?

A:Qwen-Sea-Lion-v4是专门为东南亚地区优化的大语言模型,结合了阿里巴巴Qwen3-32B基础模型和AISG的区域数据集。它在处理东南亚低资源语言、理解当地文化背景和代码切换现象方面表现优异,在东南亚语言模型评估排行榜上位居榜首。

Q2:为什么需要专门的东南亚语言模型?

A:因为现有的全球性AI模型如GPT-4或Llama系列虽然在英语和欧洲语言方面表现出色,但在处理东南亚地区资源匮乏的语言时经常遇到困难,也无法理解当地文化背景或代码切换现象,如新加坡的新式英语或马来西亚的马式英语。

Q3:普通用户如何使用Qwen-Sea-Lion-v4?

A:该模型可以在配备32GB内存的消费级笔记本电脑上运行,用户可通过AISG网站和Hugging Face免费下载,提供四位和八位量化版本以便于部署。这对于缺乏工业级GPU集群的中小企业和开发者来说非常友好。

来源:Computer Weekly

0赞

好文章,需要你的鼓励

2025

11/26

16:12

分享

点赞

邮件订阅