[中国,上海,2022年9月1日] 2022世界人工智能大会(WAIC)在上海隆重召开。WAIC的最高奖项——卓越人工智能引领者奖(Super AI Leader,简称SAIL奖)正式揭晓,基于昇腾AI的全球首个三模态大模型“紫东.太初”,从众多国内外参评项目中脱颖而出,荣获SAIL大奖。
SAIL奖作为人工智能领域高规格、国际化的奖项之一,以其“高层次”、“应用性”、“创新性”、“引领性”为主要导向。自2018年以来,吸引了众多海内外优秀项目参评,包括国内外知名学术科研机构和企业。“紫东.太初”由中科院自动化所与华为基于全栈自主创新的昇腾AI基础软硬件平台联合打造,是全球首个图、文、音三模态大模型,开创性地实现了图像、文本、语音三模态数据间的统一表示与相互生成,更加接近人类真正的感情和思考,灵活性更高,通用性更强,让AI从“一专一能”迈向“多专多能”,并为多模态人工智能行业应用提供创新基础,其技术的创新性、行业影响力获得评委的一致认可,最终获得SAIL大奖。
紫东.太初凭借四大突破,助力以多模态认知为核心的通用AI发展:首次提出多层次、多任务跨模态自监督学习框架,支持从Token级(单词级)走向模态级、样本级的三级预训练自监督学习方式;首次完成弱关联多模态数据语义统一表示,减少数据收集与清洗代价;首次实现多模态理解与生成任务的统一建模,支持跨模态检索、多模态分类、语音识别、图像生成等理解与生成任务;首次实现无监督超越有监督方法,基于1%数据标注实现100%有监督学习效果。截至目前,“紫东.太初”在2021年ACM Multimedia(国际多媒体大会) 和ICCV(国际计算机视觉大会)等人工智能领域国际比赛中多次夺魁,其相关研究论文发表多达20余篇,专利近20个,充分彰显其创新性和先进性。
去年底,国内首个多模态人工智能产业联盟成立,至今已吸引了包括新华社技术局、长安汽车、中国移动、千博手语等在内的41家成员单位加盟,通过开源的多模态大模型快速进行自身业务AI融合创新,陆续孵化出新媒体内容检索平台、智能座舱、南宋御街数字人、手语教考一体机等场景化行业应用。同时,在智能制造、智慧医疗、智慧文旅、社会公益等领域打造的创新行业应用也已经或即将上线,充分展现出人工智能大模型的产业价值。
从“紫东.太初”大模型的研发,到产业联盟的组建与行业应用的落地,都在不断开创产业聚集新模式。AI研发规则和产业应用模式迎来深刻变革,昇腾AI正在加速推动AI产业化和产业AI化,助力中国人工智能抢占智能时代新高地。
好文章,需要你的鼓励
韩国科学技术院研究团队提出"分叉-合并解码"方法,无需额外训练即可改善音视频大语言模型的多模态理解能力。通过先独立处理音频和视频(分叉阶段),再融合结果(合并阶段),该方法有效缓解了模型过度依赖单一模态的问题,在AVQA、MUSIC-AVQA和AVHBench三个基准测试中均取得显著性能提升,特别是在需要平衡音视频理解的任务上表现突出。
这项研究利用大语言模型解决科学新颖性检测难题,南洋理工大学团队创新性地构建了闭合领域数据集并提出知识蒸馏框架,训练轻量级检索器捕捉想法层面相似性而非表面文本相似性。实验表明,该方法在市场营销和NLP领域显著优于现有技术,为加速科学创新提供了有力工具。
un?CLIP是一项创新研究,通过巧妙反转unCLIP生成模型来增强CLIP的视觉细节捕捉能力。中国科学院研究团队发现,虽然CLIP在全局图像理解方面表现出色,但在捕捉细节时存在不足。他们的方法利用unCLIP生成模型的视觉细节表示能力,同时保持与CLIP原始文本编码器的语义对齐。实验结果表明,un?CLIP在MMVP-VLM基准、开放词汇语义分割和视觉中心的多模态任务上显著优于原始CLIP和现有改进方法,为视觉-语言模型的发展提供了新思路。
这项研究介绍了RPEval,一个专为评估大语言模型角色扮演能力而设计的新基准。研究团队从法国里尔大学开发的这一工具专注于四个关键维度:情感理解、决策制定、道德对齐和角色一致性,通过单轮交互实现全自动评估。研究结果显示Gemini-1.5-Pro在总体表现上领先,而GPT-4o虽在决策方面表现出色,但在角色一致性上存在明显不足。这一基准为研究人员提供了一个可靠、可重复的方法来评估和改进大语言模型的角色扮演能力。