/

商汤、清华、复旦等开源百亿级多模态数据集，可训练类GPT-4o模型

商汤科技等机构联合开源了百亿级图文交错数据集OmniCorpus，规模是现有数据集的15倍，包含86亿张图像和16,960亿个文本标记。OmniCorpus数据集在多语言、多类型数据抓取上进行了优化，提高了内容提取的质量和完整性。通过人工反馈和自动过滤规则，确保了数据集的高质量。在VQA和Image Captioning等测试中，基于OmniCorpus预训练的模型表现出色，对训练多模态大模型有重要帮助。
商汤科技、清华大学、上海AI实验室、哈尔滨工业大学、香港中文大学、复旦大学和南京大学的研究人员联合开源了百亿级图文交错数据集——OmniCorpus。
与现有的MMC4、OBELICS等数据集相比，OmniCorpus在规模上扩大了15倍，包含86 亿张图像和16,960亿个文本标记。在数据质量上同样出色，不仅涵盖了英语网站，还包含了非英语网站及视频为中心的平台，确保了内容的广泛性和丰富性。
此外，OmniCorpus还可以从图像文本交织格式轻松降级为纯文本语料库或图像文本对，以满足不同领域研究需求。
开源地址：https://github.com/OpenGVLab/OmniCorpus
论文地址：https://arxiv.org/abs/2406.08418
商汤、清华、复旦等开源百亿级多模态数据集，可训练类GPT-4o模型
OmniCorpus数据集介绍
为了抓取不同语言、类型的数据，研究人员对Trafilatura工具进行了优化，能够更准确地识别和提取HTML文档中的主要内容区域，同时处理更多语言的数据。
还增强了对图像的提取能力，确保了在没有足够文本内容的情况下，能够基于HTML结构的密度来增强部分区域，显著提高了内容提取的质量和完整性。
商汤、清华、复旦等开源百亿级多模态数据集，可训练类GPT-4o模型
在提取到主题数据之后进入初步的文本过滤阶段，目的是去除那些质量极低的文档，包含大量数字、文本过长或过短填充文本的文档。
研究人员使用了Gopher和C4策略，并引入了一些启发式规则，例如，去除连续行数过多或单个词频过高的文档等，有效减少了数据集中的冗余。
商汤、清华、复旦等开源百亿级多模态数据集，可训练类GPT-4o模型
随后又进行了图像过滤，包括模糊、尺寸、宽高比不合适的图像。根据LAION-5B的指导方针，任何审美分数低于3.7或NSFW分数高于0.8的图像也将被排除，确保了图像数据的质量和相关性。
商汤、清华、复旦等开源百亿级多模态数据集，可训练类GPT-4o模型
为了进一步提升OmniCorpus数据集的质量，还引入了人工反馈机制会根据完整性、可理解性、流畅性、相关性和安全性等标准，对文档的子集进行大规模采样。然后手动设计额外的过滤规则，进一步去除低质量文档。
OmniCorpus测试数据
为了评估OmniCorpus数据集的性能，研究人员在VQA、Image Captioning、MLLM等测试平台上进行了综合测试。
在VQA视觉问答的众多子任务中，基于OmniCorpus数据集预训练的模型展现了强大的性能，不仅能够准确识别图像中的对象和场景，还能够理解问题的上下文给出准确的答案。
商汤、清华、复旦等开源百亿级多模态数据集，可训练类GPT-4o模型
例如，在VQAv2测试中，模型的平均准确率达到了81.2%，在TextVQA上达到了61.7%，这比之前的训练数据集得分更高。
在Image Captioning测试任务中，OmniCorpus数据集的多样性和丰富性为模型提供了广泛的训练样本，使其能够捕捉到图像中的主要对象和事件，并理解和表达图像中的细节和情感。
在COCO Caption和Flickr30K Caption这两个图像描述基准测试中，基于OmniCorpus数据集预训练的模型生成的描述在质量和准确性上都有显著提升。所以，OmniCorpus数据集对于训练类似GPT-4o、Gemini等多模态大模型有很大的帮助。

 

来源：AIGC开放社区

0赞

好文章，需要你的鼓励

推荐文章
Rocket Lab宣布以80亿美元收购卫星运营商铱星公司

航天产业

卫星通信

企业并购

2026-06-30

Rocket Lab宣布以80亿美元收购卫星运营商铱星公司

火箭实验室（Rocket Lab）宣布计划以现金加股票方式，斥资80亿美元收购主要卫星运营商铱星通信（Iridium Communications），交易预计于2027年中完成。铱星目前运营着由66颗活跃低轨卫星组成的星座网络，拥有约255万活跃用户，2024年营收达8.717亿美元。收购完成后，Rocket Lab计划借助其新型重型运载火箭Neutron及Lightning卫星平台，扩大铱星星座规模，开拓未被覆盖的市场并降低发射成本。

香港大学与武汉大学联手打造的卫星图像预测系统，竟能“预感“干旱来袭？

地球观测预测

视频扩散模型

物理信息条件框架

2026-06-30

香港大学与武汉大学联手打造的卫星图像预测系统，竟能“预感“干旱来袭？

香港大学与武汉大学联合开发的EO-WM系统，将地球观测卫星图像预测重新定义为天气驱动的世界建模问题，通过把气象信号拆解为气候基线、天气异常和累积压力三层，显著提升了对极端干旱和热浪事件下植被退化的预测准确性。

Tidal宣布将为AI生成音乐添加标签并移除欺诈内容

人工智能

音频处理

AI内容监管

2026-06-30

Tidal宣布将为AI生成音乐添加标签并移除欺诈内容

音乐流媒体平台Tidal宣布，将于7月中旬启用自动化工具，对完全由AI生成的音乐添加"AI"标识，并移除具有欺诈性质的曲目。平台还将取消AI生成音乐的版税资格，仅向真人创作、演唱的原创音乐开放变现渠道。此外，Tidal明确将高频异常上传、干扰真实艺术家等行为列为欺诈活动。Deezer、Spotify等竞争对手此前已推出类似检测机制，流媒体行业正加速构建AI内容治理体系。

腾讯混元视觉团队打造“图像翻译官“：让AI用离散数字读懂每一张照片

多模态大模型

视觉量化表示

原生分辨率支持

2026-06-30

腾讯混元视觉团队打造“图像翻译官“：让AI用离散数字读懂每一张照片

腾讯等机构提出ViQ框架，通过两阶段渐进量化训练，让离散视觉编码在多模态理解和图像重建上同时追平连续特征编码器，训练速度最高提升70%。

2024

09/02

16:04

分享

点赞

AIGC开放社区

专注AIGC领域的专业社区，关注微软OpenAI、百度文心一言、讯飞星火等大语言模型（LLM）的发展和应用落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！

最近文章 :
阅读更多内容，猛戳这里

友情链接

业界热点:

北京第二十六维信息技术有限公司（至顶网）版权所有. 京ICP备15039648号-7 京ICP证161336号京公网安备 11010802021500号  京网文(2025) 0096-033号  京字第20868号

举报电话：010-62641205　涉未成年人举报专线：010-62641208 举报邮箱：jubao@zhiding.cn　公开举报受理处置规则

网上有害信息举报专区：https://www.12377.cn

安全联盟认证