商汤、清华、复旦等开源百亿级多模态数据集，可训练类GPT-4o模型

商汤科技等机构联合开源了百亿级图文交错数据集OmniCorpus，规模是现有数据集的15倍，包含86亿张图像和16,960亿个文本标记。OmniCorpus数据集在多语言、多类型数据抓取上进行了优化，提高了内容提取的质量和完整性。通过人工反馈和自动过滤规则，确保了数据集的高质量。在VQA和Image Captioning等测试中，基于OmniCorpus预训练的模型表现出色，对训练多模态大模型有重要帮助。