周四,法国大语言模型 (LLM) 开发商 Mistral 推出了一款面向处理复杂 PDF 文档的新 API。Mistral OCR 是一款光学字符识别 (OCR) API,可以将任何 PDF 转换为文本文件,使 AI 模型更容易处理。
作为 OpenAI ChatGPT 等流行生成式 AI 工具的基础,大语言模型对原始文本的处理效果特别好。因此,希望创建自己 AI 工作流的企业都意识到,以清晰格式存储和索引数据变得极其重要,这样才能在 AI 处理中重复使用这些数据。
与大多数 OCR API 不同,Mistral OCR 是一个多模态 API,能够检测文本块中交织的插图和照片。该 OCR API 会在这些图形元素周围创建边界框,并将其包含在输出中。
Mistral OCR 不会简单输出大段文本,而是以 Markdown 格式输出,这是开发人员用来在纯文本文件中添加链接、标题和其他格式元素的语法。
大语言模型在训练数据集中大量依赖 Markdown。同样,当使用 Mistral 的 Le Chat 或 OpenAI 的 ChatGPT 等 AI 助手时,它们经常使用 Markdown 来创建项目符号列表、添加链接或将某些元素加粗。助手应用程序会将 Markdown 输出无缝转换为富文本输出。这就是为什么随着生成式 AI 的蓬勃发展,原始文本和 Markdown 在近年来变得更加重要。
Mistral 联合创始人兼首席科学官 Guillaume Lample 表示:"多年来,组织积累了大量 PDF 或幻灯片格式的文档,这些文档对大语言模型 (特别是 RAG 系统) 来说是无法访问的。借助 Mistral OCR,我们的客户现在可以将丰富复杂的文档转换为所有语言的可读内容。"
他补充说:"对于需要简化访问海量内部文档的企业而言,这是 AI 助手广泛应用的关键一步。"
Mistral OCR 可通过 Mistral 自己的 API 平台或其云合作伙伴 (AWS、Azure、Google Cloud Vertex 等) 使用。对于处理机密或敏感数据的企业,Mistral 提供本地部署选项。
据这家总部位于巴黎的 AI 公司称,Mistral OCR 的性能优于 Google、Microsoft 和 OpenAI 的 API。该公司已经用包含数学表达式 (LaTeX 格式)、高级布局或表格的复杂文档测试了其 OCR 模型。它在处理非英语文档方面的表现也据称更好。
图片来源: Mistral
由于 Mistral OCR 专注于单一功能,该公司认为它比现有解决方案更快。与具有 OCR 功能 (以及许多其他功能) 的多模态大语言模型 GPT-4 相比,这一点并不令人惊讶。
Mistral 也在其 AI 助手 Le Chat 中使用 Mistral OCR。当用户上传 PDF 文件时,该公司在后台使用 Mistral OCR 来理解文档内容,然后再处理文本。
企业和开发者很可能会将 Mistral OCR 与 RAG (检索增强生成) 系统结合使用,将多模态文档作为大语言模型的输入。这有很多潜在用例。例如,我们可以设想律师事务所使用它来帮助快速处理大量文档。
RAG 是一种用于检索数据并将其作为生成式 AI 模型上下文的技术。
好文章,需要你的鼓励
周一AWS美东数据中心DNS故障导致数百万用户和上千家企业断网,Reddit、Snapchat、银行和游戏平台均受影响。专家认为这凸显了冗余备份的重要性,CIO需要根据业务关键性进行风险评估,优先保护核心系统。单一供应商策略仍可行,但需通过多区域部署分散风险,建立故障转移计划。金融、医疗等高风险行业需更高冗余级别。
上海AI实验室等机构联合提出FrameThinker框架,革命性地改变了AI处理长视频的方式。该系统采用"侦探式"多轮推理,先快速扫描全视频获得概览,再有针对性地深入分析关键片段。通过两阶段训练和认知一致性验证,FrameThinker在多个视频理解基准测试中准确率平均提升10.4%,计算效率提高20倍以上,为AI视频理解领域带来突破性进展。
英国政府发布新的反勒索软件指导文件,旨在解决供应链安全薄弱环节。该指南与新加坡当局联合制定,帮助组织识别供应链问题并采取实际措施检查供应商安全性。英国国家网络安全中心过去一年处理了204起"国家重大"网络安全事件。指南强调选择安全可靠的供应商、加强合同网络安全条款、进行独立审计等措施,以提升供应链韧性和防范网络攻击。
复旦大学团队创建MedQ-Bench基准,首次系统评估AI模型医学影像质量评估能力。研究覆盖五大成像模式,设计感知-推理双层评估体系,意外发现医学专用AI表现不如通用AI。结果显示最佳AI模型准确率仅68.97%,远低于人类专家82.50%,揭示了AI在医学影像质控应用中的现实挑战和改进方向。