周四,Anthropic 宣布推出 Citations(引用)功能,这是一项新的 API 特性,通过将回答直接链接到源文档,帮助 Claude 模型避免捏造信息(也称为幻觉)。该功能允许开发者向 Claude 的上下文窗口添加文档,使模型能够自动引用生成答案时所使用的具体段落。
Anthropic 表示:"当启用 Citations 功能时,API 会将用户提供的源文档(PDF 文档和纯文本文件)按句子进行分块处理。这些分块后的句子,连同用户提供的上下文,会与用户的查询一起传递给模型。"
该公司描述了 Citations 的几个潜在用途,包括:总结案例文件并提供带源链接的要点、跨金融文档回答问题并追踪引用,以及支持引用特定产品文档的支持系统。
根据公司内部测试,与用户在提示中创建的自定义引用实现相比,该功能将召回准确率提高了最多 15%。虽然 15% 的准确率提升看起来并不多,但由于其从根本上集成了检索增强生成 (RAG) 技术,这一新功能仍然吸引了像 Simon Willison 这样的 AI 研究人员的关注。Willison 在他的博客上详细解释了为什么引用功能如此重要。
他写道:"检索增强生成 (RAG) 模式的核心是获取用户的问题,检索可能与该问题相关的文档部分,然后通过在提供给大语言模型的上下文中包含这些文本片段来回答问题。这通常效果不错,但模型仍可能基于其训练数据中的其他信息(有时可以接受)或完全虚构不正确的细节(绝对不好)来作答。"
Willison 指出,虽然引用源可以帮助验证准确性,但构建一个运行良好的系统"可能相当棘手",不过 Citations 通过将 RAG 功能直接内置到模型中,似乎朝着正确的方向迈进了一步。
显然,这种能力并不是新事物。Anthropic 的 Alex Albert 在 X 上写道:"在底层,Claude 经过训练可以引用源文档。通过 Citations,我们向开发者开放了这种能力。要使用 Citations,用户可以在通过 API 发送的任何文档类型上传递新的 'citations: {enabled:true}' 参数。"
早期采用者报告结果令人期待
该公司通过 Anthropic API 和 Google Cloud 的 Vertex AI 平台为 Claude 3.5 Sonnet 和 Claude 3.5 Haiku 模型发布了 Citations 功能,而且据报道已经在实际应用中得到使用。
Anthropic 表示,使用 Claude 来支持其 CoCounsel 法律 AI 参考平台的 Thomson Reuters 期待使用 Citations,这不仅可以"最大限度地降低幻觉风险,还能增强对 AI 生成内容的信任"。
此外,据首席执行官 Tarun Amasa 称,金融科技公司 Endex 告诉 Anthropic,Citations 将他们的源文档捏造率从 10% 降至零,同时每个响应的引用数量增加了 20%。
尽管有这些声明,在该技术得到更深入研究和实地验证之前,仍然存在依赖任何大语言模型准确传递参考信息的风险。
Anthropic 将按照标准的基于 token 的定价向用户收费,但响应中的引用文本不计入输出 token 成本。根据 Anthropic 的标准 API 定价,使用 Claude 3.5 Sonnet 引用一份 100 页的文档大约需要 0.30 美元,使用 Claude 3.5 Haiku 则需要 0.08 美元。
好文章,需要你的鼓励
普林斯顿大学研究团队通过分析500多个机器学习模型,发现了复杂性与性能间的非线性关系:模型复杂性存在最优区间,超过这个区间反而会降低性能。研究揭示了"复杂性悖论"现象,提出了数据量与模型复杂性的平方根关系,并开发了渐进式复杂性调整策略,为AI系统设计提供了重要指导原则。
OpenAI明确表示要成为互联网一切事物的主导界面。AI智能体正在改变用户的数字习惯,从健康记录分析到购物指导,ChatGPT已经在多个领域扩展影响力。用户快速采用AI工具,但企业和生态系统的适应速度滞后。电商领域的权力分配尚不明确,用户偏好AI驱动的答案优先体验,品牌则推动生成式引擎优化。研究旨在了解用户与企业在AI变革中的适应差异。
微软亚洲研究院开发出革命性的认知启发学习框架,让AI能够像人类一样思考和学习。该技术通过模仿人类的注意力分配、记忆整合和类比推理等认知机制,使AI在面对新情况时能快速适应,无需大量数据重新训练。实验显示这种AI在图像识别、语言理解和决策制定方面表现卓越,为教育、医疗、商业等领域的智能化应用开辟了新前景。