Cohere 发布仅需两块 GPU 的低成本 AI 模型

人工智能初创公司 Cohere Inc. 今日发布了其最新的大语言模型 Command A，该模型能够以最少的硬件需求满足企业的高性能需求，相比竞争对手的 AI 模型具有明显优势。

这家初创公司宣称，该大语言模型的性能超过了领先的专有和开源模型，如 OpenAI GPT-4o 和 DeepSeek-V3。公司还表示，在私有部署环境中，该模型只需要两块 Nvidia 的 A100 或 H100 GPU 就能运行，而竞争对手的模型可能需要多达 32 块。

这种规模差异非常重要，因为金融和医疗保健等需要内部部署的客户，通常必须将其 AI 模型部署在防火墙内。这意味着他们需要购买昂贵的 AI 加速硬件，并且必须拥有能在企业内部环境中运行的高性能模型。

Cohere 表示："在商业、STEM 和编程任务的人工评估对比中，Command A 与其体量更大、速度更慢的竞争对手相比，表现相当或更优——同时提供更高的吞吐量和更好的效率。"具体而言，Command A 的 token 生成速率可达到 156 tokens/秒，比 GPT-4o 快 1.75 倍，比 DeepSeek-V3 快 2.4 倍。

考虑到商业用途，该模型还具有更大的上下文窗口，达到 256,000 tokens，是行业平均水平的两倍，包括 Cohere 自己的 Command R+ 模型。这意味着该模型可以一次性处理大量文档或长达 600 页的书籍。

Cohere 联合创始人 Nick Frosst 表示："我们只训练模型来帮助你更好地完成工作。这应该感觉像是为你的思维装上了机甲。因此，我们训练它是为了赋能于你。它应该在这方面表现得特别出色。"

该公司表示，他们专注于开发能够实现 AI 代理可扩展运营的模型功能。代理式 AI 最近已成为行业的重要趋势，旨在创建能够分析数据、做出决策并执行任务的人工智能系统，而无需或仅需最少的人工参与。在实践中，这需要大量的计算能力，要基于公司信息高效准确地完成这些任务需要训练有素的 AI 模型。

Cohere 表示，Command A 将直接集成到其安全的 AI 代理平台 North 中，该平台允许企业用户充分利用其公司数据的潜力。该平台旨在使企业 AI 代理能够使用客户关系管理、资源规划软件等工具来自动化任务。