智能体工具虽然能减轻日常工作流程中的繁琐任务,但大多数组织仍对采用这些工具持谨慎态度,主要担心数据安全问题。拥有商业机密的大型企业、高度监管行业的公司以及政府机构都对引入AI工具非常谨慎,担心自己或客户的数据可能被意外泄露或用于训练基础模型。
加拿大AI公司Cohere推出了名为North的智能体平台,旨在缓解这些担忧。North承诺支持私有化部署,让企业和政府能够将自己和客户的数据安全保护在自己的防火墙后面。
"大语言模型的好坏取决于它们能访问的数据质量,"Cohere联合创始人兼CEO Nick Frosst在North演示中表示。"如果我们希望大语言模型尽可能有用,它们就必须访问有用的数据,这意味着它们需要部署在客户的环境中。"
与使用Azure或AWS等企业云平台不同,Cohere表示可以将North安装在组织的私有基础设施上,这样公司永远不会看到或接触客户数据。Frosst表示,North可以运行在组织的本地基础设施、混合云、VPC或气隙环境中。
"我们甚至可以部署在他们放在某处壁橱里的GPU上,"他解释说,并补充North设计为最少只需两个GPU即可运行。
Cohere声称North还包含精细访问控制、智能体自主策略、持续红队测试和第三方安全测试等安全协议,并符合GDPR、SOC-2和ISO 27001等国际合规标准。
超越私有部署的功能
迄今融资9.7亿美元、最新估值55亿美元的Cohere表示,已经与RBC、戴尔、LG、Ensemble Health Partners以及Palantir等客户试点了North平台。
North在开箱即用方面与许多智能体平台相似。其主要功能是聊天和搜索,让用户能够获得客户支持查询的答案;总结会议记录、撰写营销文案,以及从内部资源和网络获取信息。Frosst补充说,所有回复都包含引用和"推理"思维链,便于员工审计和验证输出结果。
聊天和搜索功能由现有的Cohere技术驱动,如Command(其生成式AI模型系列)和Compass(其多模态搜索技术栈)。Frosst表示,North由专为企业推理训练的Command模型变体驱动。
"它不仅仅是问答,而是能为你工作。North具备大量资产创建功能,可以制作表格、文档、幻灯片,还能进行市场研究,"Frosst说。
值得注意的是,Cohere在今年5月收购了总部位于温哥华的Ottogrid,这是一个开发自动化高级市场研究企业工具的平台。
像其他智能体平台一样,North可以连接Gmail、Slack、Salesforce、Outlook和Linear等现有工作场所工具,并与任何模型上下文协议(MCP)服务器集成,以访问行业特定或内部应用程序。
"当你通过与模型聊天建立信心时,从将其用作辅助工具到用作自动化工具之间会发生平滑过渡,"Frosst表示。
Q&A
Q1:Cohere的North平台有什么特殊之处?
A: North是Cohere推出的智能体平台,最大特点是支持私有化部署,可以安装在组织的私有基础设施上,包括本地环境、混合云、VPC或气隙环境,确保企业和客户数据始终在自己的防火墙后面,从不被外部接触。
Q2:North平台具备哪些主要功能?
A:North的主要功能包括聊天和搜索,能够回答客户支持查询、总结会议记录、撰写营销文案、访问内部和网络信息。还具备资产创建功能,可制作表格、文档、幻灯片和进行市场研究,并能与Gmail、Slack、Salesforce等工作场所工具集成。
Q3:North平台在数据安全方面有哪些保障?
A:North包含多重安全保障:精细访问控制、智能体自主策略、持续红队测试和第三方安全测试。平台符合GDPR、SOC-2和ISO 27001等国际合规标准,最少只需两个GPU即可运行,确保在客户环境内完全私有化部署。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。