Tavus Inc.,一家致力于开发能模拟真人对话体验的实时 AI 技术的人工智能研究初创公司,今天宣布发布了一系列突破性的 AI 模型。
该公司表示,正在通过其"对话视频界面"构建一个人机交互操作系统,使 AI 能够自然地感知、理解和回应。这种体验就像在 Zoom 或 FaceTime 通话中与真人交谈一样。Tavus 的使命是让 AI 不仅能理解面部表情、语气和肢体语言及其含义,还能通过自身的表情和语气来传达意义。
"人类在进化过程中形成了面对面交流的方式。因此,我们希望教会机器如何实现这一点,"首席执行官 Hassaan Raza 在接受 SiliconANGLE 采访时表示。"如果我们相信未来会出现 AI 同事、朋友和助手,我们就需要为此构建相应的接口。"
此次发布包含三个模型:Phoenix-3,首个能传达细微表情的全脸 AI 渲染模型;Raven-0,一个突破性的 AI 感知模型,能像人类一样观察和推理;以及 Sparrow-0,一个先进的对话轮替模型,为对话增添"生命火花"。
Phoenix-3 是公司的旗舰基础模型,旨在创建"数字分身"——个人的高度真实再现,并具备 AI 驱动的人类表情能力。现在的第三代版本提供全脸动画,能够克隆人物并准确表现脸部每块肌肉,这对模仿细微表情至关重要。Raza 表示,大多数商用面部动画模型无法处理完整的面部,导致上下半部分不匹配,破坏了沉浸感。
"Phoenix-3 是一个全脸表情模型,具有情感控制功能,是首个无需大量数据就能实现这一功能的模型,"Raza 说。
最重要的是,Phoenix-3 的高保真度和面部肌肉控制意味着它能准确模拟"微表情"——那些短暂、不由自主的面部表情,它们是情感反应的结果。通过添加这一功能,该模型创造了一个生动的视频模型体验,比简单的动画面孔更加真实,更具情感和表现力。
为了使 Phoenix-3 能像人类一样做出响应,Raven-0 赋予了 AI 观察和理解场景的能力。它不是拍摄单独的快照,而是持续观察和理解视频中事件的上下文,包括识别用户的面部情绪和检测环境变化。
例如,AI 辅导员可以通过监控学生的表情来识别他们是否感到困惑或沮丧,并相应地调整解释方式。同样,支持助手可以观察客户使用产品的过程,并就如何解决问题提供指导。
Raza 表示,Sparrow-0 试图解决许多 AI 都会犯的错误。自然对话有一种流动感,参与者之间有一种给予和接受的关系,一方等待另一方停止说话后再接话。
然而,AI 有时会过早插话——有时甚至会打断对方。这种突然性发生是因为 AI 模型的思考速度比人类快,而 AI 模型开发者非常努力地降低延迟,即 AI 模型响应所需的时间。但如果 AI 响应太快,就会显得不自然。
Sparrow 模型通过理解语言节奏来让对话感觉自然,知道何时暂停、何时说话和何时倾听。它不会对"呃"这样的填充词做出反应,也不会等待长时间的沉默,而是根据语气、节奏和上下文进行调整。
"如果它确定你正在进行快节奏的友好对话,它会快速回应,"Raza 解释道。"但如果你说'让我想想',AI 会给你空间。这样就使对话更自然。"
与其他将技术拼凑在一起的公司不同,Raza 表示,Tavus 开发了一个集成系统来整合这些模型。结果是一种高度沉浸式的体验,更像是在与真人交谈,比其他人形化 AI 系统更自然。
Raza 表示,模型功能还有提升空间,这意味着需要持续改进 AI 感知和理解人类的能力。
"现在还不是完美的,但它是同类最佳,"Raza 补充道。"然而,我们未来的目标是开发出一个如此深入理解人类的模型,除非你特意询问,否则你不会知道它是一个模型。"
好文章,需要你的鼓励
CoreWeave发布AI对象存储服务,采用本地对象传输加速器(LOTA)技术,可在全球范围内高速传输对象数据,无出口费用或请求交易分层费用。该技术通过智能代理在每个GPU节点上加速数据传输,提供高达每GPU 7 GBps的吞吐量,可扩展至数十万个GPU。服务采用三层自动定价模式,为客户的AI工作负载降低超过75%的存储成本。
IDEA研究院等机构联合开发了ToG-3智能推理系统,通过多智能体协作和双重进化机制,让AI能像人类专家团队一样动态思考和学习。该系统在复杂推理任务上表现优异,能用较小模型达到卓越性能,为AI技术的普及应用开辟了新路径,在教育、医疗、商业决策等领域具有广阔应用前景。
谷歌DeepMind与核聚变初创公司CFS合作,运用先进AI模型帮助管理和改进即将发布的Sparc反应堆。DeepMind开发了名为Torax的专用软件来模拟等离子体,结合强化学习等AI技术寻找最佳核聚变控制方式。核聚变被视为清洁能源的圣杯,可提供几乎无限的零碳排放能源。谷歌已投资CFS并承诺购买其200兆瓦电力。
上海人工智能实验室提出SPARK框架,创新性地让AI模型在学习推理的同时学会自我评判,通过回收训练数据建立策略与奖励的协同进化机制。实验显示,该方法在数学推理、奖励评判和通用能力上分别提升9.7%、12.1%和1.5%,且训练成本仅为传统方法的一半,展现出强大的泛化能力和自我反思能力。