Tavus Inc.,一家致力于开发能模拟真人对话体验的实时 AI 技术的人工智能研究初创公司,今天宣布发布了一系列突破性的 AI 模型。
该公司表示,正在通过其"对话视频界面"构建一个人机交互操作系统,使 AI 能够自然地感知、理解和回应。这种体验就像在 Zoom 或 FaceTime 通话中与真人交谈一样。Tavus 的使命是让 AI 不仅能理解面部表情、语气和肢体语言及其含义,还能通过自身的表情和语气来传达意义。
"人类在进化过程中形成了面对面交流的方式。因此,我们希望教会机器如何实现这一点,"首席执行官 Hassaan Raza 在接受 SiliconANGLE 采访时表示。"如果我们相信未来会出现 AI 同事、朋友和助手,我们就需要为此构建相应的接口。"
此次发布包含三个模型:Phoenix-3,首个能传达细微表情的全脸 AI 渲染模型;Raven-0,一个突破性的 AI 感知模型,能像人类一样观察和推理;以及 Sparrow-0,一个先进的对话轮替模型,为对话增添"生命火花"。
Phoenix-3 是公司的旗舰基础模型,旨在创建"数字分身"——个人的高度真实再现,并具备 AI 驱动的人类表情能力。现在的第三代版本提供全脸动画,能够克隆人物并准确表现脸部每块肌肉,这对模仿细微表情至关重要。Raza 表示,大多数商用面部动画模型无法处理完整的面部,导致上下半部分不匹配,破坏了沉浸感。
"Phoenix-3 是一个全脸表情模型,具有情感控制功能,是首个无需大量数据就能实现这一功能的模型,"Raza 说。
最重要的是,Phoenix-3 的高保真度和面部肌肉控制意味着它能准确模拟"微表情"——那些短暂、不由自主的面部表情,它们是情感反应的结果。通过添加这一功能,该模型创造了一个生动的视频模型体验,比简单的动画面孔更加真实,更具情感和表现力。
为了使 Phoenix-3 能像人类一样做出响应,Raven-0 赋予了 AI 观察和理解场景的能力。它不是拍摄单独的快照,而是持续观察和理解视频中事件的上下文,包括识别用户的面部情绪和检测环境变化。
例如,AI 辅导员可以通过监控学生的表情来识别他们是否感到困惑或沮丧,并相应地调整解释方式。同样,支持助手可以观察客户使用产品的过程,并就如何解决问题提供指导。
Raza 表示,Sparrow-0 试图解决许多 AI 都会犯的错误。自然对话有一种流动感,参与者之间有一种给予和接受的关系,一方等待另一方停止说话后再接话。
然而,AI 有时会过早插话——有时甚至会打断对方。这种突然性发生是因为 AI 模型的思考速度比人类快,而 AI 模型开发者非常努力地降低延迟,即 AI 模型响应所需的时间。但如果 AI 响应太快,就会显得不自然。
Sparrow 模型通过理解语言节奏来让对话感觉自然,知道何时暂停、何时说话和何时倾听。它不会对"呃"这样的填充词做出反应,也不会等待长时间的沉默,而是根据语气、节奏和上下文进行调整。
"如果它确定你正在进行快节奏的友好对话,它会快速回应,"Raza 解释道。"但如果你说'让我想想',AI 会给你空间。这样就使对话更自然。"
与其他将技术拼凑在一起的公司不同,Raza 表示,Tavus 开发了一个集成系统来整合这些模型。结果是一种高度沉浸式的体验,更像是在与真人交谈,比其他人形化 AI 系统更自然。
Raza 表示,模型功能还有提升空间,这意味着需要持续改进 AI 感知和理解人类的能力。
"现在还不是完美的,但它是同类最佳,"Raza 补充道。"然而,我们未来的目标是开发出一个如此深入理解人类的模型,除非你特意询问,否则你不会知道它是一个模型。"
好文章,需要你的鼓励
AI项目从试点转向生产阶段时,企业面临意外的云成本激增问题。推理工作负载需要全天候运行以确保服务正常,成本可能一夜间飙升1000%以上。许多公司每月费用从5000美元激增至50000美元。为控制成本,企业开始采用混合架构:将推理工作负载迁移至本地或托管设施,训练任务保留在云端。这种模式可削减60-80%的基础设施支出,在保持性能的同时实现成本可预测性。
北航团队发布AnimaX技术,能够根据文字描述让静态3D模型自动生成动画。该系统支持人形角色、动物、家具等各类模型,仅需6分钟即可完成高质量动画生成,效率远超传统方法。通过多视角视频-姿态联合扩散模型,AnimaX有效结合了视频AI的运动理解能力与骨骼动画的精确控制,在16万动画序列数据集上训练后展现出卓越性能。
企业在AI模型选择上面临开放源码与封闭专有技术的抉择,这一选择对财务和定制化都有重要影响。开放模型如Meta Llama提供更大控制权和定制选项,而封闭模型如OpenAI GPT-4o提供简化使用和企业级支持。专家建议采用投资组合策略,根据准确性、延迟、成本、安全性等因素选择合适模型,而非单一选择。
这项研究解决了AI图片描述中的两大难题:描述不平衡和内容虚构。通过创新的"侦探式追问"方法,让AI能生成更详细准确的图片描述,显著提升了多个AI系统的性能表现,为无障碍技术、教育、电商等领域带来实用价值。