Tavus Inc.,一家致力于开发能模拟真人对话体验的实时 AI 技术的人工智能研究初创公司,今天宣布发布了一系列突破性的 AI 模型。
该公司表示,正在通过其"对话视频界面"构建一个人机交互操作系统,使 AI 能够自然地感知、理解和回应。这种体验就像在 Zoom 或 FaceTime 通话中与真人交谈一样。Tavus 的使命是让 AI 不仅能理解面部表情、语气和肢体语言及其含义,还能通过自身的表情和语气来传达意义。
"人类在进化过程中形成了面对面交流的方式。因此,我们希望教会机器如何实现这一点,"首席执行官 Hassaan Raza 在接受 SiliconANGLE 采访时表示。"如果我们相信未来会出现 AI 同事、朋友和助手,我们就需要为此构建相应的接口。"
此次发布包含三个模型:Phoenix-3,首个能传达细微表情的全脸 AI 渲染模型;Raven-0,一个突破性的 AI 感知模型,能像人类一样观察和推理;以及 Sparrow-0,一个先进的对话轮替模型,为对话增添"生命火花"。
Phoenix-3 是公司的旗舰基础模型,旨在创建"数字分身"——个人的高度真实再现,并具备 AI 驱动的人类表情能力。现在的第三代版本提供全脸动画,能够克隆人物并准确表现脸部每块肌肉,这对模仿细微表情至关重要。Raza 表示,大多数商用面部动画模型无法处理完整的面部,导致上下半部分不匹配,破坏了沉浸感。
"Phoenix-3 是一个全脸表情模型,具有情感控制功能,是首个无需大量数据就能实现这一功能的模型,"Raza 说。
最重要的是,Phoenix-3 的高保真度和面部肌肉控制意味着它能准确模拟"微表情"——那些短暂、不由自主的面部表情,它们是情感反应的结果。通过添加这一功能,该模型创造了一个生动的视频模型体验,比简单的动画面孔更加真实,更具情感和表现力。
为了使 Phoenix-3 能像人类一样做出响应,Raven-0 赋予了 AI 观察和理解场景的能力。它不是拍摄单独的快照,而是持续观察和理解视频中事件的上下文,包括识别用户的面部情绪和检测环境变化。
例如,AI 辅导员可以通过监控学生的表情来识别他们是否感到困惑或沮丧,并相应地调整解释方式。同样,支持助手可以观察客户使用产品的过程,并就如何解决问题提供指导。
Raza 表示,Sparrow-0 试图解决许多 AI 都会犯的错误。自然对话有一种流动感,参与者之间有一种给予和接受的关系,一方等待另一方停止说话后再接话。
然而,AI 有时会过早插话——有时甚至会打断对方。这种突然性发生是因为 AI 模型的思考速度比人类快,而 AI 模型开发者非常努力地降低延迟,即 AI 模型响应所需的时间。但如果 AI 响应太快,就会显得不自然。
Sparrow 模型通过理解语言节奏来让对话感觉自然,知道何时暂停、何时说话和何时倾听。它不会对"呃"这样的填充词做出反应,也不会等待长时间的沉默,而是根据语气、节奏和上下文进行调整。
"如果它确定你正在进行快节奏的友好对话,它会快速回应,"Raza 解释道。"但如果你说'让我想想',AI 会给你空间。这样就使对话更自然。"
与其他将技术拼凑在一起的公司不同,Raza 表示,Tavus 开发了一个集成系统来整合这些模型。结果是一种高度沉浸式的体验,更像是在与真人交谈,比其他人形化 AI 系统更自然。
Raza 表示,模型功能还有提升空间,这意味着需要持续改进 AI 感知和理解人类的能力。
"现在还不是完美的,但它是同类最佳,"Raza 补充道。"然而,我们未来的目标是开发出一个如此深入理解人类的模型,除非你特意询问,否则你不会知道它是一个模型。"
好文章,需要你的鼓励
研究显示,英国中小企业虽占企业总数99.9%,但因资源与专业不足,难以有效应对网络攻击。CyCOS项目旨在通过构建支持社区,帮助中小企业提升网络防御能力。
这项研究介绍了EOC-Bench,一个创新基准测试,专门评估多模态大语言模型在第一人称视角场景中对物体的认知能力。研究团队从三个时间维度(过去、现在和未来)构建了3,277个问答对,涵盖11个细粒度评估维度,创新性地使用视觉提示解决物体引用问题。评估结果显示,即使最先进的模型如GPT-4o在物体时间感知方面也显著落后于人类,特别是在绝对时间感知上。这一研究为发展更强大的体感AI系统提供了重要参考,对增强现实和机器人技术等领域具有深远影响。
Wispr 的 Flow 是一款创新的 iOS 语音输入软件,借助 AI 技术能将语音无缝转换为精美文字,每周免费 2000 字,支持 100 多种语言,并能实现多设备同步。
这篇论文由加州大学伯克利分校和香港大学的研究团队提出了LIFT方法,挑战了传统视觉语言模型需要同时训练文本和图像编码器的假设。研究发现,使用预训练的大型语言模型作为固定文本编码器,只训练图像编码器就能在多项任务上超越CLIP,特别是在理解空间位置、对象属性关联等组合信息方面。LIFT不仅提高了计算效率,还解决了CLIP在处理复杂语义关系和长文本描述时的短板,为视觉语言模型提供了一条更高效的发展路径。