语音人工智能解决方案领先供应商Krisp Technologies Inc.今日宣布推出VIVA,这是一个专为语音智能体设计的新型语音隔离AI模型和软件开发工具包。
该公司还透露,VIVA目前每月在全球范围内处理超过10亿分钟的语音音频。
VIVA是"语音智能体语音隔离"的缩写,集成到应用程序的音频路径中。它增强了语音智能体检测语音活动的能力,改善了它们的对话轮换行为,有助于防止错误中断并创造更自然、有效的对话。
消费者对AI语音交互的期望越来越高。过去,与在线系统的对话是僵化和脚本化的,往往只是美化的录音。这些日子即将结束。如今,语音智能体可以进行真实对话,动态响应并适应上下文。
"行业术语称之为对话轮换,"联合创始人兼首席执行官Davit Baghdasaryan在接受SiliconANGLE独家采访时说。"当有背景噪音时,对话轮换就会变得非常混乱——特别是背景声音。AI会变得非常困惑。"
对话轮换指的是对话的来回流动,或者知道何时说话何时倾听。人类通过语言和非语言的调整,如语音、停顿、语调和肢体语言,自然地做到这一点。
在语音AI中,对话轮换指的是检测用户何时停止说话以及何时适合响应而不中断或留下长时间沉默。糟糕的对话轮换会导致尴尬或不自然的交互。
Krisp的VIVA模型在20毫秒内处理音频,显著提高了响应速度。它可以将对话轮换准确性提高3.5倍,从而减少50%的通话中断,并帮助提升客户满意度。
与依赖耗电图形处理器的模型不同,VIVA在中央处理器上高效运行,使其非常适合在广泛的设备上部署。这使其能够嵌入运行或与更大模型并行工作而不影响性能。
这对企业至关重要,因为它即使在嘈杂环境中也能提高转录准确性,并消除不相关的音频,如背景电视或无关对话,改善自动理解和整体用户体验。
人类交流依赖于微妙的音频和行为线索。虽然人们自然地处理这些线索,但语音智能体仍然难以应对。背景声音、笑声甚至停顿都可能导致AI响应中断或混乱。
"仅从音频就有五、六种不同的线索,"Baghdasaryan解释说。"如果我们想要有人类级别的对话AI,AI必须意识到这些线索。"
Krisp设计VIVA来识别和适应这些信号。例如,一个VIVA模型过滤掉笑声——在有儿童的环境中特别有用——这样机器人就不会误解这些声音为用户语音的一部分。
"笑声是一个很大的问题,"Baghdasaryan说。"我们有模型可以去除笑声,这样机器人就不会被它中断。"
VIVA已经集成到Decagon AI、Voxex.ai、Vapi Inc.、Ultravox.ai(前身为Fixie.ai)、LiveKit Inc.和一些世界最大AI实验室使用的智能体系统中,在那里它正在提供可衡量的改进。
"当我们的开发团队演示Krisp的能力时,我们被震撼了,"Vodex首席技术官Kumar Saurav说。"看到我们的机器人即使在嘈杂的办公室噪音中也能不间断地继续工作,对我们来说是一个游戏规则改变者。"
Baghdasaryan总结说,随着每月数十亿音频请求的里程碑,VIVA已准备好让开发者构建更响应迅速的智能体,并为更好的客户支持和虚拟伙伴提供基础。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。