Amazon 推出了一个新的基础模型,该模型不仅能理解你在说什么,还能理解你是如何表达的,包括语气、犹豫等细节。
Amazon Nova Sonic 是 Nova 系列基础模型家族的最新成员,该系列首次于 2024 年 12 月推出。它可以接受语音输入并实时生成语音响应,同时为开发者生成文字记录。
传统的基于语音的 AI 应用通常需要将三个独立的模型组合在一起:语音识别模型、响应生成模型和语音合成模型。Amazon 声称 Nova Sonic 将这些功能统一到了单个模型中。
Amazon 在其公告中表示:"这种统一使模型能够根据声学环境 (如语气、风格) 和语音输入来调整生成的语音响应,从而实现更自然的对话。Nova Sonic 甚至能理解人类对话的细微差别,包括说话者的自然停顿和犹豫,在适当的时机开始说话,并能优雅地处理打断情况。"
该电商巨头发布了一段示例音频,展示了这种场景的应用。在录音中,一个 AI 旅行助手在处理客户预订行程时,察觉到客户语气中对机票价格的担忧后,随即采用了令人安心的语气进行回应。
Amazon 的高级机器学习解决方案架构师 Osman Ipek 在一段视频中解释道:"Amazon Nova Sonic 不仅理解你说什么,还理解你是如何说的。因此它会调整回应以匹配你的沟通方式。如果你兴奋地说话,Nova Sonic 的回应也会带着相似的热情。如果你采用严肃的语气,它会通过识别音调和情感等韵律元素相应地调整。它创造了真正的会话式互动。"
Nova Sonic 通过 Amazon Bedrock 的双向流式 API 提供服务,"能够理解各种说话风格的流式语音,并生成富有表现力的语音响应,动态适应输入语音的韵律。"
从本质上说,该模型可以调节其语音,在被打断时会暂停然后恢复,这使得对话流程更加自然。
API 代码可以与基于分析的情感分析相关联。但模型的大部分语气变化预计将由大语言模型提示驱动。
Nova Sonic 模型不提供语音控制参数的直接访问。相反,用户通过系统提示来指导模型应采用的语气。例如:
你是一个朋友。你和用户将进行实时对话交流。保持简短的回应,在闲聊场景中通常用两到三句话。你可以在句子开头使用方括号表示情绪,如 [愉快]、[中性] 或其他表演指示如 [欢快]。每个表演指示仅使用一对方括号。
Nova Sonic 支持 32K tokens 的音频上下文窗口,默认连接限制为 8 分钟,可以续期以继续更长时间的对话。它可以通过检索增强生成 (RAG) 与企业系统对接,支持函数调用和面向代理的工作流,可以在其支持的语言中使用各种说话风格 - 目前仅支持美式和英式英语。
IT 咨询公司 Gartner 在 4 月发布了一份题为"对话式 AI 解决方案市场指南"的报告。该公司发现,"在众多面向客户和员工的使用场景中,对 [对话式 AI] 功能的需求正在增加。然而,在这个快速发展的市场中,领导者们发现很难分辨哪些解决方案最能满足他们的需求。"
Gartner 预计对话式 AI 市场规模将从 2023 年的 82 亿美元增长到 2032 年的 360 亿美元。
好文章,需要你的鼓励
微软宣布为Word和Excel推出基于OpenAI的AI代理模式,通过简单提示即可自动生成文档和分析数据。Word用户可享受"氛围写作"功能,利用现有文档组装报告和提案。Excel代理能分析电子表格数据并生成可视化报告。尽管在SpreadsheetBench基准测试中准确率仅为57.2%,低于人类平均水平71.3%,但微软强调其针对实际工作场景优化。此外,微软还发布了基于Anthropic的Office代理,显示其正逐步减少对OpenAI的依赖。
北卡罗来纳大学研究团队通过深入分析手指触控过程中的动态特征,开发出新型触控识别算法,能够理解触控过程中的压力分布、接触面积变化等信息,比传统方法准确率提高15-28%。该技术采用分层处理架构解决计算效率问题,已在真实设备上验证效果,将为个性化交互、情感感知等未来应用奠定基础,有望显著改善用户的触控体验。
OpenAI为美国ChatGPT用户推出"即时结账"功能,用户可在对话中直接购买Etsy和Shopify商品,无需跳转至外部网站。该功能支持Apple Pay、Google Pay等多种支付方式,并计划接入超过100万家Shopify商户。OpenAI还将开源其代理商务协议技术,与谷歌的代理支付协议形成竞争。这标志着电商购物模式的重大转变,AI聊天机器人可能重塑在线零售发现和支付生态系统。
Perfios公司研究团队开发了创新的AI理财顾问训练框架,通过行为心理学驱动的数据生成方法,让8B参数的小模型在个人理财建议方面达到了与32B大模型相当的性能,同时运营成本降低80%。该方法首次将用户心理状态分析作为独立训练阶段,显著提升了AI建议的个性化程度和人性化表达,为普及化AI理财服务提供了技术路径。