目前生成式 AI 的主要焦点一直集中在用于生成文本、图像等的基于文本的界面上。下一波浪潮似乎是语音,而且发展迅速。在最新进展中,Google 今天宣布,从下周开始将其高清语音界面 Chirp 3 添加到其 Vertex AI 开发平台中。
上周,Google 悄然宣布 Chirp 3 将为 31 种语言推出 8 种新的语音。该平台的使用场景包括构建语音助手、制作有声读物、开发支持代理和视频配音。这一消息是在 Google DeepMind 伦敦办公室的一场活动中宣布的。
与此同时,其他公司也在语音 AI 领域迅速前进。上周,Sesame(该公司开发了病毒式传播的、听起来非常逼真的 "Maya" 和 "Miles" AI 应用)宣布推出其开发者模型,让开发者可以在其技术基础上构建自定义应用和服务。
值得注意的是,Chirp 3 将设置使用限制以防止滥用。Google Cloud 首席执行官 Thomas Kurian 在今天的新闻发布会上表示:"我们正在与安全团队一起解决这些问题。"
ElevenLabs 是主要初创公司之一,已筹集数亿美元资金用于扩展其 AI 语音服务。
这一消息意味着 Chirp 3 将与目前正在测试的新版本旗舰大语言模型 Gemini、图像生成模型 Imagen 以及昂贵的视频生成工具 Veo 2 进入同一阵营。
Google 推出的 Chirp 3 是否能像其他 AI 努力创造的"人类"声音一样"逼真"(特别是 Sesame 的成果)还有待商榷。但正如 DeepMind 首席执行官 Demis Hassabis 强调的,这仍然是一场马拉松,而不是短跑。
他说:"在近期......认为 [AI] 在未来几年内能解决所有问题的想法,我认为还为时过早。我们距离实现通用人工智能(AGI)还有几年的时间。这将在未来十年改变一些事物,所以是中长期的。这是一个有趣的时刻。"
Google 早在 2021 年就推出了 Vertex AI,作为开发者在云端构建机器学习服务的平台。当然,这是在 OpenAI 的 GPT 服务推出引发 AI、特别是生成式 AI 的兴趣爆发之前。
此后,该公司一直在深耕 Vertex AI,部分原因是要追赶 Microsoft 和 Amazon 等为开发者构建生成式 AI 工具的公司。除了在 Gemini 基础上构建生成式 AI 外,开发者还可以使用 Vertex AI 对数据进行分类、训练模型并为生产设置训练模型。值得关注的是,它是否会将其围墙花园扩展到 Google 自身创建的模型之外。
Google 多年来一直在开发 "Chirp" 语音服务,这个名称最早是用作其与 Amazon 的 Alexa 服务竞争的早期努力的代号。
好文章,需要你的鼓励
新加坡国立大学研究人员开发出名为AiSee的可穿戴辅助设备,利用Meta的Llama模型帮助视障人士"看见"周围世界。该设备采用耳机形态,配备摄像头作为AI伴侣处理视觉信息。通过集成大语言模型,设备从简单物体识别升级为对话助手,用户可进行追问。设备运行代理AI框架,使用量化技术将Llama模型压缩至10-30亿参数在安卓设备上高效运行,支持离线处理敏感文档,保护用户隐私。
阿里达摩院联合浙江大学推出VideoRefer套件,这是首个能够精确理解视频中特定物体的AI系统。该系统不仅能识别整体场景,更能针对用户指定的任何物体进行详细分析和跨时间追踪。研究团队构建了包含70万样本的高质量数据集VideoRefer-700K,并设计了全面的评估体系VideoRefer-Bench。实验显示该技术在专业视频理解任务中显著超越现有方法,在安防监控、自动驾驶、视频编辑等领域具有广阔应用前景。
OpenAI推出新AI模型GPT-5-Codex,能够在无用户协助下完成数小时的编程任务。该模型是GPT-5的改进版本,使用额外编码数据训练。测试显示,GPT-5-Codex可独立工作超过7小时,能自动发现并修复编码错误。在重构基准测试中得分51.3%,比GPT高出17%以上。模型可根据任务难度调整处理时间,简单请求处理速度显著提升。目前已在ChatGPT付费计划中提供。
Sa2VA是由UC默塞德等高校联合开发的突破性AI系统,首次实现图像视频的统一理解与精确分割。通过巧妙融合SAM-2视频分割技术和LLaVA多模态对话能力,Sa2VA能够同时进行自然对话和像素级物体标注。研究团队还构建了包含7万多个复杂视频表达式的Ref-SAV数据集,显著提升了AI在长文本描述和复杂场景下的表现。实验显示,Sa2VA在多个基准测试中达到业界领先水平,为视频编辑、医疗诊断、智能监控等领域带来新的应用可能性。