播客录制和编辑平台 Podcastle 正式加入 AI 驱动的文本转语音竞争行列,发布了名为 Asyncflow v1.0 的 AI 模型。该公司还将为开发者提供 API 接口,使他们能够直接在应用程序中集成这一文本转语音模型。
借助这个新模型,该公司现可提供超过 450 种 AI 语音来朗读文本内容。公司表示,他们在开发技术和模型时特别注重降低训练和推理成本,这使他们在竞争中占据优势。
随着这一举措,Podcastle 加入了包括 ElevenLabs、Speechify 和 WellSaid 在内的初创公司行列,这些公司都开发了将各类文本转换为 AI 朗读语音片段的技术和 AI 模型。这项技术的应用范围涵盖营销、广告、内容创作、教育和企业培训等领域。
Podcastle 创始人 Arto Yeritsyan 在接受 TechCrunch 采访时表示,公司一直希望开发文本转语音模型,但训练成本和数据需求都很高。
"从成立之初,我们就想打造一个强大的文本转语音模型。然而,开发成本非常高。得益于近期大语言模型的发展,我们在去年取得了突破性进展,找到了一种无需海量数据就能构建高质量语音模型的方法,"Yeritsyan 说。
去年获得的 1350 万美元 A 轮融资也助力了公司的这项努力。
Yeritsyan 表示,Podcastle 为 500 分钟的文本转语音转换收取约 40 美元,而 ElevenLabs 则收取 99 美元。
Podcastle 的语音克隆功能也得到了升级,训练过程更加快捷。
此前,训练过程需要朗读大约 70 个不同的句子。现在,只需要几秒钟的录音就能创建声音克隆。新流程还使用了去年发布的 Magic Dust AI 技术来提升音频录制质量。
在我们的测试中,通过新流程创建的语音听起来有些机械感,但确实模仿了我们的语调。公司表示,这个功能会随时间不断改进。此外,用户可以训练不同的声音样本来获得不同的效果。
Podcastle 表示,除了成本优势外,在一个重新设计的网站中集成音频、视频、播客和 AI 驱动的朗读工具,将使其在竞争中脱颖而出。Yeritsyan 说,虽然大多数用户使用 Podcastle 处理音频内容,但视频内容的使用量也在快速增长。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。