近日,据 Android Authority 报道,Google 的 Gemini 聊天机器人很快将获得生成 AI 视频的能力,用户不仅可以通过文字描述生成图片,还能创建短视频。根据最新报告,我们了解到了这项即将发布的实验性功能的运作方式和可能的限制。
Android 应用研究者 AssembleDebug 发现,Android 平台上最新版本的 Google 应用中包含了新的代码引用,暗示了一个代号为 "Toucan" 的未发布 Gemini 视频生成功能。
代码中的进一步内容提供了几个关于该功能可能如何运作的线索,包括对某些用户可能会有每日视频生成数量限制的提示。代码还显示,每个视频的生成时间约为 "1-2 分钟",这意味着创建视频需要相当大的计算能力。
在 Google 应用代码中发现的相关文本字符串包括:
"使用 Toucan(Gemini 的新实验性生成模型)从文本获取高质量视频。只需描述你的想法,Toucan 每次都可以根据你的要求生成新的内容"
"正在创建你的 Toucan..."
"这可能需要 1-2 分钟"
"你已达到今天的 Toucan 生成限制,请明天再试"
Google 的 AI 视频生成器:可能的工作方式
有趣的是,上述文本将 "Toucan" 称为可以创建的"东西",这表明它可能是一种特定类型的 AI 生成视频创作,而不是通用的 AI 视频生成工具。这也暗示该应用将只能从文本输入生成 Toucan,而不能从静态图像或视频等其他输入创建。
每日限制的存在为 Google 提供了向 Gemini Advanced 付费用户提供不同体验的可能性,甚至可能允许购买额外生成次数的信用点数。AI 视频生成成本较高,目前市面上大多数可用选项,如 Kling 或 Hailuo AI,都采用付费订阅或按次付费的信用点数模式运营,通常在特定时期内允许少量免费生成。
Google 尚未正式宣布 Toucan 视频生成功能,因此我们需要等待看看它何时或是否会向用户发布。不过,持续开发的证据表明该功能很快就会推出。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。