Google 宣布又一款 AI 模型将加入 Gemini,但这次不只是一个聊天机器人。公司的 Veo 2 视频生成器现已向 Gemini 应用和网站推广,为付费用户提供使用谷歌号称最先进的视频模型创建短视频剪辑的机会。
Veo 2 的工作方式与其他视频生成器类似,包括 OpenAI 的 Sora——你只需输入描述视频内容的文本,谷歌数据中心便会通过处理 Token 生成动画。谷歌声称,Veo 2 的设计兼顾了对真实世界物理规律的充分理解,尤其是对人类运动方式的把握。谷歌提供的示例效果看起来不错,或许这正是其被选用的原因。
Prompt: Aerial shot of a grassy cliff onto a sandy beach where waves crash against the shore, a prominent sea stack rises from the ocean near the beach, bathed in the warm, golden light of either sunrise or sunset, capturing the serene beauty of the Pacific coastline.
Veo 2 将出现在模型下拉菜单中,但谷歌也指出,它仍在考虑如何整合此功能,因此其所在位置可能会改变。不过,目前这一功能可能还根本未上线。谷歌今天开始推出该功能,但所有 Gemini Advanced 订阅用户全面获得 Veo 2 的使用权可能需要几周时间。Gemini 的功能通常向广大用户推广时需要相当长的时间——例如,在宣布 Gemini Live 视频上线后,谷歌大约用了一个月时间才让所有用户都能使用。
当 Veo 2 在你的 Gemini 应用中出现时,你可以提供尽可能多的细节,谷歌称这将确保你对最终视频拥有精细的控制。目前,Veo 2 限制为 8 秒的 720p 视频,你可以将其下载为标准 MP4 文件。由于视频生成所需的处理量比一般的生成式 AI 功能更大,谷歌因此设置了每月限额。不过,目前尚未确认具体限额,只说明当用户接近限额时会收到通知。
Prompt: An animated shot of a tiny mouse with oversized glasses, reading a book by the light of a glowing mushroom in a cozy forest den.
如果你不想等待 Gemini 应用中的 Veo 2,也可以提前体验。谷歌的新视频生成器也已加入 Whisk,这是谷歌实验室去年底公布的一项实验项目。Whisk 允许你使用文本提示和示例图片生成图像。
从今天开始,Whisk 具有“animate”选项,利用 Veo 2 将你的静态创作转换为 8 秒的视频剪辑。有趣的是,谷歌为 Whisk 设定了每月 100 个视频的使用上限,这可能意味着在 Gemini 中 Veo 2 的使用限额也相同。即便拥有调整初始图像和风格的能力,我们对 Veo 2 的表现并没有特别惊喜。所以你可能会在不断试用中用尽这一配额,以期找到理想效果。
上面的视频原本应该展示火星上的一块神秘石碑,其渲染效果看起来还不错。但我们实际上要求观看火星卫星 Phobos 撞击石碑并将其粉碎成尘。结果,“卫星”只是从旁边跳过,并随即消失,只留下同一块石碑。至少从天体物理的角度来看,Veo 2 对物理规律的理解还需要改进。
谷歌表示,已付出巨大努力以确保 Veo 2 安全,不会生成任何非法或煽动性内容。生成的视频还会标有 SynthID 数字水印,以标明其为 AI 生成。尽管如此,目前 Veo 2 的输出还不足以被误认为真实场景。
好文章,需要你的鼓励
多伦多大学研究团队提出Squeeze3D压缩框架,巧妙利用3D生成模型的隐含压缩能力,通过训练映射网络桥接编码器与生成器的潜在空间,实现了极致的3D数据压缩。该技术对纹理网格、点云和辐射场分别达到2187倍、55倍和619倍的压缩比,同时保持高视觉质量,且无需针对特定对象训练网络,为3D内容传输和存储提供了革命性解决方案。
浙江大学与腾讯联合研究团队提出MoA异构适配器混合方法,通过整合不同类型的参数高效微调技术,解决了传统同质化专家混合方法中的表征坍塌和负载不均衡问题。该方法在数学和常识推理任务上显著优于现有方法,同时大幅降低训练参数和计算成本,为大模型高效微调提供了新的技术路径。
耶鲁、哥大等四校联合研发的RKEFino1模型,通过在Fino1基础上注入XBRL、CDM、MOF三大监管框架知识,显著提升了AI在数字监管报告任务中的表现。该模型在知识问答准确率提升超过一倍,数学推理能力从56.87%提升至70.69%,并在新颖的数值实体识别任务中展现良好潜力,为金融AI合规应用开辟新路径。
加州大学圣巴巴拉分校研究团队开发出能够自我进化的AI智能体,通过《卡坦岛拓荒者》桌游测试,这些AI能在游戏过程中自主修改策略和代码。实验显示,具备自我进化能力的AI显著超越静态版本,其中Claude 3.7模型性能提升达95%。研究验证了AI从被动工具向主动伙伴转变的可能性,为复杂决策场景中的AI应用开辟新路径。