知名AI图像生成公司Midjourney周三宣布推出备受期待的AI视频生成模型V1。
V1是一个图像转视频模型,用户可以上传图片或使用Midjourney其他模型生成的图像,V1将基于该图像生成四个5秒钟的视频。与Midjourney的图像模型类似,V1仅通过Discord平台提供服务,发布时仅支持网页版。
V1的推出使Midjourney与其他公司的AI视频生成模型展开竞争,包括OpenAI的Sora、Runway的Gen 4、Adobe的Firefly和谷歌的Veo 3。虽然许多公司专注于开发可控的AI视频模型用于商业场景,但Midjourney一直以其独特的AI图像模型吸引创意用户而脱颖而出。
该公司表示,其AI视频模型的目标不仅仅是为好莱坞电影或广告行业生成素材。Midjourney首席执行官David Holz在博客文章中表示,AI视频模型是公司迈向终极目标的下一步,即创建"能够进行实时开放世界模拟"的AI模型。
在AI视频模型之后,Midjourney计划开发用于3D渲染的AI模型以及实时AI模型。
Midjourney V1模型的发布距离该公司被迪士尼和环球影业起诉仅一周时间。诉讼指控Midjourney的AI图像模型创建的图像描绘了这些电影公司的版权角色,如辛普森一家的荷马和星战中的达斯·维达。
好莱坞电影公司一直在努力应对AI图像和视频生成模型日益增长的人气。人们越来越担心这些AI工具可能会取代或贬低各自领域创意工作者的价值,多家媒体公司指控这些产品使用了他们的版权作品进行训练。
虽然Midjourney试图将自己定位为与其他AI图像和视频初创公司不同——更专注于创意而非直接的商业应用——但该公司无法摆脱这些指控。
首先,Midjourney表示视频生成的收费将比典型图像生成高8倍,这意味着订阅用户在创建视频时会比创建图像更快地用完每月分配的生成次数。
发布时,试用V1最便宜的方式是订阅Midjourney的10美元/月基础计划。订阅60美元/月专业计划和120美元/月超级计划的用户将在公司较慢的"放松"模式下获得无限视频生成。Midjourney表示将在下个月重新评估视频模型的定价。
V1提供了几个自定义设置,允许用户控制视频模型的输出。
用户可以选择自动动画设置让图像随机移动,或选择手动设置,允许用户通过文本描述他们想要添加到视频中的特定动画。用户还可以通过在设置中选择"低运动"或"高运动"来调整摄像机和主体的运动量。
虽然V1生成的视频只有5秒长,但用户可以选择将其延长4秒,最多可延长四次,这意味着V1视频最长可达21秒。
与Midjourney的AI图像模型类似,V1视频的早期演示看起来有些超现实,而非超写实。对V1的初步反响是积极的,但与其他已上市数月甚至数年的领先AI视频模型相比,其表现如何仍不明确。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。