虽然OpenAI可能通过关闭Sora应用程序而削减其在视频生成市场的努力,但字节跳动周四确认,其新的音视频模型Dreamina Seedance 2.0现在正在其编辑平台CapCut中推出。
字节跳动表示,该模型允许创作者通过提示词、图像或参考视频来起草、编辑和同步视频和音频内容。
分阶段推出将首先在巴西、印度尼西亚、马来西亚、墨西哥、菲律宾、泰国和越南的CapCut用户中开始,随着时间的推移将增加更多市场。
在CapCut推出的消息传出之前,最近有报告称该模型的全球推出将暂停,因为需要解决知识产权问题,这些问题因涉嫌版权侵权而受到好莱坞的批评。这很可能解释了该模型目前在CapCut中可用的市场数量有限的原因。
在中国,该模型可供字节跳动剪映应用的用户使用。
字节跳动在其公告中表示,即使创作者只使用几个词来描述他们心中的场景,视频生成模型也可以在没有参考图像的情况下工作。CapCut还擅长在各种视觉角度和视角中渲染逼真的纹理、运动和光线,公司指出这可以用来编辑、增强或修正创作者自己的素材。
另一个用例是允许创作者在拍摄真实视频之前,基于早期概念或草图测试潜在的想法。
此外,公司解释说,Dreamina Seedance 2.0可以用于广泛的内容,包括烹饪食谱、健身教程、商业或产品概述,以及包含运动或动作重点内容的视频,而AI视频模型在历史上在这些领域面临挑战。
在推出时,该模型支持长达15秒的剪辑,跨越六种宽高比。
在CapCut中,该模型将在不同领域推出,包括AI视频等编辑功能和视频工作室等生成工具。它还将应用到字节跳动的生成式AI平台Dreamina和其营销平台Pippit。
鉴于其创建逼真内容的能力,字节跳动表示已添加安全限制,因此该模型将无法从包含真实面孔的图像或视频制作视频。CapCut还将阻止未经授权生成知识产权的使用。(然而,如果限制措施正常工作,该模型现在就可以在美国使用。很可能仍在进行更多调整。)
字节跳动补充说,Dreamina Seedance 2.0生成的内容还将包含不可见水印,这将有助于在内容在平台外分享时识别用该模型制作的内容。这可以帮助处理权利持有者在模型允许版权内容通过时的删除请求等事务。
字节跳动表示,随着模型的推出,将与专家和创意社区合作,迭代和改进模型的能力。
Q&A
Q1:Dreamina Seedance 2.0是什么?它有什么功能?
A:Dreamina Seedance 2.0是字节跳动开发的新音视频生成模型,允许创作者通过提示词、图像或参考视频来起草、编辑和同步视频音频内容,支持长达15秒的视频生成。
Q2:这个模型目前在哪些地区可以使用?
A:目前分阶段推出,首先在巴西、印度尼西亚、马来西亚、墨西哥、菲律宾、泰国和越南的CapCut用户中开始,中国用户可通过剪映应用使用,未来将扩展到更多市场。
Q3:字节跳动如何解决AI生成内容的版权和安全问题?
A:字节跳动添加了安全限制,模型无法从包含真实面孔的图像生成视频,阻止未经授权的知识产权生成,并在生成内容中加入不可见水印用于识别AI制作内容。
好文章,需要你的鼓励
购买笔记本电脑时,用户现在需要了解Copilot+ PC、NPU和本地AI处理等新概念。搭载专用神经处理单元(NPU)的Copilot+ PC能提供至少40 TOPS的AI算力,支持实时字幕翻译、视频通话优化、AI图像编辑等功能,同时提升续航表现。戴尔最新产品线涵盖多种选择:Dell 14 Plus适合学生和通勤族,Dell 16 Plus适合多任务办公用户,XPS 14面向轻度创作者,XPS 16则以31小时超长续航和3.6磅轻薄机身成为内容创作者的旗舰之选。
香港科技大学与华为联合提出LISA训练方法,通过让副网络对齐"似然分数",将ControlNet等图像生成模型的训练收敛速度提升逾2.78倍,同时改善图像质量与条件控制精度。
圣安德鲁斯大学博士Henry Legg在《自然》杂志发表同行评审论文,对微软拓扑间隙协议(TGP)框架提出质疑,认为该框架在推断Majorana粒子量子态存在方面存在缺陷,且实验数据分析结论可能有误。微软此前宣称将于2029年实现可扩展量子计算机,并推出Majorana 2芯片。对此,微软坚持立场,表示已发表正式反驳并获《自然》收录,对研发路线图充满信心。
上交大与爱丁堡大学提出InfoKV,将信息熵与注意力权重结合用于KV缓存压缩,让大模型在仅保留12.5%缓存的条件下实现接近甚至超越完整缓存的长推理性能。