近日,快手在短视频评论开始内测「快手AI玩评」,用户可以通过输入各种创意文字,一键生成海量风格图片,可以更轻松、便捷地在评论区进行趣味互动。这是继“AI对话”之后,快手在短视频场景内落地的又一AIGC能力。
据悉。快手“AI玩评”依托于快手自研文生图大模型“可图”(Kolors)强大的图像生成能力实现。可图大模型能够基于开放式文本生成风格多样、画质精美、创意十足的绘画作品,让用户可以轻松高效地完成艺术创作。这也是快手AI团队在大语言模型「快意」之后,再次公布了其在AIGC领域的最新突破和布局。
随着AI技术的不断突破创新,AIGC未来会成为内容创作者“突破边界”的工具,它会让更多“脑中有画面,心中有故事”的人能够进行更轻松、高效的创作。据了解,可图大模型的三大特点保证了出色的图像生成效果:
首先,强大的文本理解能力。快手AI构建了数十亿的图文训练数据,数据来自开源社区、内部构建和自研AI技术合成。这些数据覆盖了常见的三千万中文实体概念,兼具世界知识。在此基础上训练研发了一个强大的中文CLIP模型,不仅懂我们的语言,也更懂中文世界的图像;其次,快手AI利用自研的中文LLM,融合CLIP的图文特征作为文生图的文本理解模块,不但实现了中文特色概念的理解,更解决了复杂概念、属性混淆等文生图领域常见问题。
其次,丰富的细节刻画。快手AI研究团队更改了去噪算法的底层公式和加噪公式;同时精选了一批高细节、高美感的优质数据,在模型学习的后期进行有侧重学习。实现了单一基座模型在主体完整的前提下,可生成具有丰富细节和纹理的图片。同时,基座模型也实现了输入图片,输出细节丰富图片的图生图能力。
第三,多样的风格转化。可图大模型具有基于Prompt的自动学习模型,基于知识的理解与扩充,为用户提供不同的风格模版。依据提示词自动扩充模块,可以丰富化用户描述,包括风格、构图、视觉要素等。配合强大的文生图基座模型,Kolors 可以帮助用户准确理解自己的需求,通过简单描述即可生成多样化风格的图片。
在可图大模型强大的图像生成能力背后,是快手AI团队在多模态内容理解和生成方面的长期积累,和在大模型领域的持续创新性探索。
据了解,从8月下旬开始,快手AI团队已在公司内部开启了可图大模型平台的内测,面向内部业务团队提供丰富全面的AI绘画创作能力,并支持网页版工具和标准化API两种使用方式。
快手AI团队表示,「可图」大模型仍在持续优化效果、丰富能力。未来,可图将会与快手的更多业务开展合作,用AI技术丰富业务的想象力,探索更多有趣、有价值的创新应用落地,让人机共创成为现实。
好文章,需要你的鼓励
浙江大学和吉利汽车研究院联合团队提出的FreeTimeGS是一种创新的动态3D场景重建方法。不同于传统方法,它允许高斯基元在任意时空位置自由出现,并赋予每个基元运动功能,使其能够随时间移动到相邻区域。研究通过4D正则化策略解决了高不透明度基元阻碍优化的问题。在多个数据集测试中,该方法在渲染质量和速度上均大幅超越现有技术,特别是在处理复杂动态场景时,使用单个RTX 4090 GPU能以467 FPS的速度实现1080p实时渲染,为电影制作、游戏和虚拟现实等应用提供了新可能。
这篇研究介绍了"对角线批处理"技术,该技术解决了循环记忆Transformer模型在处理长文本时的并行计算瓶颈。通过重新编排计算顺序,研究团队实现了在不破坏依赖关系的情况下进行并行计算,使LLaMA-1B模型处理长文本的速度提升3.3倍,同时内存使用减少167.1倍。这种纯运行时优化不需要重新训练模型,为实际应用中的长文本处理提供了高效解决方案。
BEVCALIB是一种利用鸟瞰图表示实现激光雷达与相机校准的创新方法,由南加州大学和加州大学河滨分校的研究团队开发。该方法将不同传感器数据转换到共享的BEV空间,并通过几何引导的特征选择实现高精度校准。在KITTI和NuScenes等数据集上,BEVCALIB比现有最佳方法平均提高了47-82%的性能,为自动驾驶和机器人系统提供了可靠的传感器融合基础。
博尔扎诺自由大学研究团队开发的PATS技术通过保留完整运动片段代替随机抽取视频帧,显著提升了AI评估体育技能的能力。该方法在EgoExo4D基准测试中表现出色,攀岩评估准确率提高26.22%,音乐提高2.39%,篮球提高1.13%。PATS能根据不同运动类型自动调整采样策略,为体育训练和人才发展提供了更准确的自动评估技术。