在周四,卡内基·梅隆大学的研究人员发布了 LegoGPT,这是一种能根据文本提示创建物理上稳定的 Lego 结构的 AI 模型。该系统不仅能够设计出符合文本描述的 Lego 模型,而且确保这些模型可以在现实中逐块搭建,无论是由人手工搭建还是借助机器人协助完成。
“为实现这一目标,我们构建了一个大规模、物理结构稳定的 Lego 设计数据集及其相关说明,”研究人员在上传至 arXiv 的论文中写道,“并训练了一个自回归大语言模型,通过下一个 Token 预测来预测下一个需要添加的砖块。”
训练后的模型能够生成符合诸如“流线型、修长的船只”或“具有显著前格栅的经典风格汽车”之类文本提示的 Lego 设计。得到的设计风格简约,仅使用少量砖块类型构建出原始形状——但这些模型稳固耐立。正如 Ars Technica 的一名工作人员在看到这项研究后半开玩笑地说的那样,“它搭建 Lego 的方式仿佛回到了 1974 年。”
在题为《从文本生成物理稳定且可构建的 Lego 设计》的论文中,由 Ava Pun 领导的研究团队解释道,目前许多现有的 3D 生成模型侧重于制造具有详细几何形状的多样化对象,但这些数字设计往往无法在物理世界实现。“如果没有适当的支撑,设计的部分很可能会坍塌、漂浮或保持断裂状态,”他们写道。
与以往自主 Lego 建模的尝试不同,据称 LegoGPT 能够生成逐步说明资料,指导构建不会散架的 Lego 创作。项目网站上可以看到该系统的演示效果。
How LegoGPT works
为了构建 LegoGPT,卡内基·梅隆团队重新利用了大语言模型(LLM)背后的技术,类似于支持 ChatGPT 的那种技术,将应用场景从下一个单词预测转变为“下一块砖块预测”。为此,团队对来自 Meta 的一款遵循指令的大语言模型 LLaMA-3.2-1B-Instruct 进行了微调。
随后,研究团队将该砖块预测模型与一个独立的软件工具相结合,通过数学模型模拟重力和结构力,以验证物理稳定性。
在训练模型时,团队组建了一个名为 StableText2Lego 的新数据集,该数据集包含 47,000 多个稳定的 Lego 结构及其由另一 AI 模型 OpenAI 的 GPT-4o 生成的描述性说明。每个结构都经过物理分析,确保其能够在现实中构建成功。
LegoGPT 的工作原理是首先生成一序列精确放置的 Lego 砖块。对于序列中的每一砖块,系统都会确保其不会与已存在的砖块发生碰撞,且能适应构建空间。在完成设计后,系统利用前述数学模型来验证该设计能否稳固直立而不倒塌。
如果某些部分在现实中可能会坍塌,系统会定位出第一个不稳定的砖块,并进行回溯,移除该砖块及其之后的所有砖块,再尝试另一种方案。这种“物理感知回滚”方法对于团队的方案至关重要。没有该步骤,仅有 24% 的设计能够保持稳固,而使用完整系统后这一比例高达 98.8%。
研究人员还通过添加纹理和颜色选项扩展了系统的能力。例如,使用“金属紫色的电吉他”这样的外观提示,LegoGPT 可以生成一款电吉他模型,并将砖块指定为紫色。
Testing with robots and humans
为了证明设计在现实中的可行性,研究人员让机器人组装这些由 AI 创造的 Lego 模型。他们使用了带有力传感器的双机器人臂系统,根据 AI 生成的指令拾取并放置砖块。
人类测试者也亲手搭建了一些设计,证明了 AI 确实能够创造出切实可构建的模型。“我们的实验显示,LegoGPT 产生的 Lego 设计既稳定多样,又具美学吸引力,并且与输入的文本提示高度契合,”团队在论文中指出。
在与其他 3D 生成 AI 系统的对比测试中,LegoGPT 凭借其对结构完整性的关注脱颖而出。团队测试了包括 LLaMA-Mesh 在内的几种替代方案,发现其方法生成的稳定结构比例最高。
不过,当前版本仍存在一些局限性。LegoGPT 目前仅适用于 20×20×20 的构建空间,并仅使用八种标准砖块。“我们的方法目前仅支持一套常用的 Lego 砖块,”团队承认,“未来工作中,我们计划扩展砖块库,涵盖更多尺寸和类型的砖块,例如斜面砖和平板砖。”
研究人员还希望扩大训练数据集,涵盖比当前 21 类对象更多的类别。同时,其成果也对外开放——研究团队在项目网站和 GitHub 上发布了数据集、代码及模型。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。