麻省理工学院新系统GIFT：让AI将2D设计高效转化为3D模型

工程师在设计飞机或汽车零部件等产品时，常借助视觉语言模型生成初始方案，再通过计算机辅助设计（CAD）软件将其转化为3D模型，进而开展虚拟碰撞或耐久性测试。如今，麻省理工学院（MIT）联合多家机构的研究人员开发出一套全新系统，能够引导视觉语言模型自动将2D设计转换为CAD程序，在大幅提升精度和实用性的同时，所需计算量仅为现有方案的一小部分。

这项技术有望优化快速原型设计流程、降低开发成本，并帮助工程师发现原本容易忽视的优化设计方案。

该系统通过持续测试模型在将2D图像转化为CAD程序时的表现，动态生成新的训练数据。它会记录模型的失败案例，将其与成功案例一同纳入数据集，再利用这些数据训练模型，使其学会纠正特定错误、攻克独立作业时难以解决的问题。

论文第一作者、MIT设计计算与数字工程（DeCoDE）实验室研究员、红帽公司AI创新团队首席研究科学家乔治·詹诺内表示："我们希望工程师能够将这套框架指向表现不佳的CAD模型，设定好计算预算，然后让系统接管——把模型自身的错误转化为更优质的训练数据。"

参与研究的成员还包括：MIT机械工程博士生安娜·克莱尔·多里斯、MIT博士后阿明·海拉尼·诺巴里、红帽公司的徐凯，以及两位共同通讯作者——IBM核心AI总监、MIT-IBM计算研究实验室首席研究员阿卡什·斯里瓦斯塔瓦，以及MIT机械工程副教授、DeCoDE实验室主任、MIT-IBM计算研究实验室首席研究员法埃兹·艾哈迈德。该研究近期已在国际机器学习大会上正式发表。

艾哈迈德表示："我们身边几乎所有的实体产品，从飞机到家用电器，都起源于一个CAD模型。业界迫切希望AI能够加速设计创建流程，但现有模型往往只能生成过于简单、难以实际应用的形状。这项研究令我兴奋之处在于，它为众多图像转CAD代码模型提供了一种自我提升的途径——从自身错误中学习，而无需等待更多人工标注数据——这让可信赖的AI设计工具离日常工程实践更近了一步。"

模型感知数据

研究团队致力于构建面向CAD生成任务的视觉语言模型。这类模型接收一张2D图像和描述性文本作为输入，输出可在CAD软件中运行的Python代码，从而生成物体的3D模型。

通过分析现有视觉语言模型在该任务上的部署难题，研究人员发现制约其能力的核心瓶颈，在于缺乏多样化、高质量的CAD训练数据集。

为此，他们采用数据增强方法，为模型创建新的训练数据。传统数据增强通常通过随机调整图像中物体的颜色、大小和形状来扩充样本，MIT研究团队则另辟蹊径，构建了一套名为GIFT（几何推理反馈调优）的数据增强系统，专门针对特定任务生成能够提升单一视觉语言模型性能的数据。

GIFT通过测试来深入了解模型的优势与不足，再利用这些认知生成有针对性的训练数据，帮助模型突破在CAD生成任务中遭遇的瓶颈。

詹诺内说："我们希望获得的数据增强，是由模型自身特点所驱动的。"

从错误中学习

为实现这一目标，GIFT会让模型多次并行尝试同一个CAD生成问题，并通过检验结果的正确性来评估模型的解题能力。

詹诺内指出："对于模型而言，生成接近正确的CAD查询代码并不困难，但生成完全正确且可执行的代码，对普通视觉语言模型来说极具挑战。"

对于那些接近正确的答案，GIFT会将其修正为完整的成功解法，并将这些"近似解"与成功案例一并保存到新数据集中，用于训练模型克服常见难题。

"如果对同一问题采样10次，模型全部答对，那它几乎没有学习空间。我们真正关注的是那些中间状态——比如模型只有50%的概率能解决某个问题的情况。"詹诺内说。

利用这些中间状态，GIFT能够生成兼具模型感知与任务感知特性的数据增强样本。同时，通过引入同一问题的多个正确解法，新数据还能拓宽模型对CAD代码生成的整体认知。这一自动化流程无需人工干预来纠正模型错误。

GIFT基于推理时扩展技术，从预训练视觉语言模型出发生成数据增强。这一技术无需重新训练整个模型，便可让已训练完成的静态模型生成更优质的输出，从而大幅降低计算成本。借助推理时扩展，用户可根据自身的时间和预算需求，灵活配置GIFT所使用的计算资源。

在性能测试中，GIFT以仅约20%的计算量超越了多项竞争方案，生成的CAD程序精度更高，所产出的3D模型与真实参考模型的形状吻合度也更为出色。

詹诺内表示："我们从几何形状入手，是因为在工程问题中，3D形状的几何结构若不准确，其他一切都将失去意义。当然，还有许多其他维度有待探索。"

未来，研究团队计划进一步拓展GIFT的能力，使其能够训练模型生成在性能和可制造性上更为出色的CAD程序，并将该系统应用于更大规模的模型和更多样化的CAD生成任务。

本研究获得MIT-IBM计算研究实验室的部分资助。

Q&A

Q1：GIFT系统是什么？它如何提升CAD模型生成质量？

A：GIFT（几何推理反馈调优）是由MIT等机构研究人员开发的数据增强系统。它通过多次测试视觉语言模型在CAD生成任务上的表现，收集"近似正确"的失败案例并将其修正为成功解法，再将这些数据用于训练模型，从而帮助模型从自身错误中学习，提升生成CAD程序的准确性和可执行性。

Q2：GIFT和传统数据增强方法有什么区别？

A：传统数据增强通常通过随机调整图像颜色、大小或形状来扩充训练样本，方法较为通用。GIFT则不同，它专门针对特定模型和任务生成数据，能够识别模型的薄弱环节，有针对性地生成训练数据来弥补缺陷。此外，GIFT采用推理时扩展技术，无需重新训练整个模型，计算成本仅为竞争方案的约20%，效率大幅提升。

Q3：GIFT技术对工程师的实际工作有什么帮助？

A：GIFT能够让工程师直接将其部署在表现欠佳的CAD模型上，设定好计算预算后由系统自动运行，无需人工干预。该技术可加速2D设计到3D模型的转化流程，提升快速原型设计效率，降低开发成本，并有助于工程师发现原本容易忽略的优化设计方案，使AI辅助设计工具更贴近实际工程需求。