麻省理工开发表格基础模型优化算法，工程设计效率提升百倍

许多工程挑战归根结底都面临同样的难题——需要调整的参数太多，而测试机会太少。无论是电网调优还是设计更安全的车辆，每次评估都成本高昂，可能涉及数百个重要变量。

以汽车安全设计为例，工程师必须整合数千个零部件，许多设计选择都会影响车辆在碰撞中的表现。当寻找最佳组合时，经典优化工具可能开始显得力不从心。

麻省理工学院研究人员开发了一种新方法，重新思考如何使用贝叶斯优化这一经典方法来解决涉及数百个变量的问题。在现实工程基准测试中，如电力系统优化，该方法找到最优解决方案的速度比广泛使用的方法快10到100倍。

他们的技术利用了在表格数据上训练的基础模型，能够自动识别对性能提升最重要的变量，重复这个过程来锁定越来越好的解决方案。基础模型是在庞大通用数据集上训练的巨型人工智能系统，这使它们能够适应不同的应用。

研究人员的表格基础模型在寻找解决方案的过程中不需要持续重新训练，提高了优化过程的效率。该技术还能在更复杂的问题上提供更大的加速效果，因此在材料开发或药物发现等要求苛刻的应用中可能特别有用。

"现代AI和机器学习模型可以从根本上改变工程师和科学家创建复杂系统的方式。我们提出了一种算法，不仅能解决高维问题，而且可重复使用，可以应用于许多问题而无需从头开始，"计算科学与工程研究生、论文主要作者余若森说。

改进经典方法

当科学家试图解决多方面问题，但评估成功的方法成本昂贵时，比如通过碰撞测试了解每个设计的好坏，他们通常使用一种久经考验的方法——贝叶斯优化。这种迭代方法通过构建代理模型来为复杂系统找到最佳配置，该模型有助于估计接下来要探索什么，同时考虑其预测的不确定性。

但代理模型必须在每次迭代后重新训练，当潜在解决方案的空间非常大时，这很快就会变得计算上难以处理。此外，科学家每次想要处理不同场景时都需要从头构建新模型。

为了解决这两个缺陷，麻省理工研究人员在贝叶斯优化算法中使用了一种被称为表格基础模型的生成式AI系统作为代理模型。

"表格基础模型就像电子表格的ChatGPT。这些模型的输入和输出都是表格数据，在工程领域这比语言更常见、更实用，"余若森说。

就像ChatGPT、Claude和Gemini等大语言模型一样，该模型已经在大量表格数据上进行了预训练。这使它能够很好地处理各种预测问题。此外，该模型可以直接部署，无需任何重新训练。

为了使他们的系统在优化方面更准确、更高效，研究人员采用了一个技巧，使模型能够识别设计空间中对解决方案影响最大的特征。

"一辆汽车可能有300个设计标准，但如果你试图提高某些安全参数，并非所有标准都是最佳设计的主要驱动因素。我们的算法可以智能地选择最关键的特征来关注，"余若森说。

它通过使用表格基础模型来估计哪些变量（或变量组合）对结果影响最大来实现这一点。然后它将搜索集中在那些高影响变量上，而不是浪费时间平等地探索所有内容。例如，如果前部溃缩区的尺寸显著增加且汽车安全评级提高，那么该特征很可能在改进中发挥了作用。

更大的问题，更好的解决方案

余若森说，他们最大的挑战之一是为这项任务找到最佳的表格基础模型。然后他们必须将其与贝叶斯优化算法连接，使其能够识别最突出的设计特征。

"找到最突出的维度是数学和计算机科学中的一个众所周知的问题，但想出一种利用表格基础模型特性的方法是一个真正的挑战，"余若森说。

算法框架到位后，研究人员通过将其与五种最先进的优化算法进行比较来测试他们的方法。在60个基准问题上，包括电网设计和汽车碰撞测试等现实情况，他们的方法始终比其他算法快10到100倍找到最佳解决方案。

"当优化问题的维度越来越多时，我们的算法真正发光发热，"余若森补充道。

但他们的方法并未在所有问题上都超越基准，比如机器人路径规划。余若森说，这可能表明该场景在模型的训练数据中定义得不够好。

未来，研究人员希望研究能够提升表格基础模型性能的方法。他们还希望将他们的技术应用于具有数千甚至数百万维度的问题，比如海军舰艇的设计。

"在更高层面上，这项工作指向了一个更广泛的转变：使用基础模型不仅用于感知或语言，而是作为科学和工程工具内部的算法引擎，允许像贝叶斯优化这样的经典方法扩展到以前不切实际的范围，"艾哈迈德说。

"这项工作中提出的方法，将预训练基础模型与高维贝叶斯优化结合使用，是一种富有创意且前景光明的方式，可以减少基于仿真设计的繁重数据需求。总体而言，这项工作是使高级设计优化更易于获得和在现实环境中应用的实用而强大的一步，"西北大学机械工程系主任、工程设计威尔逊-库克教授魏晨说，他没有参与这项研究。

Q&A

Q1：表格基础模型是什么？它与普通AI模型有什么区别？

A：表格基础模型就像电子表格的ChatGPT，它的输入和输出都是表格数据，在工程领域比语言更常见和实用。与ChatGPT等大语言模型类似，它在大量表格数据上进行了预训练，能够处理各种预测问题，并且可以直接部署使用，无需重新训练。

Q2：这个优化算法为什么比传统方法快那么多？

A：该算法的关键优势在于使用表格基础模型自动识别对性能提升最重要的变量，然后将搜索集中在这些高影响变量上，而不是浪费时间平等探索所有参数。在60个基准测试中，这种方法比其他算法快10到100倍找到最优解决方案。

Q3：这个优化技术可以应用在哪些工程领域？

A：该技术适用于需要处理大量变量的复杂工程问题，包括汽车安全设计、电网优化、材料开发、药物发现等领域。研究显示它在电力系统优化和汽车碰撞测试等现实工程场景中表现出色，未来还计划应用于海军舰艇设计等更复杂的问题。