机器学习项目全生命周期管理的成功实践

机器学习（ML）及其背后的人工智能（AI）潜力毋庸置疑。然而从长远来看，企业中的ML应用往往未能充分发挥其应有价值。以下这个实际案例能够很好地说明这一问题：某制造企业为生产环节启动了两个AI项目，一个用于自动化光学质量检测，另一个用于辅助机器操作。原型系统在单条生产线上完成开发并投入使用，表现十分出色，堪称完美成功。然而，这两个应用始终停留在孤立状态，由于日常运营协调有序、人力资源有限，无法将其推广至其他生产线或应用场景。随着时间推移，系统中的错误不断积累，需要反复进行费时费力的维护，直至工作量超出承受范围，最终不得不停止使用。最初的成功渐渐成为过眼云烟，未能留下任何持久的实质成果。

究竟哪里出了问题？应用的开发阶段是成功的，但对运营阶段的关注严重不足。与其他软件应用一样，基于ML的系统同样拥有完整的生命周期：首先，这个生命周期在初次部署后并未结束；其次，它涵盖了传统软件所不具备的特殊环节。要从ML和AI中实现可持续、可扩展的价值，必须以整体视角主动管理整个生命周期。

近年来，Helbling的专家在多家企业中屡屡遇到与上述案例相似的情况，无论是内部业务流程，还是医疗技术、楼宇自动化、具身AI等领域的AI赋能产品，这一问题普遍存在。为应对这一挑战，Helbling结合跨领域项目经验，自主研发了机器学习生命周期模型，该模型融合了软件工程、自动化与机器人专家的跨学科知识。

该生命周期模型共包含六个阶段——从最初的用例定义到运营期间的监控与维护——并在五个维度上提出了相应的行动建议。

图1：Helbling机器学习生命周期模型

ML生命周期模型的设计初衷是为ML项目规划提供指引，确保在开发阶段之外的运营事项能够从早期阶段开始得到持续关注。一个ML项目并非从一开始就涵盖全部六个阶段，通常从用例定义和原型开发这两个初始阶段起步，这两个阶段更具探索性，需要保持足够的灵活性。生命周期模型有助于提前明确后续的关注重点：一是通过工具化活动构建的ML实验基础设施，将为后期数据准备和模型训练的自动化奠定基础；二是对代码、数据、模型和硬件进行统一的版本管理，能够在后期实现可复现性和可追溯性；三是产业化同样应在ML项目中获得足够重视，与其他开发领域一样，第一版原型不应直接部署到实际生产环境中。

以下这个成功项目案例展示了生命周期模型的实际应用，并在全文中注明了对应的相关阶段。

机器学习运维（MLOps）与生命周期模型

机器学习运维（MLOps）是一种将机器学习系统推向生产环境的方法论，它弥合了开发（Dev）与运营（Ops）之间的鸿沟，实现ML模型部署过程中的自动化与标准化，提升ML模型成功进入生产环境的比例，并为未来的持续开发建立反馈闭环。

生命周期模型将MLOps作为重要组成部分纳入其中，同时向前延伸至更早期的探索阶段。初始ML项目并不从MLOps开始，而是应从早期阶段便着眼于此、逐步推进。

从用例定义和原型开发到产业化

该项目源于一个复杂的制造工艺，以及在生产过程中而非在流程末端预测产品质量的设想（预测性质量管理）。项目团队围绕这一用例梳理了所需数据和潜在的ML模型（阶段1）。第二阶段为原型开发（阶段2），核心目标是验证该用例是否可行以及如何实现。为此，项目团队细化了需求，采集并分析了数据，并对ML模型开展了实验。这一过程中需要定制化的软件工具，这些工具与模型同步开发并持续优化，为后期数据准备和模型训练的自动化积累了宝贵经验。

最初的用例很快被证明不可行——现有数据不足以支撑对绝对质量的预测。然而，通过验证发现，预测质量变化是可行的。基于这一发现，项目团队重新定义了用例并评估其价值（阶段1），随后利用现有数据和工具快速开发出针对修订后用例的原型（阶段2）。

在产业化阶段（阶段3），实验室原型演进为稳健的实际应用。开发团队完成了系统架构设计，扩充了训练数据集，并对现有工具进行扩展，以实现训练和数据准备的自动化。在这一阶段，项目重心逐步从开发转向运营，这种转变并非截然分明，而是一个渐进的过程。

持续训练、验证与监控

与模型训练同步，验证工作也实现了自动化（阶段4）。第一步是在数据集、评估指标和预期结果层面对评估标准进行规范化定义：以最近三个月的数据作为测试集，其余历史数据用于训练。这一机制确保模型验证始终贴近当前运营状态，并使不同模型的预测结果可在统一基准上进行比较。

训练完成的模型以独立应用程序的形式部署，并集成至生产线的软件系统中（阶段5）。借助自动化能力，未来的模型更新可以高效、低成本地完成上线。

该ML应用现已正式投入运营。在运行期间，系统自动将预测结果与实测产品质量进行比对，同时对输入数据的一致性进行校验（阶段6）。此外，模型定期完成重新训练和验证（阶段4），使得模型可靠性随时间不断提升，验证结果也始终保持最新状态。

在数据与机器学习相关工作之外，典型的DevOps任务在生命周期演进过程中也愈发重要。DevOps的目标是统一软件开发与运营，以整体视角审视ML模型所嵌入的应用系统。版本控制在初始ML实验阶段便已引入，产业化完成后进一步扩展完善，最终形成覆盖所有已部署模型的综合配置管理体系。由于项目并不止步于单一模型——不同制造地点生产不同产品，各自需要独立的模型——严格的版本控制使得前期开发成果得以复用于新模型的构建。统一的自动化机制也让这些模型的创建、运营与管理更加高效。

小结

在上述案例中，将AI应用的生命周期纳入整体考量，被证明是提升企业运营效率的关键成功因素。除内部流程优化外，Helbling机器学习生命周期模型所体现的方法论同样适用于AI赋能产品的开发，为项目从规划、执行到市场上市及上市后的全程提供指引，支持未来的规模化扩展并持续创造长期价值，同时帮助企业有效降低投资风险。

Helbling致力于协助企业将AI的承诺转化为切实成果。一旦核心ML模型的高效运用得以建立，可量化的成功便会随之而来。而在生命周期各阶段积累的经验，也将为进一步的发展积淀所需的成熟度。

Q&A

Q1：Helbling机器学习生命周期模型包含哪些阶段？

A：Helbling机器学习生命周期模型共包含六个阶段，从最初的用例定义出发，经过原型开发、产业化，再到自动化训练与验证、模型部署，最终进入运营期间的监控与维护阶段。模型同时在五个维度上提出行动建议，帮助企业从早期阶段便开始规划运营相关事项，避免应用在部署后因缺乏维护而逐步失效。

Q2：MLOps在机器学习项目中起什么作用？

A：MLOps是一种将机器学习系统推向生产环境的方法论，它弥合了开发与运营之间的鸿沟。其主要作用包括：实现ML模型部署的自动化与标准化、提升模型成功进入生产环境的比例，以及为未来持续开发建立反馈闭环。需要注意的是，MLOps并不是ML项目的起点，而是应从早期探索阶段便开始逐步推进。

Q3：预测性质量管理项目中遇到了哪些挑战，最终是如何解决的？

A：在该制造业项目中，团队最初希望在生产过程中预测产品的绝对质量，但验证发现现有数据信息量不足，无法支撑这一目标。团队随即调整方向，将用例修改为预测质量变化，并利用已有数据和工具快速完成了新原型的开发。在此基础上，通过自动化训练、验证和监控机制，模型可靠性持续提升，并成功实现跨产品、跨生产地点的规模化复制。