定制化亚马逊Nova模型提升药物发现中的分子属性预测能力

近年来，大语言模型已成为软件工程师和知识工作者不可或缺的助手。Nimbus Therapeutics公司邀请亚马逊生成式AI创新中心与通用人工智能（AGI）团队，共同探索能否为研发新药的药物化学家打造同样强大的AI助手。这样的智能体有望显著加速药物发现进程，从而拯救更多生命。

传统的药物发现AI通常依赖图神经网络（GNN）。GNN是整个制药研发领域分子属性预测的核心工具，凭借其在特定任务上的高准确率赢得了广泛认可。

然而，这种方式通常需要针对不同分子属性分别构建和维护多个GNN模型，不仅成本高昂，运营管理也极为复杂。虽然大语言模型近年来在多个研究领域取得了突破性进展，吸引了众多生物技术企业的目光，但在药物发现领域，通用型的现成大语言模型在预测精度上仍不及GNN或其他计算方法。

我们采用了一种全新方案，将GNN的高准确率与大语言模型的泛化能力和推理能力相结合。通过监督微调（SFT）和强化微调（RFT）对通用大语言模型进行定制化训练，我们以极短的时间和极低的人力成本，实现了与多个GNN模型相当的预测效果。

经过微调的大语言模型大幅简化了工作流程。在传统模式下，每个GNN都有独立的使用界面，各自有不同的数据格式和故障模式，输出的结果也是孤立的数值，化学家需要手动进行整合分析。而每当需要预测新的分子属性时，就必须重新构建多任务数据集，并从头训练和验证一个全新模型，整个过程往往耗时数周。

相比之下，单一的微调大语言模型允许化学家只需提交一个查询请求，即可获取所有感兴趣的分子属性预测结果。如需新增属性预测，只需进行增量微调，无需从零开始构建新模型。更重要的是，语言模型还开启了一种质上不同的能力——对话交互。

通过微调后的大语言模型，用户可以询问模型输出背后的推理依据，也可以提出分子结构修改建议，以期获得所需属性。这预示着一种将分子属性预测与分子生成融为一体的交互式助手正在成为可能，我们认为这是AI辅助药物设计的理想下一步。

定制化大语言模型可以解锁面向特定科学领域的专业助手，为精简团队的生物技术公司提供了一种切实可行的方式，与能够理解其科学语言的AI系统展开合作。

目前，将一种新药推向市场平均需要10至15年，花费逾20亿美元，且进入临床试验的候选药物中仅约8%最终获得FDA批准。我们认为，AI助手尤其能够提升药物开发早期阶段的工作效率，助力化学家设计具备类药物特性的分子。提高开发速度并增加可行候选药物的数量，将最大化将安全有效的药物推向临床的可能性。

此次与Nimbus Therapeutics的合作，聚焦于药物开发中三大关键类别的属性预测：

亲脂性（含一个相关属性）决定分子能否穿越生物膜，是药物吸收和分布的基础，并影响药物的所有其他特性。

渗透性（含四个相关属性）衡量药物通过血液进入人体的难易程度。

清除率（含六个相关属性）决定人体消除药物的速度。若药物清除过慢可能导致毒性积累；清除过快则药效不足。

这些属性的数值范围各异，且存在复杂的相互依赖关系，在实践中通常需要分别构建独立的多任务GNN模型。我们测试了通用大语言模型Claude Sonnet 4和Nova 2 Lite在预测特定分子上述三类属性方面的表现。尽管这些模型在其他领域表现卓越，但在此任务上却明显逊于专用GNN，根据均方根误差（RMSE）测量，误差差距在40%至200%以上不等，因属性而异。

然而，我们发现，通过对Nova 2 Lite依次应用监督微调（SFT）和强化微调（RFT），可以弥合这一差距。我们使用单一微调大语言模型对11种不同分子属性进行预测，其准确率与多个独立训练的多任务GNN模型相当。

我们的大语言模型微调方案遵循一项人才培养与机器学习共通的原则：基础知识的积累必须先于性能优化。在SFT阶段，模型学习了分子结构与属性关系等核心概念；而在RFT阶段，训练重点转向通过实践和反馈来培养预测判断力。

在SFT阶段，我们向Nova 2 Lite提供了超过55,000个标注了11种属性实验测量值的分子样本。SFT至关重要，因为我们要求模型执行的领域特定任务远超其通用预训练数据的覆盖范围。例如，我们使用一种名为SMILES（简化分子输入行表示系统）的符号来表示化学结构。若没有SFT，大语言模型将无法完成"从SMILES字符串预测化学属性并以结构化JSON格式输出"等任务。

第二个训练阶段——强化微调（RFT）——对于实验数据有限的属性尤为关键，因为在这种情况下，单独依靠SFT难以实现良好泛化。RFT还支持模型在不同属性之间进行跨属性学习迁移。例如，亲脂性会影响渗透性，而二者均可为代谢预测提供参考。此外，RFT将学习目标从模式匹配（"给定分子X，基于相似样本输出数值Y"）转变为质量优化（"最小化所有属性的预测误差"）。

我们在15,000个训练过程中未曾出现的分子上对SFT和RFT模型进行了测试，并构建了一个系统提示词，涵盖核心化学知识以及11种目标化学属性的定义和预期数值范围。

在RFT阶段，我们尝试了三种生成奖励的策略，以指导学习过程。分子属性预测任务特别适合通过奖励工程来驱动RFT训练，因为输出结果是单一数值，可以精确衡量每次预测的偏差程度。

第一种策略是使用指数衰减函数，使预测值越接近真实值所获奖励呈指数级增长。但在误差较大时，从"非常差"提升到"较差"几乎获得不到任何奖励差异，导致模型无法从最差的预测中学习；而在误差较小时，微小变化却引发较大奖励差异，令奖励信号充满噪声，最终效果适得其反。

第二种策略采用二元通过/失败奖励，则产生了相反的问题：模型对渐进式改进毫无激励——要么越过一个任意设定的阈值（在我们的实验中为误差在10%以内），要么得不到任何反馈。

基于Huber损失的奖励策略——这一指标由瑞士统计学家Peter Huber于1964年提出，其特点是限制异常值的影响——有效解决了上述两个问题。与指数衰减不同，Huber奖励在误差较大时不会趋近于零，模型始终能收到有意义的改进信号；同时在接近正确答案时保持稳定，使预测得到精细优化而不会对微小波动过度反应。这一策略取得了最佳效果，相比基线实现了4.9%的R?提升，并被用作同时训练模型预测多种分子属性的默认奖励机制。

在此基础上进行多属性训练，我们微调了一个可同时预测全部11种属性的单一模型。表现最佳的模型是在全量SFT基础上叠加RFT训练的Nova 2 Lite，即对所有模型参数进行了更新。该模型在平均RMSE指标上比Claude Sonnet 4优出39%，比基础版Nova 2 Lite优出37%。尽管平均落后于基线GNN约5%，但在11种属性中的7种上，其表现与GNN持平甚至超越——考虑到这是单一大语言模型与多个独立训练的多任务GNN模型正面较量，这一结果令人瞩目，不仅减少了模型数量，更大幅压缩了围绕训练、部署和维护的整体基础设施成本。

值得特别指出的是，Nova Forge——一项允许亚马逊云服务（AWS）客户在预训练和SFT过程中使用私有数据的服务——在SageMaker上同时支持SFT和RFT，具备广泛的模型定制能力。由于SageMaker在内部统一管理训练框架和基础设施，企业无需自行从零构建和维护定制化训练流水线，从而有效降低了成本。

基于上述初步实验与研究成果，Nimbus Therapeutics近期已在Amazon Bedrock上部署了其自研的Novus模型。Novus是该公司通过Nova Forge定制构建的大语言模型，目前已能以媲美专用GNN的精度处理分子属性预测任务。

下一个里程碑是将这些能力延伸至分子设计领域，使模型能够在一次对话中提出结构修改方案、预测其下游属性，并解释其推理过程。

Q&A

Q1：GNN在药物发现中有什么局限性，为什么要用大语言模型来替代？

A：GNN虽然在分子属性预测上准确率高，但需要针对不同属性分别构建和维护多个模型，成本高、管理复杂。而且每新增一种属性预测，就需要重新训练整套模型，耗时可达数周。相比之下，微调后的大语言模型只需一个模型即可预测多种属性，还支持对话交互，化学家可以直接询问预测背后的推理逻辑或提出结构修改建议，大幅简化了工作流程。

Q2：Huber损失奖励策略为什么比其他奖励策略效果更好？

A：在RFT训练中，指数衰减奖励在误差较大时几乎不给模型任何改进信号，而二元通过/失败奖励则对渐进式改进毫无激励。Huber损失奖励策略兼顾了两者的优点：误差大时依然提供有意义的学习信号，误差小时又足够稳定不会引发过度反应。最终该策略实现了比基线高4.9%的R?提升，被选为多属性同步训练的默认奖励机制。

Q3：Nimbus Therapeutics的Novus模型目前能做什么，未来计划往哪个方向发展？

A：Novus是Nimbus Therapeutics基于Amazon Nova Forge定制构建的大语言模型，目前已部署在Amazon Bedrock上，能够以媲美专用GNN的精度完成分子属性预测任务。未来，团队计划将其能力扩展至分子设计领域，使模型可以在单次对话中提出分子结构修改建议、预测对应的下游属性，并给出推理解释，最终实现真正意义上的AI辅助药物设计助手。