Together Computer Inc. 今天推出了其 Fine-Tuning Platform(微调平台)的一项重大更新,旨在让开发者能够以更低廉且便捷的方式,随着时间的推移调整开源大语言模型。
这家以 Together AI 名义运营的初创公司经营着一个针对 AI 模型开发优化的公有云。新增功能支持在浏览器内进行微调,从而无需安装 Python 软件开发工具包或调用应用程序接口。
公司还新增了对直接偏好优化微调的支持,以及通过单个命令从先前运行结果中启动微调作业的功能。同时,其也调整了定价以降低训练成本。
Together AI 表示,这些更新反映了他们的信念: AI 模型不应是静态的,而应与所服务的应用程序共同进化。基于浏览器的界面允许开发者在无需编写任何代码的情况下启动微调作业。此前,这类任务需要额外的设置和专业技能。开发者可以上传数据集、定义训练参数并跟踪实验,从而降低持续微调的门槛。
Together AI 的微调产品负责人 Anirudh Jain 表示:“虽然质量上没有固有提升,因为底层方法与通过 API 进行微调完全相同,但基于浏览器的流程消除了脚本编写的需要,并将整个过程简化为直观的无代码体验。这使得非技术用户也能轻松进行微调,并比手动使用 API 的方法节省大约 50% 的时间。”他还指出,Python SDK 和 API 仍然可用,但并非必需。
Preference-based training 直接偏好优化是一种利用偏好数据训练语言模型的方法,在这种方法中,模型会针对同一提示同时展示一个较优响应与一个较差响应。模型不再仅仅模仿固定答案,而是通过对比损失函数,根据人类反馈学习偏好某些响应。该方法教会模型在其表示空间中将相似内容拉近距离,而将不相似内容推远。
Jain 说:“监督微调(SFT)帮助模型学会应说什么,而直接偏好优化(DPO)则教会模型不该说什么。”在使用标注的输入/输出对时,通常采用监督微调,而当训练数据包含来自人工评分者或 A/B 测试的偏好信息时,则采用 DPO。
与传统的强化学习技术不同,DPO 无需额外构建单独的奖励模型,因此其实现更为简单、迅速且稳定。开发者可以微调模型,使其更加符合用户与应用程序交互的方式,从而提升准确性和可信度。
持续训练允许开发者从先前训练的模型检查点继续进行微调。此功能对于随着时间的推移不断完善模型,或运行结合指令微调与偏好优化等方法的多阶段训练工作流非常有用。调用方式是通过引用先前训练作业的任务 ID,并从上一次任务结束后继续构建。
Jain 表示:“这大幅提升了效率和成本效益,使得模型迭代和改进的速度更快。”
平台的另一个改进允许开发者为对话数据中的消息分配不同权重,从而在不将其完全从训练上下文中移除的前提下,对某些响应进行降低优先级或忽略。同时,全新的余弦学习率调度器为训练动态提供了更大的灵活性和更精细的控制。
公司表示,对平台数据预处理引擎的更新已使大规模训练任务的性能提高最多达 32%,而小规模任务提高约 17%。
为了帮助小团队及独立开发者更便捷地尝试定制的大语言模型,Together AI 现还提供按需付费的定价模式,无最低消费限制。价格会根据模型大小和训练方法而有所不同。
目前,该平台支持对流行的开源模型进行微调,包括 Llama 3、Gemma 和 DeepSeek-R1 变体。公司表示未来计划支持更大规模的模型,如 Llama 4 及未来的 DeepSeek 版本。
好文章,需要你的鼓励
AWS通过升级SageMaker机器学习平台来扩展市场地位,新增观测能力、连接式编码环境和GPU集群性能管理功能。面对谷歌和微软的激烈竞争,AWS专注于为企业提供AI基础设施支撑。SageMaker新功能包括深入洞察模型性能下降原因、为开发者提供更多计算资源控制权,以及支持本地IDE连接部署。这些更新主要源于客户需求,旨在解决AI模型开发中的实际问题。
南洋理工大学研究团队开发了WorldMem框架,首次让AI拥有真正的长期记忆能力,解决了虚拟世界模拟中的一致性问题。该系统通过记忆银行存储历史场景,并使用智能检索机制,让AI能准确重现之前的场景和事件,即使间隔很长时间。实验显示在Minecraft和真实场景中都表现出色,为游戏、自动驾驶、机器人等领域带来广阔应用前景。
AI虽具备变革企业洞察力的潜力,但成功依赖于数据质量。大多数AI项目失败源于数据混乱分散而非算法局限。谷歌BigQuery云数据AI平台打破数据孤岛,简化治理,加速企业AI应用。通过AI自动化数据处理,实现实时分析,并与Vertex AI深度集成,使企业能够高效处理结构化和非结构化数据,将智能商业转型从愿景变为现实。
MTS AI研究团队提出RewardRanker系统,通过重排序模型和迭代自训练显著提升AI代码生成质量。该方法让13.4B参数模型超越33B大模型,在多种编程语言上表现优异,甚至在C++上超越GPT-4。通过引入困难负样本和PPO优化,系统能从多个代码候选中选出最优方案,为AI编程助手的实用化奠定基础。