/
万卡级超大规模智算集群网络运维挑战及实战
大模型训练任务对于网络要求苛刻，34%的训练中断是由网络引起。RDMA的丢包重传机制将导致带宽利用率快速降低，当丢包率达到千分之1时，训练效率降低明显；
0赞好文章，需要你的鼓励
推荐文章
让AI学会深度搜索：Fractal AI Research实验室开发出能像侦探一样追踪真相的智能助手
Fractal AI Research实验室开发了Fathom-DeepResearch智能搜索系统，该系统由两个4B参数模型组成，能够进行20多轮深度网络搜索并生成结构化报告。研究团队创新了DUETQA数据集、RAPO训练方法和认知行为奖励机制，解决了AI搜索中的浅层化、重复性和缺乏综合能力等问题，在多项基准测试中显著超越现有开源系统，为AI助手向专业研究工具转变奠定了基础。
快手科技重磅突破：AI语言模型训练的“权重平衡术“让机器学习更聪明
快手科技与清华大学合作发现当前AI语言模型训练中存在严重的权重分配不平衡问题，提出了非对称重要性采样策略优化(ASPO)方法。该方法通过翻转正面样本的重要性权重，让模型把更多注意力放在需要改进的部分而非已经表现良好的部分，显著提升了数学推理和编程任务的性能，并改善了训练稳定性。
2024
08/12
11:04
分享
点赞
京公网安备 11010802021500号 京网文(2025) 0096-033号 京字第20868号
