深度学习深刻改变了计算机应用程序的功能与形态,为了加速深度学习模型的推理,NVIDIA 英伟达推出了高性能深度学习推理优化器TensorRT。经过多年的更新迭代,TensorRT不断为深度学习提供低延迟、高吞吐率的部署推理,在保持优越性能的同时极大提高了易用性,已经成为GPU推理计算的必备工具。
然而,随着版本的迭代,编程最佳实践也在不断演化,开发者们开始探索新的问题:把模型跑在TensorRT上,最高效省力的方式是什么?为了帮助开发者们解决这一问题,阿里云天池联合英伟达在4月份启动了“英伟达TensorRT加速AI推理Hackathon2022——Transformer模型优化赛”,助力开发者在编程实践中寻找更高效的解决路径,同时也让更多工程师通过大赛实践更好的掌握TensorRT这一高性能加速工具。
面向全社会开放,更关注选手学习交流过程
大赛面向全社会开放,个人、高等院校、科研单位、企业、创客团队等人员均可报名参赛,组队上限3人。参赛的开发者将在专家组的指导下在初赛中对给定模型加速,在复赛中则根据自选模型进行加速,并将得到专家组一对一指导。据了解,大赛初赛时间为4月2日-5月20日,系统进行实时评测并返回成绩;5月20日上午10点,初赛阶段未产出成绩队伍将被淘汰,初赛排名前40的队伍则进入复赛,并于5月23日-6月27日进入复赛调优阶段。
大赛还为选手们准备了丰厚的奖品,其中,冠军1名、亚军2名、季军3名分别享有10000元、5000元、3000元人民币奖励,优胜奖则选取20名,每支团队均可获得1000元人民币奖励。值得一提的是,阿里员工可参赛排名,但不参与评选及领取奖金,来自外界的开发者们将有更多机会赢取大赛奖励。
实际上,除了荣誉与现金奖励,此次大赛最大的意义在于通过比赛的形式,提高选手的开发应用能力,因此会在比赛周期中更加重视选手的学习过程以及选手与阿里云、英伟达专家之间的沟通交流。据了解,初赛刚刚开始,GPU计算专家就与各位参赛选手在活动钉钉群内展开了热火朝天的交流讨论,对于选手们遇到的问题,专家也非常重视,给予耐心的指导与解答。

推动行业交流与人才培养,为深度学习领域聚力
谈及举办TensorRT模型优化赛的初衷,英伟达GPU计算高级专家季光博士表示,“TensorRT Hackathon既是一场云集各路开发高手的竞赛,也是一场开发者与英伟达之间的交流大会。希望参赛选手们通过这项活动,让自己开发运用TensorRT的技能更加纯熟。”
作为此次大赛的合作方,阿里云同样凭借自身在公共云计算领域的优势和GPU计算领域积累的应用经验,为本次参赛队伍提供了强大的技术支持。阿里云天池数据科学家陈漠沙对参赛选手也寄予了技术突破的期望,“希望参加本次Hackathon的选手们能开阔视野,了解业界前沿的技术方向,通过加速语音识别模型-WeNet项目实践掌握TensorRT编程技术。”
综上,对参赛者而言,此次Transformer模型优化赛大赛不仅可以提高编程实践能力,解决AI加速发展过程中的具体应用问题,更是为AI开发者提供了技术交流与学习的平台,从而促进行业深度学习开发部署人才的培养。
目前,“英伟达TensorRT加速AI推理 Hackathon 2022 —— Transformer模型优化赛”报名与初赛已同步开启。5月15日之前,感兴趣的同学在阿里云天池平台完成个人信息注册及实名认证,即可报名参赛。快来加入2022年TensorRT Hackathon,一起冲上云端,探索未知吧!
好文章,需要你的鼓励
Converge Bio完成550万美元种子轮融资,由TLV Partners领投。该公司专为生物科技和制药行业打造LLM应用平台,提供数据增强、模型微调及可解释性分析等功能,帮助企业将通用生物基础模型转化为可实际落地的研发工具。以抗体研究为例,平台可将抗体LLM精调至氨基酸级别的结合亲和力预测,并生成优化序列。公司计划用于扩充团队、拓展客户,并发布抗体设计科研论文。
香港大学与哈尔滨工业大学联合发布的这项研究(arXiv:2605.06196)发现,大语言模型在扮演不同社会层级角色时,内部神经网络存在一条清晰的"粒度轴",从普通个人视角延伸至全球机构视角。这条轴是AI角色空间的主导几何方向,可被测量、被跨模型复现,并通过激活引导技术加以操控,为AI社会模拟的可信度评估和角色视角的主动调控提供了新工具。
ChatGPT高级语音模式的创造者Alexis Conneau离开OpenAI后,创办了音频AI初创公司WaveForms AI,并获得由a16z领投的4000万美元种子轮融资。该公司专注于训练自有音频大语言模型,计划于2025年推出与OpenAI、谷歌竞争的AI音频产品。Conneau深受电影《Her》启发,致力于开发具备情感感知能力的语音AI,同时警惕AI伴侣化带来的社会问题,强调技术应服务于人而非取代人际关系。
华盛顿大学研究团队发现,在AI数学推理训练中,将随机拼凑的拉丁文占位词(Lorem Ipsum)添加到题目前,能帮助AI突破"全部答错、训练停滞"的困境,在多个模型上平均提升推理得分2.8至6.2分。研究揭示了有效扰动的两个关键特征:使用拉丁语词汇避免语义干扰,以及保持较低困惑度确保AI能正确理解题目内容。