深度学习深刻改变了计算机应用程序的功能与形态,为了加速深度学习模型的推理,NVIDIA 英伟达推出了高性能深度学习推理优化器TensorRT。经过多年的更新迭代,TensorRT不断为深度学习提供低延迟、高吞吐率的部署推理,在保持优越性能的同时极大提高了易用性,已经成为GPU推理计算的必备工具。
然而,随着版本的迭代,编程最佳实践也在不断演化,开发者们开始探索新的问题:把模型跑在TensorRT上,最高效省力的方式是什么?为了帮助开发者们解决这一问题,阿里云天池联合英伟达在4月份启动了“英伟达TensorRT加速AI推理Hackathon2022——Transformer模型优化赛”,助力开发者在编程实践中寻找更高效的解决路径,同时也让更多工程师通过大赛实践更好的掌握TensorRT这一高性能加速工具。
面向全社会开放,更关注选手学习交流过程
大赛面向全社会开放,个人、高等院校、科研单位、企业、创客团队等人员均可报名参赛,组队上限3人。参赛的开发者将在专家组的指导下在初赛中对给定模型加速,在复赛中则根据自选模型进行加速,并将得到专家组一对一指导。据了解,大赛初赛时间为4月2日-5月20日,系统进行实时评测并返回成绩;5月20日上午10点,初赛阶段未产出成绩队伍将被淘汰,初赛排名前40的队伍则进入复赛,并于5月23日-6月27日进入复赛调优阶段。
大赛还为选手们准备了丰厚的奖品,其中,冠军1名、亚军2名、季军3名分别享有10000元、5000元、3000元人民币奖励,优胜奖则选取20名,每支团队均可获得1000元人民币奖励。值得一提的是,阿里员工可参赛排名,但不参与评选及领取奖金,来自外界的开发者们将有更多机会赢取大赛奖励。
实际上,除了荣誉与现金奖励,此次大赛最大的意义在于通过比赛的形式,提高选手的开发应用能力,因此会在比赛周期中更加重视选手的学习过程以及选手与阿里云、英伟达专家之间的沟通交流。据了解,初赛刚刚开始,GPU计算专家就与各位参赛选手在活动钉钉群内展开了热火朝天的交流讨论,对于选手们遇到的问题,专家也非常重视,给予耐心的指导与解答。

推动行业交流与人才培养,为深度学习领域聚力
谈及举办TensorRT模型优化赛的初衷,英伟达GPU计算高级专家季光博士表示,“TensorRT Hackathon既是一场云集各路开发高手的竞赛,也是一场开发者与英伟达之间的交流大会。希望参赛选手们通过这项活动,让自己开发运用TensorRT的技能更加纯熟。”
作为此次大赛的合作方,阿里云同样凭借自身在公共云计算领域的优势和GPU计算领域积累的应用经验,为本次参赛队伍提供了强大的技术支持。阿里云天池数据科学家陈漠沙对参赛选手也寄予了技术突破的期望,“希望参加本次Hackathon的选手们能开阔视野,了解业界前沿的技术方向,通过加速语音识别模型-WeNet项目实践掌握TensorRT编程技术。”
综上,对参赛者而言,此次Transformer模型优化赛大赛不仅可以提高编程实践能力,解决AI加速发展过程中的具体应用问题,更是为AI开发者提供了技术交流与学习的平台,从而促进行业深度学习开发部署人才的培养。
目前,“英伟达TensorRT加速AI推理 Hackathon 2022 —— Transformer模型优化赛”报名与初赛已同步开启。5月15日之前,感兴趣的同学在阿里云天池平台完成个人信息注册及实名认证,即可报名参赛。快来加入2022年TensorRT Hackathon,一起冲上云端,探索未知吧!
好文章,需要你的鼓励
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
本期《Quick Charge》播客涵盖多个热点话题:特斯拉疑似试图删除FSD欺诈相关证据以规避巨额赔付;卡特彼勒持续推进建筑领域电气化布局;住宅太阳能30%税收抵免即将到期。此外,嘉宾Tom Pacheco就高压系统与电池技术培训展开探讨,强调电动车技术人才培养的紧迫性。节目同时提醒有意安装太阳能的用户尽快行动,可通过EnergySage平台比较多家安装商报价。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。