周四,Laude研究所宣布了其首批"弹弓"(Slingshots)资助计划的获奖项目,旨在"推进人工智能的科学研究和实践应用"。
"弹弓"项目被设计为研究人员的加速器,意在提供大多数学术机构无法获得的资源,无论是资金支持、计算能力,还是产品和工程技术支持。作为回报,获奖者承诺产出某种最终成果,可以是初创公司、开源代码库或其他类型的研究成果。
首批入选队列包含十五个项目,特别关注AI评估这一难题。其中一些项目对TechCrunch读者来说并不陌生,包括命令行编程基准测试Terminal Bench和长期运行的ARC-AGI项目的最新版本。
其他项目则对长期存在的评估问题采取了全新方法。由加州理工学院和德州大学奥斯汀分校研究人员构建的Formula Code项目,旨在评估智能体优化现有代码的能力,而哥伦比亚大学的BizBench项目则提出了针对"白领智能体"的综合基准测试。其他资助项目还探索了强化学习或模型压缩的新结构。
SWE-Bench联合创始人John Boda Yang也是入选队列的一员,他领导着新的CodeClash项目。受到SWE-Bench成功的启发,CodeClash将通过动态竞赛框架来评估代码质量。
Yang告诉TechCrunch:"我确实认为人们继续在核心第三方基准测试上进行评估会推动进步。我有点担心未来基准测试会变得只针对特定公司。"
Q&A
Q1:Laude研究所的"弹弓"资助计划是什么?
A:"弹弓"项目是Laude研究所推出的研究人员加速器,旨在推进人工智能的科学研究和实践应用。该项目为研究人员提供大多数学术机构无法获得的资源,包括资金支持、计算能力以及产品和工程技术支持。
Q2:首批"弹弓"资助计划有多少个项目?主要关注什么领域?
A:首批入选队列包含十五个项目,特别关注AI评估这一难题。项目包括Terminal Bench、ARC-AGI项目最新版本、Formula Code以及BizBench等,涵盖了代码优化评估、白领智能体基准测试等多个方向。
Q3:CodeClash项目有什么特色?
A:CodeClash项目由SWE-Bench联合创始人John Boda Yang领导,受到SWE-Bench成功启发。该项目将通过动态竞赛框架来评估代码质量,采用了全新的代码评估方法。
好文章,需要你的鼓励
FORTIS是专门测量AI代理"越权行为"的基准测试,研究发现十款顶尖模型普遍选择远超任务需要的高权限技能,端到端成功率最高仅14.3%。
谷歌在Android Show发布会上宣布,将Gemini更深度整合至Android系统,推出名为"Gemini Intelligence"的升级功能。该功能可跨应用处理日常任务,包括自动填写表单、安排日程、生成购物清单及自定义小组件等,无需用户频繁切换应用。此外,Gboard新增"Rambler"功能,可自动过滤语音输入中的口误和填充词。Gemini Intelligence将率先登陆三星Galaxy和谷歌Pixel手机,并支持Android Auto、Wear OS及智能眼镜。
荷兰Nebius团队提出SlimSpec,通过低秩分解压缩草稿模型LM-Head的内部表示而非裁剪词汇,在保留完整词汇表的同时将LM-Head计算时间压缩至原来的五分之一,端到端推理速度超越现有方法最高达9%。