根据最近的评估,一个被称为"首个 AI 软件工程师"的服务似乎在工作表现上相当糟糕。
这个自动编码工具名为 "Devin",于 2024 年 3 月推出。其创造者 Cognition AI 声称 "Devin 可以端到端地构建和部署应用程序",并且"能够自主发现和修复代码库中的 bug"。该工具于 2024 年 12 月正式发布,起价为每月 500 美元。
根据 Cognition 的文档描述:"Devin 是一个自主的 AI 软件工程师,能够编写、运行和测试代码,帮助软件工程师处理个人任务或团队项目。" 它"可以审查 PR、支持代码迁移、响应随叫随到的问题、构建网络应用程序,甚至可以执行个人助理任务,比如通过 DoorDash 帮你订午餐,让你专注于代码开发。"
该服务主要通过 Slack 接收命令,这些命令会被发送到其计算环境中 - 一个包含终端、浏览器、代码编辑器和规划器的 Docker 容器。这个 AI 代理支持与外部服务的 API 集成,例如,它可以通过 SendGrid 代表用户发送电子邮件。
Devin 是一个"复合 AI 系统",这意味着它依赖于多个底层 AI 模型,包括 OpenAI 的 GPT-4,且这些模型可能会随时间演变。
理论上,你应该能够要求它执行诸如将代码迁移到 nbdev(一个 Jupyter Notebook 开发平台)之类的任务,并期望它成功完成。但这可能要求过高了。
Devin 的早期评估发现了一些问题。Cognition AI 发布了一段宣传视频,声称展示了 AI 编码器在自由职业者平台 Upwork 上自主完成项目的过程。软件开发者 Carl Brown 在他的 Internet of Bugs YouTube 频道上分析并揭露了该视频的问题。
该软件代理还被另一位 YouTube 代码评论员指出据称存在严重的安全问题。
现在,三位隶属于 Answer.AI(由 Jeremy Howard 和 Eric Ries 创立的 AI 研究和开发实验室)的数据科学家对 Devin 进行了测试,发现它在 20 个任务中仅成功完成了 3 个。
Hamel Husain、Isaac Flath 和 Johno Whitaker 在本月早些时候进行的分析中发现,Devin 开始表现不错,成功地将数据从 Notion 数据库导入到 Google Sheets。这个 AI 代理还成功创建了一个用于检查木星和土星历史位置的行星追踪器。
但随着三位研究人员继续测试,他们遇到了问题。
研究人员在报告中解释道:"看似简单的任务往往需要花费数天而不是数小时,Devin 要么陷入技术死胡同,要么产生过于复杂、无法使用的解决方案。更令人担忧的是,Devin 倾向于继续推进实际上不可能完成的任务。"
例如,当要求 Devin 在基础设施部署平台 Railway 上部署多个应用程序时,它没有意识到这是不支持的功能,花费了超过一天的时间尝试无效的方法,并臆想出不存在的功能。
在提供给 Devin 的 20 个任务中,这个 AI 软件工程师只令人满意地完成了 3 个 - 上面提到的两个以及第三个用 Python 研究如何构建 Discord 机器人的任务。另外 3 个任务结果不确定,14 个项目彻底失败。
研究人员表示,Devin 提供了一个精致的用户体验,在正常工作时令人印象深刻。
"但问题在于 - 它很少能正常工作,"他们写道。
"更令人担忧的是我们无法预测哪些任务会成功。即使是与早期成功案例类似的任务,也会以复杂且耗时的方式失败。最初看似有前途的自主性反而成了一个负担 - Devin 会花费数天时间追求不可能的解决方案,而不是认识到根本性的障碍。"
Cognition AI 没有回应置评请求。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。