根据最近的评估,一个被称为"首个 AI 软件工程师"的服务似乎在工作表现上相当糟糕。
这个自动编码工具名为 "Devin",于 2024 年 3 月推出。其创造者 Cognition AI 声称 "Devin 可以端到端地构建和部署应用程序",并且"能够自主发现和修复代码库中的 bug"。该工具于 2024 年 12 月正式发布,起价为每月 500 美元。
根据 Cognition 的文档描述:"Devin 是一个自主的 AI 软件工程师,能够编写、运行和测试代码,帮助软件工程师处理个人任务或团队项目。" 它"可以审查 PR、支持代码迁移、响应随叫随到的问题、构建网络应用程序,甚至可以执行个人助理任务,比如通过 DoorDash 帮你订午餐,让你专注于代码开发。"
该服务主要通过 Slack 接收命令,这些命令会被发送到其计算环境中 - 一个包含终端、浏览器、代码编辑器和规划器的 Docker 容器。这个 AI 代理支持与外部服务的 API 集成,例如,它可以通过 SendGrid 代表用户发送电子邮件。
Devin 是一个"复合 AI 系统",这意味着它依赖于多个底层 AI 模型,包括 OpenAI 的 GPT-4,且这些模型可能会随时间演变。
理论上,你应该能够要求它执行诸如将代码迁移到 nbdev(一个 Jupyter Notebook 开发平台)之类的任务,并期望它成功完成。但这可能要求过高了。
Devin 的早期评估发现了一些问题。Cognition AI 发布了一段宣传视频,声称展示了 AI 编码器在自由职业者平台 Upwork 上自主完成项目的过程。软件开发者 Carl Brown 在他的 Internet of Bugs YouTube 频道上分析并揭露了该视频的问题。
该软件代理还被另一位 YouTube 代码评论员指出据称存在严重的安全问题。
现在,三位隶属于 Answer.AI(由 Jeremy Howard 和 Eric Ries 创立的 AI 研究和开发实验室)的数据科学家对 Devin 进行了测试,发现它在 20 个任务中仅成功完成了 3 个。
Hamel Husain、Isaac Flath 和 Johno Whitaker 在本月早些时候进行的分析中发现,Devin 开始表现不错,成功地将数据从 Notion 数据库导入到 Google Sheets。这个 AI 代理还成功创建了一个用于检查木星和土星历史位置的行星追踪器。
但随着三位研究人员继续测试,他们遇到了问题。
研究人员在报告中解释道:"看似简单的任务往往需要花费数天而不是数小时,Devin 要么陷入技术死胡同,要么产生过于复杂、无法使用的解决方案。更令人担忧的是,Devin 倾向于继续推进实际上不可能完成的任务。"
例如,当要求 Devin 在基础设施部署平台 Railway 上部署多个应用程序时,它没有意识到这是不支持的功能,花费了超过一天的时间尝试无效的方法,并臆想出不存在的功能。
在提供给 Devin 的 20 个任务中,这个 AI 软件工程师只令人满意地完成了 3 个 - 上面提到的两个以及第三个用 Python 研究如何构建 Discord 机器人的任务。另外 3 个任务结果不确定,14 个项目彻底失败。
研究人员表示,Devin 提供了一个精致的用户体验,在正常工作时令人印象深刻。
"但问题在于 - 它很少能正常工作,"他们写道。
"更令人担忧的是我们无法预测哪些任务会成功。即使是与早期成功案例类似的任务,也会以复杂且耗时的方式失败。最初看似有前途的自主性反而成了一个负担 - Devin 会花费数天时间追求不可能的解决方案,而不是认识到根本性的障碍。"
Cognition AI 没有回应置评请求。
好文章,需要你的鼓励
一位独立创作者运用先进的人工智能工具,制作出了令人惊叹的《星球大战》短片。这部作品不仅展现了卓越的技术水平和情感深度,还引发了对好莱坞未来的思考。它展示了AI在电影制作中的巨大潜力,可能引领一个更加开放、创新的好莱坞新时代。
Priceline 任命 Sejal Amin 为首席技术官,负责产品工程、基础设施、数据和技术运营。她将推动公司采用和整合生成式和主动式 AI,助力 Priceline 成为全球最佳旅游交易商。Sejal 拥有 25 年领导全球团队和推动数字化转型的经验,将为公司带来宝贵的专业知识和创新能力。
据报道,中国数据中心运营商GDS Holdings正考虑在美国为其国际业务部门DayOne进行首次公开募股(IPO),预计融资约5亿美元。DayOne负责运营GDS在香港和东南亚的设施,可能最早于今年上市。此举引发市场关注,GDS股价在香港大涨,市值达60亿美元。
在沙特阿拉伯举办的 Leap 2025 大会上,人工智能成为焦点。会议探讨了从企业 AI 应用到智能代理开发等关键问题,同时也关注 AI 对社会的影响。专家们强调了 AI 的巨大潜力,但也警告其可能对社会结构造成威胁,呼吁积极应对 AI 带来的挑战,确保其成为促进社会发展的积极力量。