"嘿!我在这里聊天呢!"虚假信息让纽约市AI机器人走向末路。一个由微软提供技术支持的聊天机器人原本是为了帮助企业主回答常见问题而推出,但由于经常提供错误答案,现已被关停。此举正值纽约市面临120亿美元预算缺口之际。
市长佐赫兰·马姆达尼表示,虽然节省的资金只是预算所需的一小部分,但这象征着前任政府如何花费纳税人的钱。
"前任政府有一个基本无法使用的AI聊天机器人,每年花费政府大约50万美元,"马姆达尼在周三的新闻发布会上说道。"这本身并不能填补预算缺口,但它表明了在拒绝考虑这些项目实际成本的情况下,资金是如何被花费的。"
这个聊天机器人于2023年10月作为时任市长埃里克·亚当斯的"纽约市人工智能行动计划"的一部分而宣布推出。它旨在为企业主和创业者提供来自超过2000个纽约市商业网页和文章的可操作且可信的信息,涵盖法规合规、可用的商业激励措施,以及避免违规和罚款的最佳实践等主题。
"纽约市的企业和有抱负的创业者将首次能够向AI驱动的聊天机器人提出问题,而不必逐页浏览网页,陷入关于如何开办企业、如何经营企业、如何回答基本问题的不确定性黑洞,"亚当斯在宣布时说道。"那些都已经成为过去。AI生成的答案就在我们面前。"
然而,当地新闻媒体The Markup对该机器人进行测试时发现,它给询问者提供了错误答案,告诉潜在房东他们不必接受住房补助的租户,并且可以随意设定高租金。
它表示企业可以无现金运营,尽管市议会在2020年通过了一项要求企业接受现金的措施。它还说企业可以拿走员工的小费并隐瞒一些殡葬费用是可以的。
虽然市政府在2023年确实表示该机器人可能会出现幻觉,但新政府将发现这个问题机器人的功劳归于该新闻媒体。The Register在周五下午联系微软征求评论,但没有立即收到回复。
纽约的这个机器人并不是第一个出现问题的。
加拿大航空使用了一个AI驱动的聊天机器人,给出了关于折扣的错误建议,而其他聊天机器人则被指控参与了对儿童的伤害,包括自杀。
加拿大一个法庭裁定,加拿大航空必须对其机器人所说的话负责。本月早些时候,谷歌和Character AI同意和解佛罗里达州、科罗拉多州、纽约州和德克萨斯州家庭提起的诉讼,这些家庭的孩子在与那些机器人互动后死亡或受到伤害。
Q&A
Q1:纽约市为什么要关停这个AI聊天机器人?
A:因为这个由微软技术支持的聊天机器人经常提供错误信息,比如告诉房东可以拒绝接受住房补助的租户、可以随意设定高租金等违反法律的建议,而且每年花费政府约50万美元,在预算紧张的情况下被认为是资金浪费。
Q2:这个AI聊天机器人最初设计用来做什么?
A:该聊天机器人于2023年10月推出,旨在帮助企业主和创业者获取来自超过2000个纽约市商业网页的信息,包括法规合规、商业激励措施以及避免违规罚款的最佳实践,让用户不必逐页浏览网页寻找答案。
Q3:AI聊天机器人提供错误信息是普遍问题吗?
A:是的,除了纽约市的机器人,加拿大航空的AI聊天机器人也曾给出错误的折扣建议,其他聊天机器人甚至被指控参与了对儿童的伤害。加拿大法庭还裁定航空公司必须对其机器人的错误信息负责。
好文章,需要你的鼓励
企业谈AI基础设施时,注意力往往首先集中在模型、GPU和算力集群上。但当大模型应用走向规模化推理,一个瓶颈开始浮现:算力采购完成,并不意味着Token能够被稳定、低成本、可控地交付出去。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。