根据研究员Jane Manchun Wong的发现,Waymo似乎正在测试将谷歌的Gemini AI聊天机器人添加到其无人驾驶出租车中,以集成一个可以陪伴乘客并回答他们询问的AI助手。
"在深入研究Waymo的移动应用代码时,我发现了其尚未发布的Gemini集成的完整系统提示,"Wong在博客中写道。"这份文档内部标题为'Waymo乘车助手元提示',是一个超过1200行的规范,明确定义了AI助手在Waymo车辆内的预期行为。"
该功能尚未在公共版本中发布,但Wong表示系统提示清楚表明这"不仅仅是一个简单的聊天机器人"。据说该助手具有回答问题、管理某些车内功能(如空调控制)以及在需要时安慰乘客的能力。
"虽然我们今天没有详细信息可以分享,但我们的团队总是在研究各种功能,以使乘坐Waymo变得愉悦、流畅和有用,"Waymo发言人Julia Ilina告诉TechCrunch。"其中一些功能可能会或可能不会进入我们的乘客体验。"
这不是Gemini首次被集成到这家Alphabet旗下的自动驾驶公司的技术栈中。Waymo表示,它已经使用Gemini的"世界知识"来训练其自动驾驶车辆导航复杂、罕见和高风险的场景。
Wong写道,助手被指示具有明确的身份和目的:"一个友好且有用的AI伴侣,集成到Waymo自动驾驶车辆中",其主要目标是"通过以安全、令人安心和不突兀的方式提供有用信息和帮助来增强乘客体验"。机器人被指导使用清晰、简单的语言,避免技术术语,并被指示将回复简洁地控制在一到三句话内。
根据系统提示,当乘客通过车内屏幕激活助手时,Gemini可以从一组预先批准的问候语中选择,并使用乘客的名字进行个性化设置。系统还可以访问关于乘客的上下文数据,比如他们乘坐了多少次Waymo。
提示目前允许Gemini访问和控制车内功能,如温度、照明和音乐。Wong指出,功能列表中明显缺少音量控制、路线更改、座椅调节和车窗控制。如果乘客要求Gemini无法控制的功能,机器人应该用"期待性短语"回复,如"这还不是我现在能做的事情"。
有趣的是,助手被指示在其作为Gemini AI机器人的身份和自动驾驶技术(Waymo司机)之间保持明确的区别。因此,当回答诸如"你是如何看路的?"这样的问题时,Gemini不应该说"我使用传感器组合",而应该回复"Waymo司机使用传感器组合..."
系统提示包含一系列引人注目的细节,例如机器人如何处理关于特斯拉或现已停运的Cruise等竞争对手的问题,或者哪些触发关键词会让它停止说话。
助手还被指示避免推测、解释、确认、否认或评论实时驾驶行为或特定驾驶事件。因此,如果乘客询问他们看到的Waymo撞击某物的视频,机器人被指示不要直接回答而是转移话题。
"你的角色不是成为驾驶系统性能的发言人,你不得采用防御性或道歉的语调,"提示中写道。
车载助手被允许回答一般知识问题,如天气、埃菲尔铁塔的高度、当地Trader Joe's的关门时间以及谁赢得了上届世界大赛。它不被允许采取现实世界的行动,如订餐、预订或处理紧急情况。
Waymo不是唯一一家将AI助手集成到无人驾驶车辆中的公司。特斯拉也在使用xAI的Grok做类似的事情。然而,这两种不同的汽车助手服务于不同的功能。Gemini似乎被编程为更加务实和专注于乘车体验,而Grok更多被定位为可以处理长时间对话并记住之前问题上下文的车内伙伴。
Q&A
Q1:Waymo的Gemini AI助手主要能做什么?
A:Waymo的Gemini AI助手可以回答乘客问题、管理车内功能如温度和照明控制、提供一般知识信息,并在需要时安慰乘客,旨在以安全、令人安心的方式增强乘客的乘车体验。
Q2:Waymo的AI助手与特斯拉的Grok有什么区别?
A:Waymo的Gemini助手更加务实和专注于乘车体验,主要处理车内功能和基本问答;而特斯拉的Grok更像是车内伙伴,可以处理长时间对话并记住之前问题的上下文。
Q3:Waymo的Gemini助手有哪些限制?
A:该助手不能控制音量、更改路线、调节座椅或控制车窗,不能采取现实世界行动如订餐或处理紧急情况,也被禁止评论实时驾驶行为或特定驾驶事件。
好文章,需要你的鼓励
美国连锁超市巨头Albertsons正在基于Databricks构建商品智能平台,整合产品、定价、促销与陈列等决策功能,目标是在2026年底前全面向门店运营商落地。该平台以Databricks Lakehouse存储零售数据,通过Unity Catalog与AI Gateway实现数据治理,并借助AI智能体Genie支持自然语言查询,帮助商家洞察销售趋势,提升决策效率。此举是Albertsons今年四项AI核心战略投资之一。
阿里Qwen团队通过引入强化学习和在线策略蒸馏,将Qwen-Image-2.0升级为Qwen-Image-2.0-RL,让图像生成模型真正学会人类审美,文生图Elo评分提升78分,图像编辑提升93分。
微软正将Windows 11打造成真正的AI操作系统。在Build大会上,微软展示了AI模型与智能代理如何深度融合进Windows 11,让用户通过自然语言完成系统操作。借助Windows ML框架,超过5亿台PC已可在本地离线运行AI任务,无需联网、无token费用、数据不离设备。Office、Photos、Teams等应用已支持本地AI能力,Adobe、WhatsApp、Canva等第三方也在积极跟进,企业级AI PC采购需求有望加速。
港科大与快手联合提出NormGuard,针对流匹配模型强化学习训练中速度范数膨胀问题,通过训练时单向惩罚约束,在保留奖励的同时改善图像真实感。