人类正在进入一个将"考验我们作为物种本质"的人工智能发展阶段,AI初创公司Anthropic的负责人表示,他认为世界需要对这些风险"保持清醒"。
热门聊天机器人Claude背后公司的联合创始人兼首席执行官达里奥·阿莫代(Dario Amodei)在一篇题为"技术的青春期"的1.9万字长文中表达了他的担忧。
在描述高度强大的AI系统可能即将到来时,他写道:"我相信我们正在进入一个既动荡又不可避免的成人礼,这将考验我们作为物种的本质。"
阿莫代补充说:"人类即将获得几乎无法想象的力量,但我们的社会、政治和技术系统是否具备运用这种力量的成熟度,这一点非常不明确。"
这位公司估值reportedly达3500亿美元(2550亿英镑)的科技企业家表示,他写这篇文章是想"让人们警醒",因为世界需要对AI安全行动的必要性"保持清醒"。
阿莫代发表这篇文章时,英国政府宣布Anthropic将帮助创建支持求职者获得职业建议和寻找就业机会的聊天机器人,这是开发公共服务AI助手的一部分。上周,该公司发布了一份80页的Claude"宪法",阐述了如何让其AI"广泛安全、广泛合乎道德"。
阿莫代于2021年与OpenAI(ChatGPT的开发商)的其他前员工共同创立了Anthropic。作为网络安全领域的重要声音,他一直警告不受约束的AI发展带来的危险。他写道,与2023年AI存在风险辩论冲上政治议程时相比,世界在2026年"将大大接近真正的危险"。
他暗指了埃隆·马斯克的Grok AI创建的性化深度伪造内容在圣诞节和新年期间充斥社交媒体平台X所引发的争议,包括该聊天机器人正在创建儿童性虐待材料的警告。
阿莫代写道:"一些AI公司对当前模型中儿童性化问题表现出令人不安的疏忽,这让我怀疑他们是否有意愿或能力解决未来模型中的自主性风险。"
这位Anthropic首席执行官表示,能够自主构建自己系统的强大AI系统可能只需要一到两年就能实现。
他将"强大AI"定义为在生物学、数学、工程学和写作等领域比诺贝尔奖获得者更聪明的模型。它可以向人类发出或接收指令,虽然它"生活"在计算机屏幕上,但它能控制机器人甚至为自己的使用设计机器人。
虽然承认强大的AI可能比两年时间框架"要远得多",但阿莫代表示应该认真对待该技术最近取得的快速进展。
"如果指数级增长持续下去——这并不确定,但现在有十年的记录支持它——那么AI在本质上一切方面都超越人类不可能超过几年时间,"他写道。
去年,阿莫代警告说,AI可能在未来五年内将入门级白领工作数量减半,并使整体失业率飙升至20%。
在他的文章中,阿莫代警告说,AI带来的经济奖励(如通过消除工作岗位获得的生产力提升)可能如此巨大,以至于没有人踩刹车。
"这就是陷阱:AI如此强大,是如此闪闪发光的奖品,人类文明很难对其施加任何约束,"他说。
然而,阿莫代表示他对积极的结论持乐观态度。"我相信如果我们果断而谨慎地行动,风险是可以克服的——我甚至会说我们的胜算很好。在它的另一边有一个更美好的世界。但我们需要理解这是一个严肃的文明挑战。"
Q&A
Q1:达里奥·阿莫代认为强大AI系统多久能实现?
A:阿莫代表示,能够自主构建自己系统的强大AI系统可能只需要一到两年就能实现。他将"强大AI"定义为在生物学、数学、工程学和写作等领域比诺贝尔奖获得者更聪明的模型。
Q2:Anthropic公司最近有哪些新动态?
A:英国政府宣布Anthropic将帮助创建支持求职者的聊天机器人,作为开发公共服务AI助手的一部分。该公司还发布了一份80页的Claude"宪法",阐述了如何让其AI"广泛安全、广泛合乎道德"。
Q3:阿莫代对AI发展前景持什么态度?
A:尽管警告风险,阿莫代对积极结论持乐观态度。他表示相信如果人类果断而谨慎地行动,风险是可以克服的,胜算很好,在挑战的另一边有一个更美好的世界,但需要理解这是一个严肃的文明挑战。
好文章,需要你的鼓励
美国连锁超市巨头Albertsons正在基于Databricks构建商品智能平台,整合产品、定价、促销与陈列等决策功能,目标是在2026年底前全面向门店运营商落地。该平台以Databricks Lakehouse存储零售数据,通过Unity Catalog与AI Gateway实现数据治理,并借助AI智能体Genie支持自然语言查询,帮助商家洞察销售趋势,提升决策效率。此举是Albertsons今年四项AI核心战略投资之一。
阿里Qwen团队通过引入强化学习和在线策略蒸馏,将Qwen-Image-2.0升级为Qwen-Image-2.0-RL,让图像生成模型真正学会人类审美,文生图Elo评分提升78分,图像编辑提升93分。
微软正将Windows 11打造成真正的AI操作系统。在Build大会上,微软展示了AI模型与智能代理如何深度融合进Windows 11,让用户通过自然语言完成系统操作。借助Windows ML框架,超过5亿台PC已可在本地离线运行AI任务,无需联网、无token费用、数据不离设备。Office、Photos、Teams等应用已支持本地AI能力,Adobe、WhatsApp、Canva等第三方也在积极跟进,企业级AI PC采购需求有望加速。
港科大与快手联合提出NormGuard,针对流匹配模型强化学习训练中速度范数膨胀问题,通过训练时单向惩罚约束,在保留奖励的同时改善图像真实感。