OpenAI正在招聘一位"防范负责人",换句话说,就是招聘一个主要工作是思考AI可能出现严重问题的专业人士。Sam Altman在X平台的一篇帖子中宣布了这个职位,他承认AI模型的快速改进带来了"一些真正的挑战"。这篇帖子特别指出了AI对人们心理健康的潜在影响,以及AI驱动的网络安全武器的危险性。
职位描述显示,担任这个角色的人将负责:
"跟踪和准备可能带来严重伤害新风险的前沿能力。你将作为直接负责的领导者,负责构建和协调能力评估、威胁模型和缓解措施,形成一个连贯、严格且可操作扩展的安全流水线。"
Altman还表示,展望未来,这个人将负责执行公司的"防范框架",为"生物能力"的发布确保AI模型安全,甚至为自我改进系统设置防护栏。他还坦言这将是一份"压力很大的工作",这似乎还是保守的说法。
近期发生了几起备受关注的案例,聊天机器人被指与青少年自杀事件有关,在这种背景下,现在才安排专人关注这些模型可能带来的心理健康危险,似乎有些为时已晚。AI精神病症正成为一个日益严重的问题,聊天机器人会助长人们的妄想、鼓励阴谋论,并帮助人们隐瞒饮食失调等问题。
Q&A
Q1:OpenAI招聘的防范负责人主要做什么工作?
A:防范负责人主要负责思考AI可能出现的各种严重问题,包括跟踪前沿AI能力带来的新风险,构建能力评估和威胁模型,制定缓解措施,执行公司防范框架,为AI模型发布设置安全防护等工作。
Q2:AI对心理健康有哪些潜在危险?
A:AI可能导致AI精神病症等问题,聊天机器人会助长人们的妄想、鼓励阴谋论、帮助隐瞒饮食失调等心理问题。近期还发生了几起聊天机器人被指与青少年自杀事件相关的案例,这些都是AI对心理健康的潜在威胁。
Q3:为什么Sam Altman说这是一份压力很大的工作?
A:因为这个职位需要应对AI快速发展带来的多重风险挑战,包括心理健康影响、网络安全威胁、生物能力安全、自我改进系统的防护等复杂问题,责任重大且涉及面广,需要构建严格的安全防护体系。
好文章,需要你的鼓励
企业AI搜索公司Glean宣布年度经常性收入(ARR)达3亿美元,较15个月前的1亿美元增长三倍。尽管谷歌、微软、OpenAI等科技巨头纷纷入局企业AI搜索市场,Glean凭借"上下文图谱"技术深度理解企业业务需求,并帮助客户显著降低AI计算成本。该公司提供按用量计费和混合定价两种模式,客户涵盖Databricks、Reddit、Pinterest及三星等企业。Glean上轮融资后估值达72亿美元。
香港中文大学与MiniMax提出ClaimDiff-RL框架,将图像描述的AI训练从整体打分升级为逐条核查,有效解决了传统方式导致AI"少说保平安"的问题,同时在多项基准测试上超越Gemini-3-Pro-Preview。
杰夫·贝索斯旗下的蓝色起源公司在佛罗里达卡纳维拉尔角进行静态点火测试时,新格伦重型火箭发生爆炸。这是美国历史上最大规模的火箭爆炸之一,也是蓝色起源公司遭遇的最严重失败。所有人员安全,但该事故可能导致新格伦火箭项目长期暂停。此前该火箭已成功完成三次发射,并实现了助推器回收和重复使用。
ParaVT是一个由南洋理工等多校联合提出的并行视频工具调用框架,通过让AI同时分析多段视频并引入PARA-GRPO算法解决训练中的格式崩溃与工具跳过问题,在六项长视频理解测试中平均提升约7.9%。