开发AI模型的成本远超你的想象。AI研究公司Epoch AI详细分析了构建新AI模型的所有成本构成,并解释了为什么AI公司如此担心其知识产权面临的潜在威胁。
Epoch AI此前就曾研究过这个问题。去年,该公司估算在OpenAI的50亿美元研发支出中,仅约10%用于最终训练运行,而大部分资金投入到了模型扩展、合成数据生成和基础研究中。
当时,Epoch AI不确定这是否是OpenAI的特殊情况,但现在两家中国公司MiniMax和Z.ai也公开了其研发计算支出。Epoch AI发现,尽管公司规模存在差异,但最终训练运行在这些中国公司的研发支出中也只占很小一部分。
Epoch AI进一步详细阐述了这个问题。该公司表示,如果"大部分支出用于探索而非执行,那么从前沿技术中学习有效方法的竞争对手可以用原始成本的一小部分复制出相同结果。"
这一直是美国AI公司关注的问题。谷歌已经对知识产权盗窃表达了担忧。Anthropic公司更是直接指出MiniMax试图提取Claude的能力来增强自己的产品。显而易见,任何希望开发AI模型的企业都将承诺投入巨额资金,而训练只是其中的一小部分。
Q&A
Q1:AI模型开发的成本主要花在哪些方面?
A:根据Epoch AI的研究,AI模型开发成本中仅约10%用于最终训练运行,大部分资金投入到模型扩展、合成数据生成和基础研究等探索性工作中。
Q2:为什么AI公司担心知识产权被盗用?
A:因为大部分支出用于探索研究,如果竞争对手学习到有效方法,就可以用原始成本的一小部分复制出相同结果,这对投入巨额研发资金的公司构成威胁。
Q3:哪些公司在AI模型开发上有巨额投入?
A:OpenAI在研发上投入了50亿美元,中国的MiniMax和Z.ai也有大量研发计算支出,这些公司的成本结构都显示最终训练只占总成本的一小部分。
好文章,需要你的鼓励
市场研究公司Klue本月初遭黑客入侵,大量客户数据被窃。Klue表示正与黑客组织Icarus沟通,并相信对方正在删除所盗数据。受影响客户包括Gong、LastPass、HackerOne等多家知名企业。然而事态趋于复杂——另一黑客团伙声称从Icarus处获取了Klue客户数据,并向客户发出勒索威胁。Klue提醒客户勿向第二方支付赎金,并建议索取数据样本以核实其真实性。
KAIST等机构提出3D HAMSTER,通过为视觉语言模型加入深度编码器和几何重建损失,让机器人规划器直接输出三维轨迹,解决了分层机器人系统中规划与执行的维度不匹配问题,显著提升了操作鲁棒性。
苹果公司对OpenAI提起诉讼,指控其窃取商业机密。据披露,前苹果系统电气工程师刘畅(Chang Liu)在离职加入OpenAI后,利用一个此前未知的身份验证零日漏洞,持续数周从苹果内部网络存储中下载大量机密文件,内容涵盖未发布产品信息、工程演示文稿及技术规格等。苹果已修复该漏洞并终止相关访问权限。此案已提交加州北区联邦法院,并要求陪审团审判。
南京大学提出Light-Omni框架,通过全局状态与潜在状态双机制,让AI视频助理无需反复推理即可实现精准记忆检索,速度提升逾12倍,准确率同步提高。