非传统AI公司(Unconventional AI Inc.)开发了一种人工智能架构,有望大幅提升图像生成模型的能耗效率。
这项技术是其最新神经网络系列Un-0的核心基础,该系列已于近日正式发布。
非传统AI公司由首席执行官纳文·拉奥(Naveen Rao)领导,他曾担任英特尔AI平台部门的企业副总裁。去年12月,该公司完成了4.75亿美元融资,投资方包括亚马逊创始人杰夫·贝索斯在内的多家机构。公司致力于研发能够以远低于现有显卡能耗运行AI模型的芯片。
并非所有处理器都基于标准硅晶体管。目前已有多家初创公司正在开发所谓的"内存计算"设备,这类设备融合了晶体管与电容器——一种微型储能元件。量子处理器则通常以蓝宝石等材料替代硅材料。
Un-0模型系列是非传统AI公司探索更高效AI芯片架构的重要组成部分。据该公司介绍,Un-0并非针对标准晶体管电路进行优化,而是专为振荡器设计。振荡器是一种能够以固定时间间隔发出电脉冲等信号的装置。
非传统AI公司表示,大量微型振荡器可组合构成一个机器学习加速器。半导体行业早已大批量生产此类元件,因为中央处理器等芯片中广泛使用振荡器——CPU正是依靠振荡器来控制其他电路执行计算的节奏。
Un-0目前并未运行在实体振荡器芯片上,而是通过数千个模拟振荡器来生成图像。这些振荡器相互连接,意味着一个虚拟设备产生的信号会影响其他设备的输出,反之亦然。
Un-0系列共包含六个模型,在规模与输出质量上各有差异。最小的模型包含1024个虚拟振荡器,最大的则拥有16384个。非传统AI公司使用CIFAR-10和ImageNet-64两个开源数据集对模型进行了训练,这两个数据集均包含大量经过机器学习优化的图像。
训练过程与标准AI项目有所不同。通常情况下,开发者会通过优化权重等AI模型组件来完成训练。而非传统AI公司则通过调整Un-0各模拟振荡器之间的相互影响方式,以及它们生成信号的频率来完成训练。
在图像生成流程上,标准AI模型通常从一张含有随机噪声的图像出发,Un-0同样如此,但后续步骤有所不同。首先,一小组振荡器会生成一条指令,告知模型应创建何种类型的图像;该指令随后驱动Un-0中的其他振荡器相互作用。非传统AI公司表示,这些交互过程会产生一系列数字,最终组合生成图像。
该公司通过一系列基准测试对Un-0的输出质量进行了评估,结果显示,该模型能够达到"主流传统图像生成方法在首次发布时的质量水平"。为此,非传统AI公司认为,未来的技术进步有望显著提升AI应用的能耗效率。
Q&A
Q1:Un-0模型系列是什么?它是如何生成图像的?
A:Un-0是非传统AI公司开发的一系列神经网络模型,专为振荡器架构优化设计。它通过数千个相互连接的模拟振荡器来生成图像:首先由一小组振荡器生成指令,告知模型需要创建的图像类型,随后其余振荡器相互作用,产生一系列数字并最终组合成图像。该系列共六个模型,虚拟振荡器数量从1024到16384不等。
Q2:Un-0模型的训练方式与传统AI模型有什么不同?
A:传统AI模型的训练主要通过优化权重等模型组件来完成,而Un-0的训练则采用了完全不同的方式。非传统AI公司调整的是模拟振荡器之间相互影响的方式以及它们生成信号的频率,而非直接优化权重。训练数据使用了CIFAR-10和ImageNet-64两个开源图像数据集。
Q3:振荡器架构相比传统GPU架构有什么优势?
A:振荡器架构的核心优势在于能耗效率。非传统AI公司的目标是开发能以远低于现有显卡能耗运行AI模型的芯片。由于振荡器已在CPU等芯片中大量量产,其在半导体行业的技术成熟度较高。基准测试显示,Un-0的输出质量可达传统图像生成方法首次发布时的水平,公司认为未来有望进一步提升AI应用的整体能效表现。
好文章,需要你的鼓励
牛津大学提出PHYSIFORMER,一种扩散变换器模型,通过三维网格顶点轨迹直接在世界坐标空间预测刚性与弹性物体的物理运动,一次性生成全序列轨迹,超越自回归基线。
随着医疗数据数字化与互操作性的进步,跨机构纵向患者数据的研究应用成为可能。本研究通过对20位领域专家的访谈,识别出8种数据收集方法,涵盖智能手机应用、结构化数据导出、区域/全国研究查询及聚合数据源等。研究发现,各方法均有其优缺点,无单一最优方案。参与者中介交换方式可绕过复杂治理安排,但存在数据缺口;全国性网络尚不支持研究查询。公共政策的持续推进将对该领域发展起关键作用。
研究发现主流奖励模型对同等质量答案给出差异悬殊的分数,并提出"奖励聚类"算法通过蒙特卡洛随机失活将连续分数离散化,在不重训模型的前提下有效减少AI训练中的奖励作弊现象。