昨天有新闻爆出,Micron Technology 正在推动一项新的业务焦点——“云内存业务部”,该部门将打造一种称为 HBM 芯片(高带宽内存芯片)的产品。
HBM 芯片是一种 3-D 堆叠的 SDRAM 微处理器,传统上用于高性能硬件配置。在模型设计领域,我们看到大语言模型获得了更多内存容量,并且能够更充分地利用存储在内存中的上下文数据。
所以,发生这场硬件革命是合乎逻辑的。更有意思的是,参与者究竟有哪些。
HBM 市场
业内人士指出,Micron 是全球领先的 HBM 芯片供应商之一,而 Samsung 与 SK Hynix 也是主要玩家。
那么,究竟是谁在制造这些芯片?
以 Samsung 为例。业内消息显示,Samsung 正在与其竞争对手代工伙伴 TSMC 合作,共同开发 HBM 芯片。
我们已经多次看到,TSMC 作为代工厂在市场中占据主导地位。其他公司利用 TSMC 提供的原始制造能力,并在 TSMC 产能基础上发展各自的方案。这反过来引发了从汽车芯片短缺,到近期与出口管制相关的一些棘手地缘政治问题。看起来,如果全球有十几家代工厂,世界局势可能会好很多。
不过,在制造这些高设计芯片的过程中,Samsung 和 TSMC 是否在与 Nvidia 进行竞争?
其实并非如此。
其他业内报道显示,Nvidia 原本计划从 Samsung 采购这些芯片,但供应商未能达到 Nvidia 的要求。
3 月 20 日的一份新闻稿中,Nvidia CEO Jensen Huang 表示,Samsung “有着举足轻重的作用”,但同时提到该公司尚未正式采购 Samsung 的 HBM3E 芯片。
HBM 芯片:内部构造
首先,HBM 芯片是一种 3-D 堆叠的 DRAM 芯片。
该内存单元紧邻 CPU 或 GPU 放置,以克服延迟问题,并实现低功耗下的高带宽。
我向 ChatGPT 进一步询问了这些芯片的规格,它给出了以下信息:
带宽:每个堆叠 819 GB 每秒
速度:每个引脚 6.4 GB
容量:每个堆叠最高可达 64 GB
散热:更高效能
应用场景:人工智能、HPC、GPU (在此语境下,我们主要讨论的是用于 AI 应用)
ChatGPT 还提供了一张有趣的图示,将 HBM 的构造与一种称为 GDDR6 的游戏芯片进行了对比,后者价格更低且更广泛可用。
你可以从这类公开资源中获得更多信息,了解 HBM 如何按照特定需求进行工程设计。
市场影响
让我们简要看一下这一科技市场的角落,为企业高管或其他关心此领域的人提供一些背景信息。
首先,Nvidia 在过去一年内从历史高点下跌约 40%,最近的交易周期中股价一直徘徊在 100 美元左右,这在表面上归因于美国的出口管制。Huang 及其团队宣称,Nvidia 将因新规定损失 55 亿美元,这一说法近期引起了广泛关注。接着是 Micron,目前股价约 70 美元,约为历史高点的一半,自冬季以来大幅回落。至于 Samsung,其股票在短时间内下跌了约 8%。AMD 等公司同样表现不佳。
正如 AJ Bell 投资总监 Russ Mould 所言(由 Elsa Ohlen 为 Barron’s 报道),“来自 AI 芯片冠军 Nvidia 的警告称,由于美国对向中国出口管制的收紧,公司将面临 55 亿美元的损失,这标志着华盛顿和北京之间不断升级的针锋相对进入了新篇章。”
这就是当前一些引人注目的全新硬件发展动态。从大语言模型的角度来看,背景则是具备持久记忆功能的模型进步。比如,我曾谈论过使用 Sesame 的 AI 聊天伙伴,并观察到“ Maya”似乎在好日子里能记住我作为回访用户的名字。连同链式思维,记忆能力正为我们那些充满活力、备受期待的神经网络朋友和邻居打造更多可能性。
好文章,需要你的鼓励
法国AI初创公司Mistral AI发布了首个大语言模型全面生命周期评估,量化了AI的环境代价。其Mistral Large 2模型训练产生20,400吨二氧化碳当量,消耗281,000立方米水。运营阶段占环境影响85%,远超硬件制造成本。研究表明地理位置和模型大小显著影响碳足迹,企业可通过选择适当规模模型、批处理技术和清洁能源部署来减少环境影响。这一透明度为企业AI采购决策提供了新的评估标准。
上海AI实验库推出YUME系统,用户只需输入一张图片就能创建可键盘控制的虚拟世界。该系统采用创新的运动量化技术,将复杂的三维控制简化为WASD键操作,并通过智能记忆机制实现无限长度的世界探索。系统具备强大的跨风格适应能力,不仅能处理真实场景,还能重现动漫、游戏等各种艺术风格的虚拟世界,为虚拟现实和交互娱乐领域提供了全新的技术路径。
许多人认为一旦实现通用人工智能(AGI)和人工智能超级智能(ASI),这些高度先进的AI将能够告诉我们人生的真正意义。然而,巅峰AI可能无法明确回答这个史诗般的问题。即使AI拥有人类所有知识,也不意味着能从中找到生命意义的答案。AI可能会选择提供多种可能性而非绝对答案,以避免分裂人类社会。
上海AI实验室研究团队开发了革命性的AI编程验证方法,让大语言模型能够在最小人工干预下自动生成和验证程序规范。该方法摒弃传统的人工标注训练,采用强化学习让模型在形式化语言空间中自主探索,在Dafny编程验证任务上显著超越现有方法,为AI自主学习开辟新道路。