如今,几乎所有前沿的 AI 产品和模型都采用 Transformer 架构。像 GPT-4、LLaMA、Gemini 和 Claude 等大语言模型都基于 Transformer,其他 AI 应用如文本转语音、自动语音识别、图像生成和文本转视频模型的底层技术也都是 Transformer。
随着 AI 热潮持续升温,是时候深入了解 Transformer 了。本文将解释它的工作原理、为什么对可扩展解决方案的发展如此重要,以及为什么它是大语言模型的支柱。
Transformer 不只是表面那么简单
简而言之,Transformer 是一种专门用于建模数据序列的神经网络架构,非常适合语言翻译、句子补全、自动语音识别等任务。Transformer 之所以成为序列建模任务的主导架构,是因为其底层的注意力机制可以轻松实现并行化,从而在训练和推理时实现大规模扩展。
Transformer 最初由 Google 研究人员在 2017 年的论文《Attention Is All You Need》中提出,作为一种专门用于语言翻译的编码器-解码器架构。次年,Google 发布了双向编码器表示 (BERT),这可以被视为最早的大语言模型之一——尽管按今天的标准来看规模较小。
自那时起——特别是在 OpenAI 的 GPT 模型问世后——训练更大模型的趋势加速发展,使用更多数据、更多参数和更长的上下文窗口。
为推动这一发展,出现了许多创新:更先进的 GPU 硬件和更好的多 GPU 训练软件;量化和专家混合 (MoE) 等降低内存消耗的技术;Shampoo 和 AdamW 等新型训练优化器;FlashAttention 和 KV Caching 等高效计算注意力的技术。这种趋势很可能在可预见的未来继续下去。
Transformer 中自注意力机制的重要性
根据应用场景的不同,Transformer 模型采用编码器-解码器架构。编码器组件学习数据的向量表示,可用于分类和情感分析等下游任务。解码器组件接收文本或图像的向量或潜在表示,用于生成新文本,适用于句子补全和摘要等任务。因此,许多熟知的最先进模型,如 GPT 系列,都只使用解码器。
编码器-解码器模型结合了这两个组件,使其适用于翻译和其他序列到序列的任务。对于编码器和解码器架构而言,核心组件是注意力层,因为它允许模型保留文本中较早出现的词语的上下文。
注意力机制有两种:自注意力和交叉注意力。自注意力用于捕捉同一序列中词语之间的关系,而交叉注意力用于捕捉两个不同序列之间词语的关系。交叉注意力在模型中连接编码器和解码器组件,在翻译过程中,例如,它允许英语单词"strawberry"与法语单词"fraise"建立联系。从数学角度看,自注意力和交叉注意力都是矩阵乘法的不同形式,可以通过 GPU 高效完成。
由于注意力层的存在,Transformer 可以更好地捕捉相距较远的词语之间的关系,而之前的模型如循环神经网络 (RNN) 和长短期记忆 (LSTM) 模型则会丢失文本前面的词语上下文。
模型的未来发展
目前,Transformer 是许多需要大语言模型的用例的主导架构,并且受益于最多的研究和开发。虽然这种情况短期内似乎不会改变,但最近一类引起关注的不同模型是状态空间模型 (SSMs),如 Mamba。这种高效算法可以处理非常长的数据序列,而 Transformer 则受限于上下文窗口。
对我来说,Transformer 模型最令人兴奋的应用是多模态模型。例如,OpenAI 的 GPT-4 能够处理文本、音频和图像,其他提供商也开始跟进。多模态应用非常多样化,涵盖视频字幕、声音克隆、图像分割等领域。它们还为残障人士提供了使 AI 更易接触的机会。例如,视障人士可以通过多模态应用的语音和音频组件进行交互。
这是一个充满机遇的领域,有望发现新的用例。但请记住,至少在可预见的未来,这些应用主要还是基于 Transformer 架构。
好文章,需要你的鼓励
数据分析平台公司Databricks完成10亿美元K轮融资,公司估值超过1000亿美元,累计融资总额超过200亿美元。公司第二季度收入运营率达到40亿美元,同比增长50%,AI产品收入运营率超过10亿美元。超过650家客户年消费超过100万美元,净收入留存率超过140%。资金将用于扩展Agent Bricks和Lakebase业务及全球扩张。
Meta与特拉维夫大学联合研发的VideoJAM技术,通过让AI同时学习外观和运动信息,显著解决了当前视频生成模型中动作不连贯、违反物理定律的核心问题。该技术仅需添加两个线性层就能大幅提升运动质量,在多项测试中超越包括Sora在内的商业模型,为AI视频生成的实用化应用奠定了重要基础。
医疗信息管理平台Predoc宣布获得3000万美元新融资,用于扩大运营规模并在肿瘤科、研究网络和虚拟医疗提供商中推广应用。该公司成立于2022年,利用人工智能技术提供端到端平台服务,自动化病历检索并整合为可操作的临床洞察。平台可实现病历检索速度提升75%,临床审查时间减少70%,旨在增强而非替代临床判断。
上海AI实验室发布OmniAlign-V研究,首次系统性解决多模态大语言模型人性化对话问题。该研究创建了包含20万高质量样本的训练数据集和MM-AlignBench评测基准,通过创新的数据生成和质量管控方法,让AI在保持技术能力的同时显著提升人性化交互水平,为AI价值观对齐提供了可行技术路径。