Kneron发布新一代AI芯片，让大语言模型脱离云端运行于本地设备

总部位于圣地亚哥的初创公司Kneron今天宣布推出其下一代KL1140芯片，这是一家专注于边缘神经处理单元的人工智能公司。

成立于2015年的Kneron是边缘AI领域的领导者，专门设计可重构芯片和软件，以便在设备上直接处理大语言模型和AI算法，而不需要依赖云端。

创始人兼首席执行官Albert Liu表示："KL1140是我们对仅在云端扩展大语言模型挑战的回应。通过在边缘运行先进模型，我们实现了一个技术里程碑，为日常设备开辟了全新的应用可能，将大语言模型的力量直接交到用户手中。"

据该公司介绍，KL1140是首款能够在边缘运行完整Transformer网络的神经处理单元芯片。这一能力将完整的大语言模型从云数据中心带到了便携的、本地可控的设备中。四个芯片协同工作，可以提供类似图形处理单元的性能，运行高达1200亿参数的模型。

Kneron表示，相同配置下的功耗仅为现有云解决方案的三分之一到二分之一，硬件成本可降低多达十倍。

大语言模型传统上需要大量计算资源和持续的网络连接，这将它们限制在云数据中心。边缘神经处理单元的重要性在于它们使这些模型在消费者和企业设备上既实用又私密。通过在本地执行推理，神经处理单元减少了延迟，降低了云成本，消除了发送敏感数据到设备外的需求，并允许AI功能即使在没有互联网连接的情况下也能工作。

KL1140设计用于支持实时自然语言处理、语音界面、智能视觉、机器人技术等应用。开发者可以使用该芯片在本地安全地部署AI应用程序，无需将处理工作卸载到云端。

本地AI的实际应用案例

例如，公司可以构建一个理解自然语言命令的安全系统，监控和观看视频流并报告复杂情况。在汽车领域，它可以用于在车内完全运行复杂的AI模型进行语音命令和决策制定。

私人企业可以将其AI处理需求卸载到办公室的小型边缘服务器上，从而完全避免向企业防火墙外发送信息可能带来的安全漏洞。

Liu表示："KL1140的到来不仅仅是另一次芯片发布，它是通往实用、高性能和可持续AI之路的转折点。"

Kneron进入了竞争日趋激烈的边缘AI加速器市场，多家知名厂商正竞相支持在设备上运行更大更强的模型。

高通和联发科都推进了其移动神经处理单元，提供高速和改进的Transformer加速。苹果继续在iPhone、iPad和Mac产品线中扩展其神经引擎。谷歌的边缘张量处理单元专注于视觉和轻量级模型。Hailo Technologies和Mythic等初创公司正在以定制模拟或专业数字架构瞄准低功耗嵌入式系统。

很少有竞争对手直接声称能够在边缘运行完整的Transformer网络或大语言模型规模的工作负载。通过将KL1140定位为能够进行多芯片扩展和千亿级参数推理，Kneron试图在移动神经处理单元和数据中心图形处理单元之间开辟独特的市场定位。

Kneron迄今已融资超过2亿美元，包括2023年来自富士康等投资者的4900万美元融资轮。

该公司已迅速从边缘芯片设计商演变为全栈解决方案和AI基础设施提供商。现在为医院、大学和政府机构提供本地AI能力，特别是那些需要严格隐私或法规合规的机构。

公司目前正在扩展其边缘AI生态系统，最近推出了KNEO Pi开发者平台，声称在全球拥有超过28000名开发者。

Q&A

Q1：KL1140芯片有什么独特之处？

A：KL1140是首款能够在边缘运行完整Transformer网络的神经处理单元芯片，可以将大语言模型从云数据中心带到本地设备中，四个芯片协同工作可运行高达1200亿参数的模型。

Q2：边缘AI相比云端AI有什么优势？

A：边缘AI通过在本地执行推理，能够减少延迟、降低云成本、消除发送敏感数据到设备外的需求，并允许AI功能在没有互联网连接时也能正常工作，同时功耗和硬件成本都大幅降低。

Q3：KL1140芯片可以应用在哪些场景？

A：KL1140支持实时自然语言处理、语音界面、智能视觉、机器人技术等，可用于安全系统、汽车语音决策、企业办公等场景，特别适合需要隐私保护或法规合规的机构使用。