除发布Google AI Edge Gallery(允许用户在Mac上本地运行Gemma模型)外,谷歌还同步推出了Gemma 4 12B模型以及适用于Mac的Google AI Edge Eloquent听写应用程序。
日常使用大语言模型的用户,大多依赖ChatGPT、Claude或Gemini等云端模型,这些模型分别运行在OpenAI、Anthropic和谷歌的服务器上。
与此同时,另一种与大语言模型交互的方式是通过本地模型。本地模型通常比云端运行的万亿参数模型更小、能力更弱,但也具备多项独特优势。
首先,能力不及云端模型并不代表本地模型表现差。其次,本地模型无需联网,完全依靠计算机自身的处理能力运行。此外,设备性能越强,模型响应速度越快,所能承载的模型规模也越大。最重要的是,由于所有数据均在本地处理,无需离开设备,本地模型在隐私保护方面也更具优势。
在Mac上安装本地模型有多种途径,此前当OpenAI发布开源模型时我们曾做过介绍。简而言之,用户需要安装Ollama或LM Studio等平台,再选择适配Mac硬件的模型进行安装。
Hugging Face提供数千个开源模型供用户选择,其中包括来自顶尖实验室的模型。Ollama和LM Studio等平台也支持用户直接从平台内安装这些模型。
这正是谷歌AI本地运行平台Google AI Edge Gallery的定位所在。谷歌此前已为Android和iOS用户提供了该应用,此次正式推出macOS版本。
值得注意的是,与Ollama和LM Studio支持用户安装任意兼容硬件的AI模型不同,目前Mac版Google AI Edge Gallery仅提供谷歌自家的5个模型,其中"it"代表"instruct"(指令微调),意味着这些模型经过调整,能够遵循用户指令,而不仅仅是完成文本续写。
其中最值得关注的是列表首位的Gemma 4 12B,该模型于今日正式发布。谷歌表示,它"专为将智能体、多模态能力直接带到笔记本电脑而设计"。
目前顶尖AI实验室面向消费者的本地模型参数量通常在20亿至90亿之间,而谷歌称Gemma 4 12B拥有120亿参数,性能可媲美其260亿参数的混合专家模型,同时"小到足以在配备16GB内存的消费级笔记本电脑上本地运行"。
Gemma 4 12B还支持多模态功能,可处理文本、视觉和音频内容。谷歌表示,该模型同样具备出色的编程能力,"让你直接在设备上从数据中提取有价值的洞察"。
与Gemma 12B及Mac版Google AI Edge Gallery同步发布的,还有Google AI Edge Eloquent应用的Mac版本。该应用此前已于数月前登陆iOS平台。
Google AI Edge Eloquent是一款免费听写应用,能够实时捕捉用户语音并进行转录,同时对文本进行润色,去除语气词和口头禅,并对表达进行轻度编辑,使内容更加清晰流畅。整个处理过程在设备本地完成,无需上传至云端。
该应用还支持用户选择不同的写作风格,并添加自定义词汇,如人名、专业术语及常用词语,从而有效避免听写应用对特定词汇和短语产生频繁误校正的问题。
Q&A
Q1:Gemma 4 12B模型有哪些特点和优势?
A:Gemma 4 12B是谷歌最新发布的本地运行模型,拥有120亿参数,性能可媲美260亿参数的混合专家模型。它支持多模态功能,能够处理文本、视觉和音频内容,同时具备较强的编程能力。该模型只需设备配备16GB内存即可在消费级笔记本电脑上本地运行,兼顾了性能与硬件门槛的平衡。
Q2:本地运行AI模型相比云端模型有什么优势?
A:本地模型主要有三大优势:第一,无需网络连接,完全依靠本机算力运行;第二,设备性能越好,响应速度越快,支持的模型规模也越大;第三,所有数据在本地处理,无需上传至服务器,隐私保护更有保障。虽然能力通常不及云端大模型,但对于日常任务来说已经足够实用。
Q3:Google AI Edge Eloquent是什么,和普通听写应用有什么区别?
A:Google AI Edge Eloquent是谷歌推出的一款免费Mac听写应用,核心特点是所有处理均在设备本地完成,不依赖云端。它不仅能实时转录语音,还会自动去除语气词、润色文本,提升表达的清晰度。用户还可以设置不同写作风格,并添加自定义词汇,有效减少专有名词和术语的误识别问题。
好文章,需要你的鼓励
英国国家医疗服务(NHS)正将无人机纳入常规医疗物流体系。自今年2月起,无人机每天在雷恩斯公园和圣乔治医院之间运送血液等诊断样本,飞行仅需3分钟,比公路运输快约85%,且碳排放减少高达98%。目前已有逾2000名患者受益。NHS计划将该服务扩展至圣赫利尔、克罗伊登等多家医院,最终惠及约180万名患者。该网络由英国医疗初创公司Apian与谷歌旗下Wing合作运营。
AgentLens是Explyt公司联合俄罗斯学术机构开发的AI编程助手评测基准,通过分析完整人机交互轨迹而非仅看最终结果,从五个维度评估代码智能体的真实表现。
边缘AI计算厂商Aetina宣布,将在其DeviceEdge AIE-KT风冷系列和新款AIE-PT无风扇平台上支持英伟达全新Jetson T3000和T2000模块。T3000基于Blackwell GPU,最高提供865 FP4 TFLOPS算力,功耗70W;T2000则提供400 FP4 TFLOPS,面向视觉AI代理和自主移动机器人等场景。两款模块预计2027年第一季度上市,支持Nemotron、Cosmos 3等英伟达AI软件生态。
韩国梨花女子大学提出Splash框架,通过识别AI模型中的"休眠参数"并只在其中训练触觉能力,让小型多模态AI在学会感知材质触感的同时,完整保留原有视觉语言推理能力。