树莓派推出8GB RAM扩展板,专为本地运行生成式AI模型设计
树莓派5可以将AI相关工作负载转移至售价130美元的AI HAT +2扩展板。
树莓派正在推出一款新的扩展板,能够在树莓派5上本地运行生成式AI模型。周四发布的AI HAT+ 2售价130美元,是去年推出模块的升级版本,价格更高,现在提供8GB内存和Hailo 10H芯片,具备40 TOPS的AI计算性能。
连接后,树莓派5将使用AI HAT+ 2处理AI相关工作负载,同时让主板的Arm CPU能够完成其他任务。与之前专注于图像AI处理的AI HAT+不同,AI HAT+ 2配备了板载内存,可以运行小型生成式AI模型,如Llama 3.2和DeepSeek-R1-Distill,以及一系列Qwen模型。用户还可以使用该设备训练和微调AI模型。
树莓派分享的演示显示,你可以使用这款扩展板为AI模型提供算力,该模型能够生成摄像头流的文本描述,并回答场景中是否有人的问题。另一个演示展示了如何使用Qwen2将文本从法语翻译成英语。
然而,科技YouTuber Jeff Geerling发现,配备8GB内存的独立树莓派5在支持的模型上通常表现优于AI HAT+ 2。Geerling将较低的性能归因于功耗限制,因为Pi 5可以在最高10瓦的功率下运行,而AI HAT+ 2限制在3W。
虽然AI HAT+ 2可能适合特定使用场景,但Geerling指出,扩展板的额外8GB内存"还不足以让这个HAT相对于购买更大的16GB Pi具有优势,后者拥有更多内存,更加灵活,运行模型也更快"。去年发布的AI HAT也可以处理AI图像处理,起价更便宜,仅需70美元。
树莓派表示,更多"更大"的AI模型"正在准备更新,应该会在发布后不久提供安装"。
Q&A
Q1:树莓派AI HAT+ 2有什么主要特点?
A:AI HAT+ 2是树莓派推出的扩展板,售价130美元,配备8GB内存和Hailo 10H芯片,具备40 TOPS的AI计算性能。它可以在树莓派5上本地运行生成式AI模型,如Llama 3.2和DeepSeek-R1-Distill等,还支持AI模型的训练和微调功能。
Q2:AI HAT+ 2的性能表现如何?
A:根据科技YouTuber Jeff Geerling的测试,配备8GB内存的独立树莓派5在支持的模型上通常表现优于AI HAT+ 2。这主要是由于功耗限制导致的,Pi 5可以在最高10瓦功率下运行,而AI HAT+ 2限制在3W。
Q3:AI HAT+ 2适合什么用户购买?
A:AI HAT+ 2适合需要在树莓派5上运行生成式AI模型的特定使用场景。不过专家建议,如果预算允许,直接购买16GB内存版本的树莓派5可能更加灵活且性能更好,而去年发布的70美元AI HAT则更适合图像AI处理需求。
好文章,需要你的鼓励
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
本期《Quick Charge》播客涵盖多个热点话题:特斯拉疑似试图删除FSD欺诈相关证据以规避巨额赔付;卡特彼勒持续推进建筑领域电气化布局;住宅太阳能30%税收抵免即将到期。此外,嘉宾Tom Pacheco就高压系统与电池技术培训展开探讨,强调电动车技术人才培养的紧迫性。节目同时提醒有意安装太阳能的用户尽快行动,可通过EnergySage平台比较多家安装商报价。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。