树莓派推出8GB RAM扩展板,专为本地运行生成式AI模型设计
树莓派5可以将AI相关工作负载转移至售价130美元的AI HAT +2扩展板。
树莓派正在推出一款新的扩展板,能够在树莓派5上本地运行生成式AI模型。周四发布的AI HAT+ 2售价130美元,是去年推出模块的升级版本,价格更高,现在提供8GB内存和Hailo 10H芯片,具备40 TOPS的AI计算性能。
连接后,树莓派5将使用AI HAT+ 2处理AI相关工作负载,同时让主板的Arm CPU能够完成其他任务。与之前专注于图像AI处理的AI HAT+不同,AI HAT+ 2配备了板载内存,可以运行小型生成式AI模型,如Llama 3.2和DeepSeek-R1-Distill,以及一系列Qwen模型。用户还可以使用该设备训练和微调AI模型。
树莓派分享的演示显示,你可以使用这款扩展板为AI模型提供算力,该模型能够生成摄像头流的文本描述,并回答场景中是否有人的问题。另一个演示展示了如何使用Qwen2将文本从法语翻译成英语。
然而,科技YouTuber Jeff Geerling发现,配备8GB内存的独立树莓派5在支持的模型上通常表现优于AI HAT+ 2。Geerling将较低的性能归因于功耗限制,因为Pi 5可以在最高10瓦的功率下运行,而AI HAT+ 2限制在3W。
虽然AI HAT+ 2可能适合特定使用场景,但Geerling指出,扩展板的额外8GB内存"还不足以让这个HAT相对于购买更大的16GB Pi具有优势,后者拥有更多内存,更加灵活,运行模型也更快"。去年发布的AI HAT也可以处理AI图像处理,起价更便宜,仅需70美元。
树莓派表示,更多"更大"的AI模型"正在准备更新,应该会在发布后不久提供安装"。
Q&A
Q1:树莓派AI HAT+ 2有什么主要特点?
A:AI HAT+ 2是树莓派推出的扩展板,售价130美元,配备8GB内存和Hailo 10H芯片,具备40 TOPS的AI计算性能。它可以在树莓派5上本地运行生成式AI模型,如Llama 3.2和DeepSeek-R1-Distill等,还支持AI模型的训练和微调功能。
Q2:AI HAT+ 2的性能表现如何?
A:根据科技YouTuber Jeff Geerling的测试,配备8GB内存的独立树莓派5在支持的模型上通常表现优于AI HAT+ 2。这主要是由于功耗限制导致的,Pi 5可以在最高10瓦功率下运行,而AI HAT+ 2限制在3W。
Q3:AI HAT+ 2适合什么用户购买?
A:AI HAT+ 2适合需要在树莓派5上运行生成式AI模型的特定使用场景。不过专家建议,如果预算允许,直接购买16GB内存版本的树莓派5可能更加灵活且性能更好,而去年发布的70美元AI HAT则更适合图像AI处理需求。
好文章,需要你的鼓励
研究人员意外发现,标准MOSFET晶体管可同时模拟神经元和突触行为,形成"神经突触随机存取存储器"(NSRAM)。该技术仅需一至两个晶体管即可实现传统需数十乃至数百个元件才能完成的神经信号处理,且与现有硅基制造工艺完全兼容,良率达100%。未来有望应用于边缘AI及高能效神经形态芯片,长远或可挑战GPU地位。
复旦大学团队提出ICWM框架,让机器人在任务前通过随机探测动作自主感知当前视角和物理配置,无需重新训练即可适应新摄像头角度,真实机器人测试成功率最高提升175%。
本文提出一种评估人工智能风险的新方法,借鉴生态学与演化论视角,从理论生态模型中推导出三项风险指标,涵盖种群模型与生态系统模型。研究旨在为AI治理策略提供量化工具,并对分析局限性及政策改进方向进行了深入探讨,为构建更科学的AI风险评估体系提供参考框架。
西安交通大学团队提出Fast-LeWM,用动作前缀并行预测替代逐步推演,将AI世界模型规划速度提升近4倍,同时平均成功率从85.8%提升至90.5%。