Ollama在AI领域是一个小众玩家,但它本应获得更大的关注度。这款可安装的AI工具拥有ChatGPT等服务所不具备的诸多优势,正是这些优势让我不再使用传统的AI服务。
过去一年我多次撰文介绍Ollama,现在我想分享为什么我选择使用这款应用而非其他工具。
在讨论原因之前,先来了解一下Ollama是什么。
Ollama是一款免费的开源工具,可以下载并安装在你的计算机上(支持Linux、MacOS或Windows)。通过Ollama,你可以直接在本地系统上运行大语言模型。主要需要考虑的是计算机的性能。AI需要相当强的算力才能流畅运行。这并不意味着中端机器无法使用,但如果在中低端硬件上运行,速度会较慢,在处理查询时可能无法同时进行多任务操作。
不过,如果你的机器配备了Nvidia GPU,即使是中端硬件也能运行得更快,因为它会将大量处理任务转移到GPU上,让CPU处理其他事务。要流畅运行Ollama,系统应至少具备:8GB内存、足够的存储空间以及较新的处理器。
Ollama为MacOS和Windows提供了用户友好的图形界面,也可以通过命令行使用。在Linux上,你可以使用Ollama命令行界面,也有图形界面工具(如Alpaca和Msty)可供选择。
通过Ollama,你可以下载多种不同的大语言模型。它拥有庞大的模型库,包括DeepSeek、Gemma、Qwen、Mistral、Gpt-OSS、Llama等众多模型。
现在你了解了Ollama是什么,让我们谈谈为什么应该使用它。
完全免费
Ollama是免费的。自从我开始使用以来,没有为应用或模型支付过一分钱。只需安装Ollama,下载一个模型,就可以开始使用。你不必为应用、模型或使用付费。
它是完全免费的,而且永远免费。
它还是开源的,这是额外的优势。
隐私保护
这对我来说非常重要。我不使用公共或商业AI,因为我知道我的查询和响应可能被第三方使用。商业AI背后的公司可以收集你的信息并用于各种目的,这是我无法接受的。虽然我不会在查询中使用任何个人信息(我主要用AI进行研究),但我仍然不希望这些查询被收集并用于创建我的用户画像。
就像我选择浏览器一样,我希望我的AI尽可能私密,而Ollama是实现这一目标的唯一途径。
环保节能
你听说过AI消耗大量能源的问题吧?国际数据中心管理局本月的一份报告指出,美国总用电量的约6%用于数据中心。"美国是世界上最大的数据中心所在地,占全球消耗量的43%。美国数据中心消耗29.2吉瓦的电力,现在占全国用电量的6%。"
联合国的报告详细说明了大规模AI部署带来的环境问题。"大多数AI服务器存储在数据中心,这会产生电子废物,并可能含有汞和铅等有毒化学物质。数据中心还需要大量水资源用于建设和冷却电气组件。"
通过使用本地安装的Ollama,我避免了加剧这个问题。我甚至可以将Ollama安装在笔记本电脑上,这样只使用电池供电。
Ollama环保友好,不会对电网造成任何压力。
灵活选择模型
当你使用ChatGPT等服务时,可选择的大语言模型是有限的。而使用Ollama,你可以从庞大的模型库中选择。你甚至可以安装多个模型,并为每个查询选择使用哪一个。
这种灵活性是大多数商业AI服务所不具备的。
可在局域网内共享
我在局域网内的服务器上安装了一个Ollama实例。运行后,我可以使用基于Web的界面或将本地GUI应用连接到服务器,这样就不会占用笔记本电脑或台式机的CPU/GPU资源。这是一个很好的选择,因为将AI处理任务转移到服务器意味着我不必担心查询会让性能较弱的硬件卡顿。此外,我只需在一台机器上安装Ollama,就可以在连接到局域网的每台设备上使用它。
离线可用
假设你失去了互联网连接,或者你在偏远地区没有信号或Wi-Fi,但出于某种原因需要使用AI。如果你使用第三方云端AI,那就没办法了。但如果你在笔记本电脑上安装了Ollama,你就很幸运了,因为你不需要网络连接就能使用它。这也意味着你可以在物理隔离的机器上运行Ollama,以获得更高的隐私保护。
这是全方位的优势。
我强烈建议你尝试本地安装Ollama。它的安装和运行比你想象的要简单得多(类似于在MacOS或Windows上安装任何应用),而且免费、灵活、安全、环保。
谁不想要这些优势呢?
Q&A
Q1:Ollama是什么?它有什么特点?
A:Ollama是一款免费的开源AI工具,可以下载安装在个人电脑上(支持Linux、MacOS或Windows系统)。它允许用户直接在本地系统上运行大语言模型,无需联网即可使用。Ollama完全免费,提供庞大的模型库供选择,包括DeepSeek、Gemma、Qwen、Mistral、Llama等多种模型。
Q2:使用Ollama需要什么样的电脑配置?
A:要流畅运行Ollama,系统应至少具备8GB内存、足够的存储空间以及较新的处理器。如果电脑配备了Nvidia GPU,即使是中端硬件也能运行得更快,因为GPU可以分担大量处理任务。在中低端硬件上也可以使用,但速度会较慢,处理查询时可能无法同时进行多任务操作。
Q3:Ollama相比ChatGPT等云端AI有哪些优势?
A:Ollama的主要优势包括:完全免费且开源;保护隐私,查询数据不会被第三方收集;环保节能,不增加数据中心的能源消耗;可选择的模型更丰富灵活;可在局域网内共享使用;无需网络连接即可离线使用。这些特点使其成为注重隐私和环保用户的理想选择。
好文章,需要你的鼓励
市场研究公司Klue本月初遭黑客入侵,大量客户数据被窃。Klue表示正与黑客组织Icarus沟通,并相信对方正在删除所盗数据。受影响客户包括Gong、LastPass、HackerOne等多家知名企业。然而事态趋于复杂——另一黑客团伙声称从Icarus处获取了Klue客户数据,并向客户发出勒索威胁。Klue提醒客户勿向第二方支付赎金,并建议索取数据样本以核实其真实性。
KAIST等机构提出3D HAMSTER,通过为视觉语言模型加入深度编码器和几何重建损失,让机器人规划器直接输出三维轨迹,解决了分层机器人系统中规划与执行的维度不匹配问题,显著提升了操作鲁棒性。
苹果公司对OpenAI提起诉讼,指控其窃取商业机密。据披露,前苹果系统电气工程师刘畅(Chang Liu)在离职加入OpenAI后,利用一个此前未知的身份验证零日漏洞,持续数周从苹果内部网络存储中下载大量机密文件,内容涵盖未发布产品信息、工程演示文稿及技术规格等。苹果已修复该漏洞并终止相关访问权限。此案已提交加州北区联邦法院,并要求陪审团审判。
南京大学提出Light-Omni框架,通过全局状态与潜在状态双机制,让AI视频助理无需反复推理即可实现精准记忆检索,速度提升逾12倍,准确率同步提高。