在Debian/Ubuntu服务器上部署AI服务器的完整指南

每当我使用AI时，我总是选择本地安装的实例。这样做有两个原因。首先，当我使用本地安装的AI时，我不会消耗已经处于巨大需求中的电网电力。其次，我始终可以信任我的本地AI来保护我的隐私。

使用本地AI实例时，您的信息（包括您的查询）不会与第三方共享，完全100%私密。

您可能认为在家庭实验室中设置本地AI服务器可能是一个巨大的挑战，但实际上并非如此。实际上，这相当简单，我将向您展示如何操作。最终，您将拥有一个AI服务器，可以通过网页浏览器访问，或者通过连接您喜欢的AI图形界面（如Ollama、Alpaca或Msty）来访问服务器。

那么，让我们开始设置吧。

所需条件

您只需要运行Debian或Ubuntu Server实例以及具有sudo权限的用户。

添加用户到Docker组（仅限Debian）

默认情况下，您的标准用户在Debian上不是sudo组的成员。要成功使用Docker（用于部署WebUI），您必须进行此更改。

要在Debian上将用户添加到Docker组，首先切换到root用户：

切换到root用户后，使用以下命令将标准用户添加到Docker组：

其中USER是要添加的用户名。

使用以下命令退出root用户：

注销您的标准用户账户并重新登录，以使更改生效。

安装Ollama

接下来，我们将安装Ollama，可以使用以下命令完成：

安装完成后，让我们下载一个较小的大语言模型（用于测试目的）。您稍后可以随时下载更大的大语言模型。我们将使用以下命令拉取llama3.2模型：

模型成功拉取后，通过运行模型确保其正常工作：

如果您看到Ollama提示符，说明一切正常。使用以下命令退出提示符：

接下来，我们需要配置Ollama接受远程连接。我们将通过systemd来完成此操作。使用以下命令打开Systemd Ollama初始化文件：

在[Service]部分的底部，添加以下内容：

保存并关闭文件。

使用以下命令重新加载Systemd守护进程：

重新启动Ollama服务：

此时，可以通过服务器的IP地址从局域网上的远程机器访问Ollama。如何建立连接将取决于您使用的应用程序。

安装Docker CE

接下来，我们将部署WebUI，以便您可以通过网页浏览器与大语言模型交互。为此，我们将使用WebUI。在此之前，我们必须安装Docker。以下是安装Docker CE的步骤：

使用以下命令添加必要的GPG密钥：

添加官方Docker存储库：

使用以下命令安装Docker：

使用以下命令测试确保可以使用Docker：

您应该看到一个空的Docker容器列表；如果是这样，您就可以开始部署了。

要使用Docker部署WebUI，命令是：

请注意，如果您的机器已经在使用端口3000，您需要更改该端口。

给容器一些时间完成部署。在我的实例中，大约需要两分钟。您可以使用以下命令检查部署状态：

当容器状态显示为健康时，就可以访问了。

访问WebUI

要访问Docker的WebUI实例，打开网页浏览器并指向http://SERVER:3000（其中SERVER是托管服务器的IP地址）。您应该会看到WebUI主页面。

点击底部中央的右箭头，在结果页面中输入所需信息来创建管理员账户。

然后您将看到查询页面。在该页面上，您会发现使用Ollama拉取的大语言模型不可用。因此，点击左上角的模型下拉菜单，然后您需要禁用OpenAI实例，并将本地地址更改为http://SERVER:11434（其中SERVER是您服务器的IP地址）。

现在您可以转到新聊天标签页并运行您的第一个查询。

恭喜，您现在拥有了一个本地AI实例，可以从家庭实验室局域网上的任何机器访问。

Q&A

Q1：为什么要选择本地AI实例而不是在线AI服务？

A：选择本地AI实例有两个主要原因：首先，本地AI不会消耗已经处于巨大需求中的电网电力；其次，可以确保完全的隐私保护，您的信息和查询不会与任何第三方共享，保持100%私密性。

Q2：在Debian/Ubuntu上部署AI服务器需要什么条件？

A：部署AI服务器的条件非常简单，只需要运行Debian或Ubuntu Server实例以及具有sudo权限的用户。整个设置过程相对容易，最终可以通过网页浏览器或AI图形界面（如Ollama、Alpaca或Msty）来访问服务器。

Q3：如何访问部署完成的AI服务器？

A：部署完成后，可以通过两种方式访问AI服务器：一是打开网页浏览器访问http://SERVER:3000（SERVER是服务器IP地址）来使用WebUI界面；二是通过服务器IP地址从局域网上的其他机器连接Ollama服务，具体连接方式取决于使用的应用程序。