搭建一个 AI 问答机器人，需要几步？

很多人想到模型私有化部署，会以为要数据中心的多台服务器来做，其实不然。办公室里搭建 AI 工作站，已经可以完美地支持企业内部知识库和一些POC场景的需求，比如进行量化的 70B 模型的训练和推理工作。所以在办公室环境下，同样可以搭建一个 AI 问答机器人。

搭建一个企业内部AI 问答机器人、知识库的场景，我们可以选择大厂的云服务，这相对于大多数用户来说，是最省事的方案。但很多企业可能会有一些私有化的数据，或者受限于企业内部的安全性要求，只能走模型私有化部署的方式。

很多人想到模型私有化部署，会以为要数据中心的多台服务器来做，其实不然。

办公室里搭建 AI 工作站，已经可以完美地支持企业内部知识库和一些POC场景的需求，比如进行量化的 70B 模型的训练和推理工作。所以在办公室环境下，同样可以搭建一个 AI 问答机器人。

赞奇科技基于 NVIDIA ChatRTX 搭建的企业问答机器人

但搭建一个AI 问答机器人又是一个涉及硬件选择、安装、开发环境部署的综合过程。

最近赞奇的工程师团队测试了几款主流大模型，就采用 AI 工作站搭建一个本地问答机器人提供了一些建议参考，这里抓一些重点给大家：

第一步

确定需求与目标

这一步至关重要，需要确定以下关键点：

性能要求：了解所做任务的复杂度，如知识库所需要采样的数据库的大小，未来的用户并发量等，以此来预估所需的计算资源和存储空间等，通常我们可以用现有机器跑任务测试的方式来评估。
预算范围：明确愿意投入的资金等成本范围。对预算没有概念的小伙伴可以通过询问，或者参考公开市场价格等方式来加速了解。

第二步

选择合适的硬件

根据需求我们来制定硬件配置，AI 工作站比较关键的配置有 GPU、CPU、内存、机箱等。

GPU

GPU 是 AI 工作站中非常核心的算力，也是 AI 工作站中需要首先考虑的配件。目前适用于专业 AI 工作站的显卡主要有 NVIDIA RTX(TM) 5880 Ada (48GB) 及 NVIDIA RTX(TM) 5000 Ada (32GB) 等，这两款显卡属于 NVIDIA 专业级显卡，主动散热、功耗很低而且非常稳定，静音也适合办公室使用。