【LLM】本地部署大模型与训练

在 Mac 上本地部署 DeepSeek

近期大模型技术因 DeepSeek 的问世而备受关注。本文以 DeepSeek-r1 为例，介绍一种最简单的方式来搭建与部署本地知识库。同时介绍当下流行的几款工具：【Ollama+ChatBox+AnythingLLM】

下载与部署

1. 下载 Ollama

2. 在 models 标签中选择指定的大模型版本

   ollama run deepseek-r1

   该命令会自动将模型安装到本地。

3. 下载聊天界面可视化工具 Chatbox

   Chatbox 下载链接

远程连接

1. 配置远程 Ollama 服务（可以在局域网内提供 API 供其他移动端访问）

   打开命令行终端，输入以下命令：

   launchctl setenv OLLAMA_HOST "0.0.0.0"
   launchctl setenv OLLAMA_ORIGINS "*"

   • 第一行：将 OLLAMA_HOST 环境变量设置为 0.0.0.0，这通常意味着应用程序将监听所有可用的网络接口。
   • 第二行：将 OLLAMA_ORIGINS 环境变量设置为 *，这通常意味着允许来自任何来源的请求。

2. 在 Chatbox 中设置 API 域名为当前网络状态下的 IP 地址加端口 11434。

本地知识库

为了提高数据的安全性与隐私性，下述内容介绍一种在部署完本地大模型后搭建属于自己的知识库的简单方法AnythingLLM。AnythingLLM是一个功能丰富，集成度很高的RAG框架

1. 下载 AnythingLLM

2. 下载完成后，创建一个工作区并进行聊天设置。

3. 点击上传按钮，将需要嵌入的文件上传。

4. 这样就可以实现离线上传文件与解析内容的功能。

明确几个概念

• 检索增强生成原理（Retrieval-Augmented Generation，RAG）

RAG就是通过检索获取相关的知识并将其融入Prompt，让大模型能够参考相应的知识从而给出合理回答。

• 嵌入模型（Embedding Model）

嵌入模型是一种将文本转换为向量表示的模型。这些向量能够捕捉文本的语义信息，使得相似的文本在向量空间中距离更近。

• 向量数据库（Vector Database）

向量数据库是一种专门用于存储和检索向量数据的数据库。