一、Open WebUI简介
Open WebUI是一个用户友好的Web界面，专为本地大语言模型（LLMs）设计。它支持多种模型，包括Ollama和OpenAI兼容的API，并允许用户通过图形界面轻松调试和调用模型。Open WebUI的功能丰富，包括代码高亮、数学公式支持、网页浏览、预设提示词、本地RAG集成、对话标记、模型下载、聊天记录查看以及语音支持等。
二、部署环境准备
- 服务器配置：
- GPU服务器：由于大模型运算量大，推荐使用配备高性能GPU的服务器。
- 内存与存储：确保服务器有足够的内存和存储空间以支持模型运行和数据存储。
- 操作系统：支持Linux、Windows等多种操作系统，但Linux环境通常更为稳定。
- 软件依赖：
- Docker：Open WebUI通过Docker进行部署，因此需要在服务器上安装Docker。
- Node.js（可选）：如果需要在本地进行Open WebUI的二次开发，需要安装Node.js。
三、Docker部署Open WebUI
- 拉取Open WebUI镜像：
- 由于国内网络环境，建议从国内镜像源拉取Open WebUI镜像，以提高下载速度。可以使用如下命令：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v /path/to/open-webui:/app/backend/data --name open-webui ghcr.nju.edu.cn/open-webui/open-webui:main
注意：/path/to/open-webui应替换为实际存储Open WebUI数据的目录路径。
- 访问Open WebUI界面：
- 部署完成后，通过浏览器访问http://<服务器IP>:3000即可进入Open WebUI界面。
- 首次访问可能需要注册账号，并配置模型服务的相关信息。
- 配置模型服务：
- 在Open WebUI的设置中，可以配置连接的模型服务。
- 如果模型服务部署在同一台服务器上，可以直接使用localhost和相应的端口号进行连接。
- 如果模型服务部署在远程服务器上，则需要填写相应的IP地址和端口号。
- 模型测试与优化：
- 使用Open WebUI提供的界面进行模型测试，观察输出结果是否符合预期。
- 可以通过预设提示词、输入文本等方式与模型进行交互，并根据需要进行参数调整和优化。
四、本地开发部署（可选）
对于希望在本地进行Open WebUI开发的人员，可以按照以下步骤进行：
- 安装Docker：在本地计算机上安装Docker。
- 拉取Open WebUI源代码：
- 使用Git将Open WebUI的源代码从Git仓库拉取到本地。
git clone https://github.com/open-webui/open-webui.git
cd open-webui
- 安装Node.js和依赖：
- 如果尚未安装Node.js，需要先进行安装。
- 使用Node Version Manager（nvm）管理Node.js版本，并安装所需的Node.js版本。
- 清除旧的依赖并重新安装项目依赖。
- 配置docker-compose.yml文件：
- 在之前的docker-compose.yml文件基础上进行一些调整，以支持本地代码挂载和开发模式。
- 主要包括添加volumes、修改服务的command以及端口配置等。
- 启动开发环境：
- 配置好docker-compose.yml文件后，可以启动Docker容器并进入开发模式。
- 使用命令构建镜像并启动容器。
- 通过访问http://localhost:3000来访问本地开发环境。
五、应用
登录：http://127.0.0.1:3000/
登陆后界面：
注意事项
- 安全性：确保模型服务的安全性，避免敏感数据泄露。
- 性能优化：根据实际需求调整模型参数和服务器配置，以优化性能。
- 备份与恢复：定期备份模型数据和服务配置，以防数据丢失或损坏。
通过以上步骤，您可以成功部署并使用Open WebUI，为您的大语言模型提供一个便捷、高效的Web界面。
