安装使用 Ollama 客户端

Available for macOS, Linux, and Windows (preview)

windows 和 macOS 上都可以通过网页下载：

https://ollama.com/download

linux 通过命令行来下载

curl -fsSL https://ollama.com/install.sh | sh

安装命令行工具成功后，会提示 运行下面命令安装模型

ollama run llama3 

执行后，将先下载模型，然后执行；需要注意你的 RAM 大小，和模型参数量是否匹配

安装自定义模型

从 GGUF 导入

Ollama 在 Modelfile 支持导入 GGUF models :

使用 FROM 指令 创建一个名为 Modelfile 的文件，其中包含你想导入模型的本地文件地址

FROM ./vicuna-33b.Q4_0.gguf

在 Ollama 中创建模型

ollama create example -f Modelfile

运行 model

ollama run example

安装Docker

然后在docker安装webUI

在CPU下运行：

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

支持GPU运行：

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

安装完成通过本地地址：http://127.0.0.1:3000 进行访问