安装使用 Ollama 客户端
Available for macOS, Linux, and Windows (preview)
windows 和 macOS 上都可以通过网页下载：
https://ollama.com/download
linux 通过命令行来下载
curl -fsSL https://ollama.com/install.sh | sh
安装命令行工具成功后，会提示 运行下面命令安装模型
ollama run llama3
执行后，将先下载模型，然后执行；需要注意你的 RAM 大小，和模型参数量是否匹配
安装自定义模型
从 GGUF 导入 Ollama 在 Modelfile 支持导入 GGUF models : 使用 FROM 指令 创建一个名为 Modelfile 的文件，其中包含你想导入模型的本地文件地址
FROM ./vicuna-33b.Q4_0.gguf
在 Ollama 中创建模型
ollama create example -f Modelfile
运行 model
ollama run example
安装Docker
然后在docker安装webUI
在CPU下运行：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
支持GPU运行：
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
安装完成通过本地地址：http://127.0.0.1:3000 进行访问