Ollama 是一个开源的模型部署工具,支持多种加速框架和硬件,包括AMD的GPU。然而,想要在AMD显卡上顺利安装和运行Ollama,可能需要一些额外的步骤和资源。下面我们将详细介绍如何通过这些资源安装和使用支持AMD显卡的Ollama。
支持AMD GPU的Ollama资源
以下是你可以使用的相关资源链接:
1.Ollama for AMD
GitHub链接:https://github.com/likelovewant/ollama-for-amd
这是专门为AMD GPU优化的Ollama版本,支持了AMD ROCm框架,并针对AMD的GPU架构进行了改进。
2.AMD GPU架构列表
GitHub维基链接:https://github.com/likelovewant/ollama-for-amd/wiki/AMD-GPU-Arches-lists-Info
该页面提供了AMD GPU架构的详细信息,帮助用户确认自己的GPU是否符合要求。
3.ROCm库支持AMD GPU
ROCm Libraries for AMD GPU:https://github.com/likelovewant/ROCmLibs-for-gfx1103-AMD780M-APU
KoboldCpp with ROCm:https://github.com/YellowRoseCx/koboldcpp-rocm/releases/tag/deps-v6.2.0
这些资源提供了AMD GPU所需的ROCm深度学习框架依赖和预编译库,是安装Ollama for AMD的必要条件。
安装和支持步骤
步骤1:确认你的GPU支持
在安装任何软件之前,首先要确认你的AMD GPU是否在支持的列表中。可以通过以下方式检查:
查看你GPU的型号(例如,AMD Radeon RX 7900 XT)。
在 AMD GPU架构列表页面(如上所述链接)中查找你的GPU型号,确认是否支持ROCm和Ollama。
如果支持,可以继续进行下一步;如果不支持,可能需要考虑升级硬件或寻找兼容性更好的解决方案。
步骤2:安装ROCm框架
Ollama-for-amd依赖于ROCm框架来加速GPU计算。以下是安装ROCm的步骤:
下载ROCm依赖库:
默认的是 ROCmLibs-for-gfx1103-AMD780M-APU 下载预编译的ROCm库。
或者,你可以从官方ROCm仓库获取最新的版:https://rocmdocs.amd.com/
安装依赖: 按照ROCm的文档或GitHub仓库中的说明,完成安装。这可能包括一些手动设置,如配置环境变量和安装必要的系统依赖。
步骤3:安装Ollama-for-amd
编译和安装: 进入仓库目录,并按照README中的说明进行编译。如果你已经安装了ROCm,编译过程应该会顺利进行。
运行Ollama: 安装完成后,通过以下命令启动Ollama:
./ollama serve
然后,你可以通过Ollama的来运行模型。
环境变量的设置
端口设置 OLLAMA_HOST 0.0.0.0:11434
模型下载路径 OLLAMA_MODELS D:\AI\llama