Ollama 是一个开源的模型部署工具,支持多种加速框架和硬件,包括AMD的GPU。然而,想要在AMD显卡上顺利安装和运行Ollama,可能需要一些额外的步骤和资源。下面我们将详细介绍如何通过这些资源安装和使用支持AMD显卡的Ollama。

支持AMD GPU的Ollama资源

以下是你可以使用的相关资源链接:

1.Ollama for AMD

GitHub链接:https://github.com/likelovewant/ollama-for-amd
这是专门为AMD GPU优化的Ollama版本,支持了AMD ROCm框架,并针对AMD的GPU架构进行了改进。

2.AMD GPU架构列表

GitHub维基链接:https://github.com/likelovewant/ollama-for-amd/wiki/AMD-GPU-Arches-lists-Info
该页面提供了AMD GPU架构的详细信息,帮助用户确认自己的GPU是否符合要求。

3.ROCm库支持AMD GPU

ROCm Libraries for AMD GPU:https://github.com/likelovewant/ROCmLibs-for-gfx1103-AMD780M-APU

KoboldCpp with ROCm:https://github.com/YellowRoseCx/koboldcpp-rocm/releases/tag/deps-v6.2.0
这些资源提供了AMD GPU所需的ROCm深度学习框架依赖和预编译库,是安装Ollama for AMD的必要条件。

安装和支持步骤

步骤1:确认你的GPU支持

在安装任何软件之前,首先要确认你的AMD GPU是否在支持的列表中。可以通过以下方式检查:

查看你GPU的型号(例如,AMD Radeon RX 7900 XT)。

在 AMD GPU架构列表页面(如上所述链接)中查找你的GPU型号,确认是否支持ROCm和Ollama。

如果支持,可以继续进行下一步;如果不支持,可能需要考虑升级硬件或寻找兼容性更好的解决方案。

步骤2:安装ROCm框架

Ollama-for-amd依赖于ROCm框架来加速GPU计算。以下是安装ROCm的步骤:

下载ROCm依赖库

默认的是 ROCmLibs-for-gfx1103-AMD780M-APU 下载预编译的ROCm库。

或者,你可以从官方ROCm仓库获取最新的版:https://rocmdocs.amd.com/

安装依赖: 按照ROCm的文档或GitHub仓库中的说明,完成安装。这可能包括一些手动设置,如配置环境变量和安装必要的系统依赖。

步骤3:安装Ollama-for-amd

编译和安装: 进入仓库目录,并按照README中的说明进行编译。如果你已经安装了ROCm,编译过程应该会顺利进行。

运行Ollama: 安装完成后,通过以下命令启动Ollama:

./ollama serve

然后,你可以通过Ollama的来运行模型。

 

环境变量的设置

端口设置 OLLAMA_HOST  0.0.0.0:11434

模型下载路径 OLLAMA_MODELS  D:\AI\llama

通过上述步骤,你可以在 AMD GPU 上安装并运行支持 ROCm 的Ollama,充分利用 AMD 的硬件性能来加速你的AI模型推理。这对于开发者和深度学习爱好者来说,是一个便捷且高效的解决方案。