基于GPU部署ollama +DeepSeek R1大模型+Dify创建 AI 应用喂饭教程

Ollama 是一个用go语言开发的开源框架，可用于本地运行和管理大语言模型（LLM，Large Language Model）。我们将使用 Ollama 来运行和管理 DeepSeek 大模型。Ollama 支持在 CPU 或 GPU 环境下运行，本文以GPU为例，安装步骤如下：

1.基于GPU运行

经测试，DeepSeek R1:7b 大模型在10G以上显存的环境可以很流畅，使用GPU需要先配置依赖环境。

1.1 apt方式安装

配置仓库

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
    | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
    | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
    | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update

安装NVIDIA Container Toolkit

sudo apt-get install -y nvidia-container-toolkit

1.2 yum or dnf方式安装

配置仓库

curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \
    | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo

安装NVIDIA Container Toolkit

sudo yum install -y nvidia-container-toolkit

配置docker，让其支持NVIDIA驱动

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

1.3 运行ollama

在完成上述依赖环境配置后，运行如下指令，比CPU的方式多了一个参数--gpus，通过它来指定使用宿主机的GPU。

docker run -d --gpus=all -v /data/ollama:/root/.ollama -p 11434:11434 --name ollama registry.cn-hangzhou.aliyuncs.com/yilingyi/ollama

2.运行DeepSeek大模型

通过如下指令进行下载和运行DeepSeek R1:7b 大模型：

docker exec -it ollama ollama run deepseek-r1:7b

下载可能需要花点时间，不过没关系，我们可以边下载，边继续部署Dify，搭建一个可视化的管理平台。

3.Dify的安装

Dify 是一款开源的大语言模型（LLM）应用开发平台。它结合了后端即服务（Backend as a Service）和 LLMOps 的理念，使开发者能够快速构建生产级的生成式 AI 应用。即使是非技术人员，也可以参与到 AI 应用的定义和数据运营中。通过 Dify，不仅可以实现知识库应用，还能开发更多功能。

3.1 使用Docker-Compose安装

这里使用Docker-Compose V2进行安装，用V1的时候遇到异常。

mkdir -p ~/.docker/cli-plugins/
curl -SL https://github.com/docker/compose/releases/download/v2.20.2/docker-compose-linux-x86_64 -o ~/.docker/cli-plugins/docker-compose

3.2 克隆Dify仓库

git clone https://github.com/langgenius/dify.git

3.3 运行Dify

进入 Dify 源代码的 Docker 目录

cd dify/docker

复制环境配置文件

cp .env.example .env

启动 Docker 容器

docker compose up -d

Dify初始化
替换成你的服务器IP，访问后设置你的账号和密码。http://your_server_ip/install
到此，我们完成了Dify和DeepSeek大模型的部署，接下来需要在Dify进行大模型配置和创建我们的AI应用。

4.Dify添加大模型

在完成上述安装后，我们需要在Dify控制台上添加我们部署的DeepSeek R1:7b大模型，操作如下：
登录控制台后，点击右上角-->设置

在弹窗左侧栏目选择“模型供应商”，然后添加Ollama配置

5.创建AI应用

好的，终于到了这个环节，我们可以借助Dify快速创建我们的AI应用，并赋予它处理的逻辑。
创建一个空白应用，选择Chatflow

创建后，在LLM节点选择deepseek-r1:7b 大模型，然后设置上下文为用户查询变量sys.query，接着在SYSTEM处设置提示词（Prompt）赋予它处理逻辑。

在预览没问题后，发布应用即可

通过上述内容，我们了解了 DeepSeek 大模型的部署和 AI 应用的搭建，并尝试了 Chatflow 和 Prompt 的使用。由于一些条件限制，许多人无法进行基础模型的开发或微调，但 Chatflow 和 Prompt 为我们展示了另一种训练的方向。