k8s中部署ollama大语言模型底座及配置NFS存储持久化

我的实验场景是采用两个deployment类型的POD，并配置20G的NFS共享存储，将ollama的数据路径配置到NFS共享中，从而实现了持久化存储，POD重启后语言模型的相关数据也不会丢失，如有不对的地方欢迎大家一起讨论。

废话不多说，直接上配置文件

创建PV的YAML脚本

apiVersion: v1
kind: PersistentVolume
metadata:
  name: ollama-pv
spec:
  capacity:
    storage: 20Gi
  accessModes:
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Retain
  nfs:
    server: 192.168.1.110
    path: /nfs

创建PVC的YAML脚本

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: ollama-pvc
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 20Gi

创建Deployment控制器POD脚本

apiVersion: apps/v1
kind: Deployment
metadata:
  name: ollama-deployment
  labels:
    app: ollama
spec:
  replicas: 2
  selector:
    matchLabels:
      app: ollama
  template:
    metadata:
      labels:
        app: ollama
    spec:
      containers:
      - name: ollama
        image: docker.io/ollama/ollama:latest
        imagePullPolicy: Never
        volumeMounts:
        - mountPath: /root/.ollama
          name: ollama-volume
      volumes:
      - name: ollama-volume
        persistentVolumeClaim:
          claimName: ollama-pvc
---
apiVersion: v1
kind: Service
metadata:
  name: ollama-service
spec:
  type: NodePort
  selector:
    app: ollama
  ports:
    - protocol: TCP
      port: 11434
      targetPort: 11434
      nodePort: 32001

全部apply以上YAML后，进入到创建的其中一个Pod中，下载需要的模型即可，其他pod则就可以直接调用了。

下图为配置好的pod、pv、pvc、service等的截图：

PS: 老机器，所以推理速度慢，十二三代的INTEL的CPU会快些。