首页 新闻 会员 周边 捐助

kubernetes 集群上用 helm 部署 ollama + deepseek-r1 遇到问题

0
悬赏园豆:30 [已解决问题] 浏览: 45次 解决于 2025-02-14 21:34

helm chart 用的是 Helm chart for Ollama on Kubernetes https://github.com/otwld/ollama-helm

镜像用的是 mazurkatarzyna/ollama-deepseek-r1-7b,其中内置 deepseek-r1:7b 模型,之前用 docker compose 成功部署过这个镜像,详见博文 https://www.cnblogs.com/dudu/p/18705441

在 k8s 集群上用 helm部署后 pod 成功启动,但进入容器内查看却没有任何模型

# kubectl exec -it deployment/ollama-deepseek -- ollama list
NAME    ID    SIZE    MODIFIED 

请问如何解决这个问题?

问题补充:

heml 清单文件如下

image:
  repository: mazurkatarzyna/ollama-deepseek-r1-7b
  tag: latest 

podLabels:
 app: ollama-deepseek

tolerations:
  - key: "dedicated"
    operator: "Equal"
    value: "deepseek"
    effect: "NoSchedule"

nodeSelector:
  dedicated: deepseek
dudu的主页 dudu | 高人七级 | 园豆:27830
提问于:2025-02-14 21:04
< > 人人可用的开源BI工具
分享
最佳答案
0

ollama-helm chart 默认会 mount /root/.ollama volume

volumeMounts:
- name: ollama-data
  mountPath: {{ .Values.ollama.mountPath | default "/root/.ollama" }}
  {{- if .Values.persistentVolume.subPath }}
  subPath: {{ .Values.persistentVolume.subPath }}
  {{- end }}

通过下面的清单 mount 一个不存在的路径

ollama:
  mountPath: "/root/.empty"

问题就解决了

# kubectl exec -it deployment/ollama-deepseek -- ollama list
NAME              ID              SIZE      MODIFIED    
deepseek-r1:7b    0a8c26691023    4.7 GB    2 weeks ago
dudu | 高人七级 |园豆:27830 | 2025-02-14 21:33
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册
Top