首页 新闻 会员 周边 捐助

使用阿里云计算巢部署 DeepSeek-R1 遇到问题

0
悬赏园豆:30 [已解决问题] 浏览: 49次 解决于 2025-02-09 19:59

部署后 Open WebUI 界面上无模型可选,部署过程详见博文:尝试使用阿里云计算巢部署 DeepSeek-R1

请问如何解决这个问题?

问题补充:

登录到计算巢所使用的服务器上,发现通过 docker-compose 部署的 ollama 没有启动

部署清单文件 /root/application/docker-compose.yaml 内容如下:

services:
  ollama:
    volumes:
      - ollama:/root/.ollama
    container_name: ollama
    pull_policy: if_not_present
    tty: true
    restart: unless-stopped
    image: ollama/ollama:latest
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities:
                - gpu
    ports:
    - 11434:11434
    environment:
      OLLAMA_ORIGINS: "*"
      OLLAMA_HOST: "0.0.0.0"
  open-webui:
    image: ghcr.io/open-webui/open-webui:ollama
    container_name: open-webui
    volumes:
      - open-webui:/app/backend/data
    depends_on:
      - ollama
    ports:
      - 8080:8080
    environment:
      - 'ENABLE_OPENAI_API=False'
      - 'OLLAMA_BASE_URL=http://ollama:11434'
      - 'WEBUI_SECRET_KEY='
    extra_hosts:
      - host.docker.internal:host-gateway
    restart: unless-stopped
volumes:
  ollama: {}
  open-webui: {}

运行 docker compose up 命令重新部署,出现下面的错误

Error response from daemon: failed to create task for container: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: error during container init: error running hook #0: error running hook: exit status 1, stdout: , stderr: Auto-detected mode as 'legacy'
nvidia-container-cli: initialization error: nvml error: driver not loaded: unknown
dudu的主页 dudu | 高人七级 | 园豆:27830
提问于:2025-02-08 18:52
< > 人人可用的开源BI工具
分享
最佳答案
0

问题的原因是这台阿里云 ecs 服务器没有安装 nvidia 驱动,正好之前遇到过这款 ecs 安装 nvidia 驱动的问题,详见博文:阿里云轻量级 GPU 实例安装 NVIDIA 驱动

通过下面的命令安装好驱动,问题就解决了

acs-plugin-manager --exec --plugin grid_driver_install
dudu | 高人七级 |园豆:27830 | 2025-02-09 19:52
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册
Top