准备用阿里云 GPU 计算型 T4 加速云服务器尝试部署 DeepSeek R1 7b 模型,模型文件大小有 4.7 GB,特地用了海外服务器,但 ollama pull 总是无法完成模型的下载。
今天从上午到下午尝试了多次,总是无法完成超过25%的下载,雪上加霜的是下载一个分层时不支持断掉续传,一遇到下载失败就重新下载。
ollama pull deepseek-r1:7b
请问有什么办法可以解决这个问题?
github 上的相关 issue:Downloading a model with ollama pull or ollama run stalls
受使用阿里云计算巢部署 DeepSeek-R1 的启发(详见之前的博问),可以采用 docker 部署,docker 拉取 ollama 镜像,这样可以避开访问 ollama 模型仓库速度慢的问题
docker pull ollama/ollama
这样尝试后发现 docker 拉取速度也不快,但 ollama 的 docker 镜像文件由于经过压缩只有1.562GB
,而且虽然慢,但不会中途失败
根据之前的阿里云计算巢部署经历,ollama 镜像中应该默认包含 deepseek-r1:7b
模型
注:后来发现官方 ollama 镜像中不包含任何大模型
ollama 的 docker 镜像下载好了,明天找时间部署
今天中午再次尝试 ollama pull,依然拉取不下来,而且很奇怪的是在 ollama pull 的下载过程中竟然会上传数据,难道用了 p2p
docker pull 下来的 ollama 官方镜像中不包含任何大模型
在 docker hub 上找到一个包含 deepseek-r1:7b 的 ollama 镜像 mazurkatarzyna/ollama-deepseek-r1-7b
docker pull mazurkatarzyna/ollama-deepseek-r1-7b:latest
用上面的镜像部署成功了,详见博文:阿里云 GPU 实例云服务器本地部署 DeepSeek R1