昨天完成了在 k8s 集群上用阿里云 gpu 实例部署蒸馏版 deepseek-r1 7b 大模型,详见博文 https://www.cnblogs.com/dudu/p/18713973
接下来准备尝试部署满血版 deepseek-r1 671b ,面临的第一个问题是,如何在阿里云 ECS 云服务器上快速下载 404GB 的模型文件?文件大小是 deepseek-r1 7b 的近100倍。
最终还是采用 ollama 拉取
ollama pull deepseek-r1:671b
在阿里云帮助文档中找到一种下载方法:
apt-get install git-lfs
git lfs install
GIT_LFS_SKIP_SMUDGE=1 git clone https://hf-mirror.com/opensourcerelease/DeepSeek-R1-bf16
cd DeepSeek-R1-bf16/
git lfs pull
下载速度稳定在 12 MB/s 左右
这样下载还是太慢,而且不知道需要准备多大的磁盘空间,如果下载到中途因为磁盘空间不够而失败,会很郁闷
准备试试下面的方法:
模型文件下载和上传比较慢,您可以通过提交工单快速将模型文件复制到您的OSS Bucket。
“DeepSeek-R1 BF16”并非指某个特定版本,而是模型在推理时采用的 Bfloat16 精度模式,具体支持取决于部署框架(如 vLLM、SGLang)和硬件配置。
来自 deepseek
阿里云镜像市场没有包含 deepseek-r1 满血版的镜像
本想通过阿里云人工智能平台 PAI 部署一个 deepseek-r1 满血版,然后通过内网从所部署的云服务器上复制出来,结果发现 PAI 部署时只能使用指定 GPU 实例,而且该实例已售罄,想法落空
阿里云计算巢服务只提供了蒸馏版的 deepseek-r1,没有提供满血版
还是老老实实地用 ollama 拉取吧
ollama pull deepseek-r1:671b
下载速度还不错,明天早上就能就能下载好
今天5:20下载好了,一共用时9小时20分钟
ollama 拉取的 deepseek-r1:671b 是满血版的 4-bit 标准量化版,不是原装版,详见 https://q.cnblogs.com/q/151701