确认是量化版,准确地说是满血版的 4-bit 标准量化版(4-bit quantization)。
ChatGPT给出的回答:
在 Ollama 上,deepseek-r1:671b 是经过量化处理的版本,而非原始的完整模型。 原始的 DeepSeek-R1 671B 模型大小约为 720GB,部署在本地需要极高的硬件资源。
为了使更多用户能够在本地运行,DeepSeek 提供了经过量化的模型版本,显著减少了模型的体积和硬件要求。 例如,动态量化版本的模型大小可缩减至 131GB。
因此,Ollama 上的 deepseek-r1:671b 是经过量化处理的版本,适合在硬件资源有限的情况下使用。
github 上的这个 issue 也验证了这一点:Model Support: FP8 Full Precision for Deepseek R1 671B
For now, I found the model by ollama run deepseek-r1:671b is after FP4 quat, which is not the full precision version I prefer.
通过这篇公众号文章进一步确认了是 4-bit 标准量化版
DeepSeek-R1-Q4_K_M(671B,4-bit 标准量化,404 GB,HuggingFace)
问问 deepseek
deepseek的回答:
Ollama 提供的 deepseek-r1:671b 更可能是经过量化或参数压缩的版本(如蒸馏版),而非完整参数的满血版。
其实,是哪个版本无所谓,问些问题,试下能力,够用就行