首页 新闻 会员 周边 捐助

ollama 上提供的 deepseek-r1:671b 是量化版还是满血版

0
悬赏园豆:30 [已解决问题] 浏览: 201次 解决于 2025-02-17 18:05

如同 ollama 上提供的 deepseek-r1:671b 是量化版还是满血版?

dudu的主页 dudu | 高人七级 | 园豆:27830
提问于:2025-02-16 19:47
< > 人人可用的开源BI工具
分享
最佳答案
0

确认是量化版,准确地说是满血版的 4-bit 标准量化版(4-bit quantization)。

ChatGPT给出的回答:

在 Ollama 上,deepseek-r1:671b 是经过量化处理的版本,而非原始的完整模型。 原始的 DeepSeek-R1 671B 模型大小约为 720GB,部署在本地需要极高的硬件资源。

为了使更多用户能够在本地运行,DeepSeek 提供了经过量化的模型版本,显著减少了模型的体积和硬件要求。 例如,动态量化版本的模型大小可缩减至 131GB。

因此,Ollama 上的 deepseek-r1:671b 是经过量化处理的版本,适合在硬件资源有限的情况下使用。

github 上的这个 issue 也验证了这一点:Model Support: FP8 Full Precision for Deepseek R1 671B

For now, I found the model by ollama run deepseek-r1:671b is after FP4 quat, which is not the full precision version I prefer.

dudu | 高人七级 |园豆:27830 | 2025-02-17 11:58

通过这篇公众号文章进一步确认了是 4-bit 标准量化版

DeepSeek-R1-Q4_K_M(671B,4-bit 标准量化,404 GB,HuggingFace)

dudu | 园豆:27830 (高人七级) | 2025-02-17 15:00
其他回答(2)
0

问问 deepseek

收获园豆:10
络终 | 园豆:212 (菜鸟二级) | 2025-02-17 07:55

deepseek的回答:

Ollama 提供的 deepseek-r1:671b 更可能是经过量化或参数压缩的版本(如蒸馏版),而非完整参数的满血版。

支持(0) 反对(0) dudu | 园豆:27830 (高人七级) | 2025-02-17 10:33
0

其实,是哪个版本无所谓,问些问题,试下能力,够用就行

收获园豆:20
〆灬丶 | 园豆:2342 (老鸟四级) | 2025-02-17 11:48
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册
Top