Qwen3.8 27B 量化评测:4-bit 仍可用,1-bit 明显失效
Benchmarking Qwen3.8 27B quantizations: 4-bit holds up, 1-bit collapses
片段对比 Qwen3.8 27B 的 8-bit、4-bit、2-bit 与 1-bit 量化,考察智能体编码、GPQA Diamond、显存和长推理表现。4-bit 约 17GB,仍可保持较强编码能力;1-bit 虽仅占 6.2GB,却降至近似随机水平,说明压缩存在明显断崖。
为什么读它把量化精度、上下文预算和任务能力放在同一框架下比较,能帮助读者判断 24GB 显卡该选哪个档位。
带着问题读在 6.2GB 的 1-bit 版本上,若限制思考长度,GPQA Diamond 的随机水平是否会改善?