gemma-4-12B-coder-fable5-composer2.5
凉城
凉城
ListSec
2026年6月22日 19:55
江西
在小说阅读器读本章
去阅读
Gemma4-12B-Coder (GGUF)
模型基本信息
- • 仓库：
https://huggingface.co/yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF - • 基础模型：
google/gemma-4-12B-it - • 格式：GGUF
- • 任务类型：text-generation
量化规格
仓库提供了多个量化版本。
| 量化版本 | 体积 | 大概适合什么场景 |
|---|---|---|
| Q2\_K | 4.5 GB | 最小，能在很低端的机器上跑 |
| Q3\_K\_M | 5.7 GB | 8GB 显存能比较舒服地用 |
| Q4\_K\_M | 6.87 GB | README 推荐这个，体积和质量的平衡点 |
| Q6\_K | 9.11 GB | 接近无损 |
| Q8\_0 | 11.8 GB | 基本是全质量 |
Q4\_K\_M 是最现实的默认起点。Q2 太小，聊胜于无；Q6 和 Q8 对硬件要求一下子高很多，一般人未必用得上。
优势
- • 门槛低：大约 4.5 GB 可用显存或统一内存，就能跑最小的版本
- • 上下文长：现在是 256K
- • 偏编码：训练数据强调可验证的 Python 编码，模型会先展开推理，再给代码
怎么跑
llama.cpp
从hf下载后，直接llama-server启动
@echo off
cd /d C:\\llama.cpp
llama-server.exe ^
-m C:\\models\\gemma4-coding-Q4_K_M.gguf ^
--ctx-size 16384 ^
--n-gpu-layers 99 ^
--no-mmap ^
-fa on ^
--cache-type-k q8_0 --cache-type-v q8_0 ^
--temp 1.0 --top-p 0.95 --top-k 64 ^
--host 0.0.0.0 --port 18080
pause
打开 http://localhost:18080 进行聊天吧。上下文--ctx-size根据需要调整
怎么用这类模型
建议先用一个 Q4 量化版本试出大致感受，再决定要不要换更高质量的版本。本地跑 12B 级别模型本来就不是为了追求极致效果，更多是为了方便、可控、能离线用。
参考
- • https://huggingface.co/yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF
版权声明
本站仅做备份收录，仅供研究与教学参考之用。
读者将信息用于其他用途的，全部法律及连带责任由读者自行承担，本站不承担任何责任。
评论