Qwen3 30B-A3B (MoE): 양자화 용량과 GPU 교차
파라미터 30.5B · KV/token 192 KiB 감각.
| 양자화 | GGUF GB |
|---|---|
| q4_k_m | 18.6 GB |
| q5_k_m | 21.7 GB |
| q8_0 | 32.5 GB |
Q4 기준 필요 추정 ≈ 23.8 GB (×1.25 + 0.5). 컨텍스트를 키우면 KV가 추가됩니다 — 컨텍스트 도구.
교육용 추정입니다.
자주 묻는 질문
- Q4?
- 18.6GB.
이 모델, 내 그래픽카드로 돌아갈까
파라미터 30.5B · KV/token 192 KiB 감각.
| 양자화 | GGUF GB |
|---|---|
| q4_k_m | 18.6 GB |
| q5_k_m | 21.7 GB |
| q8_0 | 32.5 GB |
Q4 기준 필요 추정 ≈ 23.8 GB (×1.25 + 0.5). 컨텍스트를 키우면 KV가 추가됩니다 — 컨텍스트 도구.
교육용 추정입니다.