GPU × 모델 Q4 적재 매트릭스
한 줄 요약: 컨텍스트 2048, Q4_K_M, 오버헤드 ×1.25 가정에서 각 GPU에 모델이 들어가는지 표시합니다.
| GPU | Qwen3 4B | Llama 3.1 8B | Qwen3 8B | Gemma 3 12B | Qwen3 14B | Mistral Small 3.2 24B | Gemma 3 27B | Qwen3 30B-A3B (MoE) | EXAONE 4.0 32B | Qwen3 32B | Llama 3.3 70B |
|---|---|---|---|---|---|---|---|---|---|---|---|
| RTX 3060 12GB (12GB) | Q4 가능 여유 8.6GB | Q4 가능 여유 5.6GB | Q4 가능 여유 5.5GB | Q4 가능 여유 2.6GB | Q4 가능 여유 0.4GB | 부족 필요 18.2GB | 부족 필요 20.9GB | 부족 필요 23.6GB | 부족 필요 24.4GB | 부족 필요 25.2GB | 부족 필요 53.8GB |
| RTX 4060 (8GB) | Q4 가능 여유 4.6GB | Q4 가능 여유 1.6GB | Q4 가능 여유 1.5GB | 부족 필요 9.4GB | 부족 필요 11.6GB | 부족 필요 18.2GB | 부족 필요 20.9GB | 부족 필요 23.6GB | 부족 필요 24.4GB | 부족 필요 25.2GB | 부족 필요 53.8GB |
| RTX 4060 Ti 16GB (16GB) | Q4 가능 여유 12.6GB | Q4 가능 여유 9.6GB | Q4 가능 여유 9.5GB | Q4 가능 여유 6.6GB | Q4 가능 여유 4.4GB | 부족 필요 18.2GB | 부족 필요 20.9GB | 부족 필요 23.6GB | 부족 필요 24.4GB | 부족 필요 25.2GB | 부족 필요 53.8GB |
| RTX 4070 (12GB) | Q4 가능 여유 8.6GB | Q4 가능 여유 5.6GB | Q4 가능 여유 5.5GB | Q4 가능 여유 2.6GB | Q4 가능 여유 0.4GB | 부족 필요 18.2GB | 부족 필요 20.9GB | 부족 필요 23.6GB | 부족 필요 24.4GB | 부족 필요 25.2GB | 부족 필요 53.8GB |
| RTX 4090 (24GB) | Q4 가능 여유 20.6GB | Q4 가능 여유 17.6GB | Q4 가능 여유 17.5GB | Q4 가능 여유 14.6GB | Q4 가능 여유 12.4GB | Q4 가능 여유 5.8GB | Q4 가능 여유 3.1GB | Q4 가능 여유 0.4GB | 부족 필요 24.4GB | 부족 필요 25.2GB | 부족 필요 53.8GB |
| RTX 5060 (8GB) | Q4 가능 여유 4.6GB | Q4 가능 여유 1.6GB | Q4 가능 여유 1.5GB | 부족 필요 9.4GB | 부족 필요 11.6GB | 부족 필요 18.2GB | 부족 필요 20.9GB | 부족 필요 23.6GB | 부족 필요 24.4GB | 부족 필요 25.2GB | 부족 필요 53.8GB |
| RTX 5060 Ti 8GB (8GB) | Q4 가능 여유 4.6GB | Q4 가능 여유 1.6GB | Q4 가능 여유 1.5GB | 부족 필요 9.4GB | 부족 필요 11.6GB | 부족 필요 18.2GB | 부족 필요 20.9GB | 부족 필요 23.6GB | 부족 필요 24.4GB | 부족 필요 25.2GB | 부족 필요 53.8GB |
| RTX 5060 Ti 16GB (16GB) | Q4 가능 여유 12.6GB | Q4 가능 여유 9.6GB | Q4 가능 여유 9.5GB | Q4 가능 여유 6.6GB | Q4 가능 여유 4.4GB | 부족 필요 18.2GB | 부족 필요 20.9GB | 부족 필요 23.6GB | 부족 필요 24.4GB | 부족 필요 25.2GB | 부족 필요 53.8GB |
| RTX 5070 (12GB) | Q4 가능 여유 8.6GB | Q4 가능 여유 5.6GB | Q4 가능 여유 5.5GB | Q4 가능 여유 2.6GB | Q4 가능 여유 0.4GB | 부족 필요 18.2GB | 부족 필요 20.9GB | 부족 필요 23.6GB | 부족 필요 24.4GB | 부족 필요 25.2GB | 부족 필요 53.8GB |
| RTX 5070 Ti (16GB) | Q4 가능 여유 12.6GB | Q4 가능 여유 9.6GB | Q4 가능 여유 9.5GB | Q4 가능 여유 6.6GB | Q4 가능 여유 4.4GB | 부족 필요 18.2GB | 부족 필요 20.9GB | 부족 필요 23.6GB | 부족 필요 24.4GB | 부족 필요 25.2GB | 부족 필요 53.8GB |
| RTX 5080 (16GB) | Q4 가능 여유 12.6GB | Q4 가능 여유 9.6GB | Q4 가능 여유 9.5GB | Q4 가능 여유 6.6GB | Q4 가능 여유 4.4GB | 부족 필요 18.2GB | 부족 필요 20.9GB | 부족 필요 23.6GB | 부족 필요 24.4GB | 부족 필요 25.2GB | 부족 필요 53.8GB |
| RTX 5090 (32GB) | Q4 가능 여유 28.6GB | Q4 가능 여유 25.6GB | Q4 가능 여유 25.5GB | Q4 가능 여유 22.6GB | Q4 가능 여유 20.4GB | Q4 가능 여유 13.8GB | Q4 가능 여유 11.1GB | Q4 가능 여유 8.4GB | Q4 가능 여유 7.6GB | Q4 가능 여유 6.8GB | 부족 필요 53.8GB |
| RX 9060 XT 8GB (8GB) | Q4 가능 여유 4.6GB | Q4 가능 여유 1.6GB | Q4 가능 여유 1.5GB | 부족 필요 9.4GB | 부족 필요 11.6GB | 부족 필요 18.2GB | 부족 필요 20.9GB | 부족 필요 23.6GB | 부족 필요 24.4GB | 부족 필요 25.2GB | 부족 필요 53.8GB |
| RX 9060 XT 16GB (16GB) | Q4 가능 여유 12.6GB | Q4 가능 여유 9.6GB | Q4 가능 여유 9.5GB | Q4 가능 여유 6.6GB | Q4 가능 여유 4.4GB | 부족 필요 18.2GB | 부족 필요 20.9GB | 부족 필요 23.6GB | 부족 필요 24.4GB | 부족 필요 25.2GB | 부족 필요 53.8GB |
| RX 9070 (16GB) | Q4 가능 여유 12.6GB | Q4 가능 여유 9.6GB | Q4 가능 여유 9.5GB | Q4 가능 여유 6.6GB | Q4 가능 여유 4.4GB | 부족 필요 18.2GB | 부족 필요 20.9GB | 부족 필요 23.6GB | 부족 필요 24.4GB | 부족 필요 25.2GB | 부족 필요 53.8GB |
| RX 9070 XT (16GB) | Q4 가능 여유 12.6GB | Q4 가능 여유 9.6GB | Q4 가능 여유 9.5GB | Q4 가능 여유 6.6GB | Q4 가능 여유 4.4GB | 부족 필요 18.2GB | 부족 필요 20.9GB | 부족 필요 23.6GB | 부족 필요 24.4GB | 부족 필요 25.2GB | 부족 필요 53.8GB |
가로 스크롤로 전체 열을 볼 수 있습니다. 부족이어도 더 낮은 양자화나 CPU 오프로드 구성은 별도 전략입니다.
자주 묻는 질문
- 판정 기준은?
- 필요 VRAM = GGUF_Q4_K_M × 1.25 + KV(토큰당 KiB × 2048)/1024/1024 가 GPU VRAM 이하이면 Q4 가능.
- 컨텍스트를 더 늘리면?
- KV 항이 선형으로 커져 여유 GB가 줄고, 경계에 있던 조합은 부족으로 바뀝니다.
- 가능이면 실사용 속도가 나오나요?
- 아니요. 적재 가능과 실용 속도는 별개입니다.
- Q5/Q8은?
- 파일 크기가 커지므로 같은 GPU에서 불가능해질 수 있습니다. 모델 표의 파일/필요 열을 직접 비교하세요.
- 근사 모델 데이터는?
- approx=true 항목은 파일 크기가 추정치일 수 있어 경계 케이스는 실제 GGUF로 재확인하세요.