RTX 5070: VRAM 12GB 모델 적재
NVIDIA · 12GB · GDDR7 · 대역 672 GB/s.
아래 표는 GGUF Q4 파일 크기 × 1.25 오버헤드 휴리스틱입니다. 긴 컨텍스트는 컨텍스트 VRAM으로 KV를 더하고, 공식 설명은 VRAM 공식을 보세요.
| 모델 | Q4 파일 | 필요 추정 | vs 12GB |
|---|---|---|---|
| Qwen3 4B | 2.5 GB | ~3.6 GB | 여유* |
| Llama 3.1 8B | 4.9 GB | ~6.6 GB | 여유* |
| Qwen3 8B | 5.0 GB | ~6.8 GB | 여유* |
| Gemma 3 12B | 7.3 GB | ~9.6 GB | 여유* |
| Qwen3 14B | 9.0 GB | ~11.8 GB | 빠듯* |
| Mistral Small 3.2 24B | 14.3 GB | ~18.4 GB | 빠듯* |
| Gemma 3 27B | 16.5 GB | ~21.1 GB | 빠듯* |
| Qwen3 30B-A3B (MoE) | 18.6 GB | ~23.8 GB | 빠듯* |
| EXAONE 4.0 32B | 19.3 GB | ~24.6 GB | 빠듯* |
| Qwen3 32B | 19.8 GB | ~25.2 GB | 빠듯* |
| Llama 3.3 70B | 42.5 GB | ~53.6 GB | 빠듯* |
도구: 모델 VRAM · GPU 역산 · 양자화 · 시작 가이드.
교육용 추정이며 구매 자문이 아닙니다.