이 모델, 내 그래픽카드로 돌아갈까?
브램체크는 로컬 LLM·이미지 작업의 VRAM을 한국어로 계산합니다. 기본식은 파라미터(B) × 비트 ÷ 8 × 오버헤드이며, 컨텍스트 KV와 LoRA 배수를 따로 둡니다.
예: 7B × 4bit × 1.4 ≈ 4.9GB (짧은 컨텍스트 근사). 긴 컨텍스트는 KV를 더하세요.
도구
- 모델 → 필요 VRAM
공식 그대로.
- GPU → 모델 규모
VRAM으로 Q4 규모 스케치.
- 컨텍스트 반영
가중치 + KV.
- LoRA 스케치
추론×배수.