VRAM 계산 공식과 한계
VRAM 추정은 ‘가중치 + 여유 + 대화 길이’의 합입니다. 공식은 스케치용이고, 런타임이 최종 심판입니다.
왜 공식이 필요한가
모델 카드의 “12GB로 돌아갑니다”는 종종 특정 양자화·특정 컨텍스트·특정 런타임을 전제로 합니다. 본인 카드의 표시 VRAM과 1:1로 맞추려면 가정을 분해해야 합니다. 브램체크는 그 분해를 표와 계산기로 고정해 둡니다.
뼈대 식
교육용으로 쓰는 뼈대는 다음과 같습니다.
- 가중치 항: GGUF(또는 동등 양자화 파일) 크기(GB) × 오버헤드 배수(기본 예: 1.25).
- KV 항: (토큰당 KV KiB × 최대 컨텍스트 토큰)을 GB로 환산.
- 여유: OS·디스플레이·다른 프로세스. 통합 메모리는 이 여유가 더 큽니다.
모델 VRAM 계산기에 파라미터 수·비트·컨텍스트를 넣으면 같은 논리를 숫자로 돌려 볼 수 있습니다. 역으로 GPU 여유 도구는 “이 카드에 남는 GB” 관점으로 읽습니다.
오버헤드가 커지는 경우
- CUDA/ROCm 그래프, 컴파일 캐시, 디버그 빌드.
- 배치 크기 > 1, 동시 슬롯, 비전 타워·프로젝터.
- LoRA 어댑터 여러 장, 스펙큘러티브 디코딩 초안 모델.
- 프레임워크가 임시 텐서를 한꺼번에 잡는 구간(프리필).
반대로 공격적인 오프로드(레이어를 RAM/디스크로)를 쓰면 “VRAM 숫자”는 줄지만 속도가 급락할 수 있습니다. 공식만으로 체감을 보장하지 않습니다.
KV가 지배하는 구간
7B Q4 가중치가 4~5GB대여도, 32k~128k 컨텍스트에서는 KV가 수 GB를 추가합니다. “모델은 들어가는데 긴 대화에서 OOM”이 전형적입니다. ctx-vram 도구로 컨텍스트만 바꿔 민감도를 보세요.
한계 목록 (읽기 전 체크)
- 멀티모달·이미지 입력은 별도 피크.
- 학습/파인튜닝 피크는 추론 공식과 다름.
- 제조사 표기 VRAM ≠ 사용자 프로세스에 보이는 free.
- 같은 GGUF 이름이어도 양자화 레시피(중요도 매트릭스 등)에 따라 품질·속도가 갈림.
실무 순서
- 목표 모델·양자화·컨텍스트를 정한다.
- 모델 VRAM 도구로 필요 GB 스케치.
- GPU 스펙 표에서 보유/후보 카드 free 감각 확인.
- 실제 런타임에서
nvidia-smi등으로 피크를 한 번 측정해 오버헤드 배수를 개인화.
이 사이트에서 이어서
교육용 추정이며 하드웨어 구매·성능 자문이 아닙니다. 실제 점유는 런타임·드라이버·설정에 따라 달라집니다.