양자화 등급 가이드 (Q2~Q8·GGUF)
양자화는 ‘같은 모델을 더 작은 카드에 욱여넣는 기술’이 아니라, 용량·품질·속도 세 축의 교환입니다.
한 줄 지도
- Q2~Q3: 극단적 절약. 짧은 실험·초안용. 논리·코드에서 붕괴가 잘 보임.
- Q4: 로컬 LLM 실사용의 기본 후보. 많은 7B~13B급이 소비자 카드에 들어가는 구간.
- Q5~Q6: 여유 VRAM이 있을 때 품질 여지를 보는 구간. 체감은 과제·프롬프트에 달림.
- Q8 / FP16 근처: 거의 원본에 가깝지만 용량·대역 비용이 큼. 서버·워크스테이션 쪽.
등급 이름만 보고 고르지 마세요. 배포자 README의 perplexity·체감 노트와, 본인 작업(채팅·번역·코드·요약)에서의 A/B가 우선입니다.
VRAM 관점에서의 선택 순서
- 보유 GPU free GB를 스펙 표·OS 모니터로 확인 (디스플레이·브라우저 점유 차감).
- 목표 파라미터 수 × 목표 컨텍스트로 모델 VRAM 스케치.
- 여유가 1~2GB 미만이면 양자화를 한 단계 내리거나 컨텍스트를 줄임.
- 여유 3GB 이상이면 같은 프롬프트 세트로 한 단계 올려 품질 비교.
“한 단계”는 Q4→Q5처럼 비트만이 아니라, Q4_K_S → Q4_K_M처럼 레시피 변경일 수도 있습니다.
속도도 비트에 묶인다
낮은 비트는 메모리 대역폭 부담을 줄여 토큰/초가 오르는 경우가 많습니다. 반대로 너무 공격적인 양자화는 디코딩 커널·변환 오버헤드로 이득이 사라지기도 합니다. VRAM에만 맞추고 속도·품질을 무시하면 실패 사례가 됩니다.
흔한 함정
- 파일명 Q5인데 실제는 혼합 비트·특수 포맷.
- 컨텍스트를 크게 열어 KV가 Q 등급 이득을 상쇄.
- GPU 오프로드 레이어 수를 올려 “들어간다”고 착각하고 체감은 디스크 스왑.
- 비전·툴 호출 모델에 텍스트 전용 체감표를 그대로 적용.
표와 도구로 고정하기
모델 VRAM 표와 GPU 스펙 표에 기준일을 두고, 다운로드한 GGUF 실제 바이트 수를 도구 입력에 반영하세요. 추정 파라미터×비트보다 실파일이 정확합니다.
이어 보기
교육용 정리입니다. 특정 배포본·카드의 성능을 단정하지 않습니다.