로컬 LLM 시작 가이드 (llama.cpp·GGUF)
로컬 LLM 실패의 대부분은 ‘모델 선택’보다 ‘VRAM·컨텍스트·런타임 불일치’에서 납니다. 작은 모델로 파이프라인을 먼저 고정하세요.
0단계: 하드웨어 숫자 하나
카드 이름만 기억하지 말고 사용 가능 VRAM(GB)을 적습니다. 노트북·멀티모니터·브라우저 하드웨어 가속은 free를 깎습니다. GPU 스펙 표의 표기 용량과 실제 free 차이를 감안하세요. 맥·내장은 통합 메모리 가이드를 먼저 읽습니다.
1단계: 목표를 한 문장으로
- 채팅·요약·코드·번역 중 주 용도.
- 한 번에 넣을 대략 토큰(페이지 수 감각).
- 속도 민감도(느려도 품질 vs 빠른 초안).
용도가 정해져야 파라미터 수와 컨텍스트 상한이 정해집니다.
2단계: VRAM 스케치
모델 VRAM 계산에 파라미터·비트(또는 파일 GB)·컨텍스트를 넣습니다. 결과가 free보다 크면 양자화·컨텍스트·모델 크기를 줄입니다. 반대로 free가 넉넉하면 같은 용도에서 한 단계 큰 모델 또는 높은 비트를 시험할 여지가 있습니다.
이미 카드가 있다면 GPU 역산으로 “이 free에 들어가는 대략 크기”를 역으로 봅니다.
3단계: GGUF 받기
- 출처(작성자·레시피·라이선스)를 기록.
- 파일 실제 바이트를 계산기 입력에 반영.
- 체크섬·릴리즈 노트의 알려진 이슈 확인.
양자화 감각은 양자화 등급 가이드를 참고합니다.
4단계: 런타임 최소 실행
- llama.cpp(또는 호환 바이너리/UI) 설치.
- GPU 오프로드 레이어를 보수적으로 시작해 안정 확인 후 증가.
- 컨텍스트를 2k~4k처럼 작게 열어 응답 한 번 성공.
- 필요 시에만 컨텍스트를 올리고, 올릴 때마다 VRAM 피크를 측정.
첫 성공 조건은 “벤치마크 1등”이 아니라 재현 가능한 실행 스크립트입니다.
5단계: 실패 시 체크리스트
- OOM 직전 free가 0에 가까운가 → 컨텍스트·배치·동시 세션.
- 로드는 되나 토큰이 극단적으로 느린가 → 오프로드·CPU 병목·대역폭.
- 품질만 이상한가 → 양자화·채팅 템플릿·시스템 프롬프트.
- 뜨다 죽음 → 전원·온도·드라이버. VRAM 외 요인.
예산이 개입할 때
카드를 바꾸기 전이면 GB당 가격과 예산 GPU로 “필요 GB vs 지출”만 스케치하세요. 특정 제품을 단정하지 않습니다.
이어 보기
교육용 절차입니다. 소프트웨어 버전·드라이버는 사용자 환경에 맞게 공식 문서를 따르세요.