AI용 GPU에서 VRAM 외에 볼 것
VRAM은 ‘들어갈 수 있는가’의 문입니다. 문을 통과한 뒤 속도·안정성은 다른 축이 결정합니다.
1. 메모리 대역폭
가중치를 매 토큰마다 읽어 오는 추론은 대역폭 바운드인 경우가 많습니다. 표기 VRAM이 같아도 버스 세대·칩 메모리 종류가 다르면 토큰/초가 갈립니다. 스펙 표에서 용량만 정렬하지 말고, 같은 급 안에서의 세대 차이를 염두에 두세요.
2. 연산 처리량 (TFLOPS·텐서 경로)
프리필(긴 프롬프트 첫 처리)은 연산 비중이 커질 수 있습니다. 디코드(토큰 생성)는 대역 비중이 커지는 패턴이 흔합니다. “벤치 점수 높은 카드”가 로컬 LLM 체감과 항상 같지는 않습니다.
3. 전원·커넥터·PSU
지속 100% 가까운 로드는 게이밍 스파이크와 다른 열·전력 프로파일입니다. 권장 정격 미달, 케이블 분할 잘못, 약전원은 스로틀·재시작으로 이어집니다. 프레임당 같은 사이트 계열이 아니므로, 여기서는 “지속 로드 여유”만 체크리스트에 넣습니다.
4. 쿨링·케이스 플로우
throttle은 VRAM free와 무관하게 발생합니다. 소형 케이스·노트북 바닥 흡기 차단·더스트는 장시간 요약·배치 작업에서 특히 잘 드러납니다. 5분 데모와 2시간 작업의 평균 토큰/초가 다르면 열을 의심하세요.
5. 런타임·드라이버
- llama.cpp 빌드 옵션, CUDA/ROCm/Metal 백엔드.
- 오프로드 레이어: VRAM을 살려도 PCIe·RAM이 병목.
- 컨텍스트·배치·병렬 슬롯.
- 드라이버·WSL·가상화 오버헤드.
공식 가이드의 한계 목록과 같이 읽으면 “표는 통과·실행은 실패”를 디버깅하기 쉽습니다.
6. 스토리지
첫 로드·스왑·mmap 경로에서 NVMe vs HDD 차이가 큽니다. “실행 중 토큰/초”와 “시작 지연”을 분리해 측정하세요.
의사결정 프레임
- 필요 VRAM 스케치 통과? → 아니면 양자화/모델/컨텍스트.
- 통과 후 속도 불만? → 대역·오프로드·열·전원.
- 간헐 크래시? → 드라이버·전원·온도·불량 VRAM 테스트.
- 예산 확장? → GB당 가격으로 용량 업 vs 세대 업 비교 스케치.
이어 보기
교육용 체크리스트입니다. 특정 제품의 우열을 단정하지 않습니다.