컨텍스트 65,536 토큰
KV 캐시는 토큰 수에 대략 비례합니다. 가중치만 보고 긴 컨텍스트를 열면 OOM이 납니다.
필요 KV(GB) ≈ (토큰당 KV KiB × 65536) / 1024 / 1024. 모델마다 토큰당 KV가 다릅니다 — 컨텍스트 VRAM 도구에 값을 넣으세요.
컨텍스트 길이는 KV 캐시를 통해 VRAM을 추가 소모합니다. 모델 가중치만 보고 긴 대화를 열면 OOM이 납니다.
이 모델, 내 그래픽카드로 돌아갈까
KV 캐시는 토큰 수에 대략 비례합니다. 가중치만 보고 긴 컨텍스트를 열면 OOM이 납니다.
필요 KV(GB) ≈ (토큰당 KV KiB × 65536) / 1024 / 1024. 모델마다 토큰당 KV가 다릅니다 — 컨텍스트 VRAM 도구에 값을 넣으세요.
컨텍스트 길이는 KV 캐시를 통해 VRAM을 추가 소모합니다. 모델 가중치만 보고 긴 대화를 열면 OOM이 납니다.