먼저 VRAM을 계산합니다
추론에 필요한 GPU 메모리는 대부분 모델 가중치가 차지합니다. 가중치 크기는 다음 식으로 어림할 수 있습니다.
가중치 메모리 ≈ 파라미터 수 × 파라미터 1개당 바이트 수
- FP16·BF16: 2바이트
- 8비트 양자화: 1바이트
- 4비트 양자화: 약 0.5바이트
예를 들어 파라미터 70억(7B) 모델은 FP16에서 약 14GB, 4비트에서 약 3.5GB입니다.
가중치 외에 필요한 메모리
실제 사용량은 가중치보다 큽니다. 생성 중인 문장의 KV 캐시, 활성값, 프레임워크가 쓰는 메모리가 더해집니다. KV 캐시는 문맥 길이와 동시에 처리하는 요청 수에 비례해 커집니다. 긴 문맥을 쓰거나 동시 요청이 많으면 가중치만큼 또는 그 이상이 추가로 필요할 수 있습니다.
계산한 가중치 메모리에 여유분을 두고 GPU를 고르세요. 정확한 값은 사용하는 추론 엔진에서 실제 문맥 길이로 실행해 측정해야 합니다.
VRAM 구간별 후보
- 24GB(L4, A10G): 작은 모델이나 양자화한 중간 크기 모델, 동시 요청이 적은 서비스
- 40GB·80GB(A100): 더 큰 모델, 긴 문맥, 많은 동시 요청
- 80GB(H100): A100 80GB와 같은 메모리에서 더 높은 처리 속도가 필요할 때
한 GPU에 들어가지 않는 모델은 여러 GPU에 나눠 올릴 수 있지만, GPU 간 통신이 늘어 구성과 비용이 달라집니다.
비용 비교
추론 서비스는 오래 켜 두는 경우가 많아 시간당 가격 차이가 월 비용에 그대로 쌓입니다. 메모리 조건을 만족하는 GPU 중에서 GPU 1장·1시간 가격이 낮은 업체부터 비교하고, 같은 부하에서 처리량을 측정해 요청 1건당 비용으로 판단하세요. VRAM별 가격은 퍼아워 가격표의 VRAM 필터로 확인할 수 있습니다.