AI 모델은 왜 메모리를 먹나…파라미터의 산수

특집은 “AI가 메모리를 요구한다”는 문장을 여러 번 썼다. HBM, 온디바이스, 데이터센터. 오늘은 그 문장의 바닥에 있는 산수를 편다. 모델의 크기는 어떻게 메모리 용량이 되는가.

곱셈, 알의 개수 × 알의 무게

AI 모델의 실체는 파라미터라고 부르는 숫자들의 거대한 목록이다. 학습이란 이 숫자들을 조정하는 일이고, 추론이란 이 숫자들과 입력을 곱하고 더하는 일이다. 그러니 모델의 저장 무게는 곱셈 하나로 어림된다.

모델 무게 ≒ 파라미터 수 × 숫자 하나의 크기(정밀도).

숫자 하나를 얼마나 정밀하게 담느냐가 두 번째 인수다. 16비트(2바이트)가 흔한 기준이고, 8비트(1바이트)·4비트(0.5바이트)로 줄일 수도 있다. 대입해 보면 감이 온다: 100억(10B) 파라미터 모델을 16비트로 담으면 약 20GB, 1,000억(100B)이면 약 200GB다. 여기에 추론 중 대화 맥락을 기억하는 작업 공간(KV 캐시)과 실행 오버헤드가 얹혀, 실제 필요량은 이 어림보다 커진다. 학습은 기울기·최적화 상태까지 들고 있어야 해서 몇 배가 더 든다.

병목, 용량이 아니라 흐름

산수의 두 번째 층이 특집의 본론과 만난다. 추론은 답의 조각(토큰) 하나를 만들 때마다 이 무게의 대부분을 메모리에서 읽어 내야 한다. 초당 수십 조각을 만들려면 수백 GB급 데이터를 초당 수십 번 나르는 흐름이 필요하다. 병목이 저장 용량이 아니라 대역폭에 걸리는 이유고, 트랜지스터 기사에서 본 “운반의 병목” 그 자체다. D램을 쌓아 프로세서 곁에 붙인 HBM이 AI 칩의 표준 짝이 된 것은 취향이 아니라 이 산수의 강제다.

같은 곱셈이 반대 방향으로도 일한다. 온디바이스 AI 기사에서 본 양자화다. 정밀도를 16비트에서 4비트로 줄이면 같은 모델의 밥값이 4분의 1로 준다(품질 손실을 관리하는 것이 기술이다). 스마트폰의 저전력 D램 용량 안에 모델을 밀어 넣는 다이어트의 정체가 이 인수 조정이고, 기기의 메모리 탑재량이 곧 “돌릴 수 있는 모델의 상한”이 되는 구조도 여기서 나온다.

• 01

  어림의 공식

  파라미터 × 바이트/개, 10B·16비트 ≈ 20GB. 모델 발표 기사를 만나면 이 곱셈부터 해 볼 것.

• 02

  흐름의 병목

  토큰마다 무게 전체를 읽는다. 용량보다 대역폭, 그래서 HBM. AI 메모리 수요의 산수적 뿌리다.

• 03

  다이어트의 정체

  양자화 = 정밀도 인수 줄이기, 온디바이스의 핵심 기술이 같은 곱셈의 반대 방향 조작이라는 것.

카드 한 장에 들어가는가

곱셈을 실제 장비에 대 보면 이 산수가 왜 산업의 문제인지 드러난다. NVIDIA H100 SXM의 메모리는 80GB, 대역폭은 3.35TB/s다. 여기에 파라미터 수를 대입해 보자.

모델 크기	FP16(2바이트)	FP8(1바이트)
70억	14GB	7GB
700억	140GB	70GB
4,050억	810GB	405GB

700억 파라미터 모델을 FP16으로 올리면 140GB, 80GB짜리 카드 한 장에 들어가지 않는다. 정밀도를 FP8로 낮추면 70GB가 되어 한 장에 겨우 앉는다. 정밀도를 한 칸 낮추는 일이 카드 수를 반으로 줄이는 결정이 되는 지점이다.

여기서 주의할 것이 있다. 위 표는 파라미터만 센 값이다. 실제로는 계산 중간값과 KV 캐시가 더해지므로 필요한 메모리는 이보다 크고, 문맥 길이가 길어질수록 그 몫이 빠르게 늘어난다. 「모델 크기 × 정밀도」는 하한선이지 소요량이 아니다.

실무에서 틀리기 쉬운 지점

첫째, 파라미터 수만으로 필요한 메모리를 계산하는 것. 위 단서가 그 답이다. 활성값과 KV 캐시가 빠져 있어, 실제 구동에는 표의 숫자보다 넉넉한 여유가 필요하다.

둘째, 정밀도를 낮추면 공짜로 절반이 된다고 보는 것. 메모리는 절반이 되지만 정확도는 그대로가 아니다. 어디까지 낮춰도 되는지는 작업 성격에 따라 다르며, 그 판단이 곧 모델을 서비스에 올리는 기술이다.

셋째, 용량만 보고 대역폭을 잊는 것. 모델이 카드에 올라가도 매초 그 무게를 실어 나르지 못하면 응답이 느려진다. HBM이 비싼 이유가 용량이 아니라 대역폭에 있고, 메모리를 위로 쌓는 이유도 거기서 나온다.

넷째, 온디바이스를 「작은 서버」로 상상하는 것. 휴대기기의 메모리와 전력 예산은 데이터센터와 자릿수가 다르다. 같은 모델을 줄이는 것이 아니라 애초에 다른 크기의 모델을 쓰는 쪽에 가깝고, 그래서 온디바이스 경쟁은 성능 경쟁이자 다이어트 경쟁이다.