AI 칩 삼형제…GPU·NPU·ASIC은 무엇이 다른가

특집이 HBM과 그 경쟁 구도를 다뤘다. 그런데 그 HBM이 붙는 “AI 칩” 자체는 한 종류가 아니다. 오늘은 AI 반도체라는 단어를 세 갈래로 쪼갠다.

스펙트럼, 유연성과 효율의 맞교환

GPU, 범용의 왕. 본래 그래픽 처리용으로 태어났지만, 수천 개의 작은 연산 장치로 같은 계산을 동시에 처리하는 구조가 AI의 행렬 연산과 정확히 맞아떨어졌다. 어떤 모델이든, 학습이든 추론이든 소화하는 유연성이 최대 무기, 연구와 개발이 빠르게 변하는 시기에 표준이 된 이유다. 소프트웨어 생태계(개발 도구·라이브러리)가 GPU 중심으로 쌓여 온 것도 해자다.

ASIC, 전용의 극한. 특정 계산만을 위해 회로를 굳힌 주문형 칩이다. 유연성을 버린 대가로 같은 일에서는 전력·비용 효율이 극대화된다. 대형 클라우드 기업들이 자사 AI 작업에 맞춘 자체 칩을 설계하는 흐름이 이 갈래다. 설계에 막대한 비용이 들고 일이 바뀌면 무용지물이 되므로, 물량과 일의 안정성이 확보된 곳에서만 성립하는 전략이다.

NPU, 그 사이의 절충. 신경망 연산의 공통 패턴에 맞춘 전용 처리 장치로, GPU보다 효율적이고 ASIC보다는 유연하다. 스마트폰 AP에 들어가 온디바이스 AI를 돌리는 칩들이 대표적, 전력이 귀한 기기일수록 효율 쪽으로 무게가 실린다.

구분	GPU	NPU	ASIC
성격	범용 병렬 연산	AI 특화 절충	단일 목적 전용
강점	유연성·생태계	전력 효율·탑재성	극한의 효율
약점	전력·비용	범용성 한계	일이 바뀌면 무용
주 무대	데이터센터 학습·추론	스마트폰·엣지 기기	대형 클라우드 자체 물량

승부의 변수, 일이 얼마나 굳어지는가

세 갈래의 경쟁을 가르는 것은 기술 우열이 아니라 AI 워크로드의 표준화 속도다. 모델 구조가 계속 바뀌는 동안에는 유연한 GPU가 안전하고, 특정 계산이 대량으로 굳어지면 전용 칩의 효율이 이긴다. 실제 시장은 “GPU가 기본, 굳어진 물량부터 전용 칩이 잠식”하는 혼합 구도로 움직여 왔다.

한국의 관점에서 중요한 공통분모가 있다. 어느 갈래가 이기든 대량의 고대역 메모리를 곁에 둔다. GPU에도, 클라우드 ASIC에도 HBM이 실리고, 엣지 칩에도 저전력 D램이 붙는다. AI 칩 경쟁의 승자가 누구든 메모리 수요는 남는다는 것, 특집이 추적해 온 수출 통계의 구조적 배경이다.

• 01

  스펙트럼으로 기억

  유연 ↔ 효율의 눈금 위에 GPU·NPU·ASIC, 새 AI 칩 뉴스가 나오면 눈금 어디쯤인지부터 짚을 것.

• 02

  승부의 질문

  "어느 칩이 좋은가"가 아니라 "이 워크로드는 굳어졌는가", 표준화가 전용 칩의 편, 변화가 범용의 편이다.

• 03

  한국의 자리

  세 갈래 모두 고성능 메모리를 요구한다. AI 칩 전쟁의 어느 진영이 이겨도 걸려 있는 것이 한국 메모리다.

어느 눈금에 서든 메모리는 따라온다

스펙트럼의 어느 쪽을 고르든 피할 수 없는 것이 메모리다. 계산 장치가 아무리 빨라도 데이터가 제때 도착하지 않으면 놀게 되기 때문이다.

그 크기는 실제 사양에서 드러난다. NVIDIA H100 SXM은 메모리 80GB에 대역폭 3.35TB/s다. 초당 3.35테라바이트라는 숫자가 계산 성능과 짝을 이루어야 제 성능이 나온다.

그래서 AI 칩 뉴스를 읽을 때 질문은 둘이다. 이 칩이 유연성과 효율의 스펙트럼에서 어느 눈금에 서 있는가, 그리고 그 곁에 붙는 메모리는 얼마나 넓은 길을 가졌는가. 전용 칩이 효율을 얻는 자리도, 결국 이 두 번째 질문에서 갈린다.

실무에서 틀리기 쉬운 지점

첫째, 셋을 성능 순위로 줄 세우는 것. GPU·NPU·ASIC은 우열이 아니라 유연성과 효율의 교환이다. 쓰임이 자주 바뀌면 유연한 쪽이, 한 가지 일을 대량으로 반복하면 전용 쪽이 이긴다.

둘째, 전용 칩을 만들면 항상 싸진다고 보는 것. 설계와 검증에 큰 고정비가 들고, 한 번 굳으면 바꾸기 어렵다. 물량이 그 고정비를 나눠 질 만큼 나오는가가 판단의 분기점이며, 알고리즘이 빠르게 바뀌는 영역에서는 그 물량이 오지 않는다.

셋째, 연산 성능 숫자만으로 비교하는 것. 위 대역폭이 그 이유다. 같은 연산 성능이라도 데이터를 실어 나르는 길이 좁으면 실제 처리량은 나오지 않는다. 메모리를 위로 쌓는 이유가 여기서 나온다.

넷째, 소프트웨어를 빼고 계산하는 것. 새 칩으로 옮기려면 그 칩에 맞는 도구와 라이브러리가 있어야 한다. 하드웨어 성능이 앞서도 생태계가 없으면 도입 비용이 성능 이득을 넘어서며, 이것이 후발 주자의 가장 높은 벽이다.