[CS 지식24.] CPU vs GPU vs TPU: 프로세서 아키텍처 심층 비교

Overview

인공지능이 빠르게 발전하면서, 연산을 수행하는 하드웨어의 선택이 그 어느 때보다 중요해졌다. 과거에는 CPU 하나로 대부분의 연산을 처리했지만, 딥러닝의 등장 이후 GPU가 AI 학습의 핵심 가속기로 자리 잡았고, Google은 텐서 연산에 특화된 TPU를 자체 설계하여 또 다른 선택지를 제시했다.

 

이 글에서는 CPU, GPU, TPU 각각의 아키텍처적 특성을 깊이 있게 분석하고, AI 워크로드에서의 성능 차이가 어디에서 비롯되는지를 살펴본다.

 

 

 

 

---

 

1. CPU (Central Processing Unit)

 

1.1 아키텍처 특성

CPU는 폰 노이만(Von Neumann) 아키텍처를 기반으로 한 범용 프로세서다. 소수의 고성능 코어(일반적으로 4~64개)가 3~5GHz의 높은 클럭 속도로 동작하며, 순차적 명령어 처리에 최적화되어 있다.

 

CPU 아키텍처의 핵심 설계 요소는 다음과 같다.

 

 

파이프라인(Pipeline)과 비순차 실행(Out-of-Order Execution)

현대 CPU는 명령어를 `Fetch → Decode → Execute → Memory Access → Write Back` 의 다단계 파이프라인으로 처리한다. Intel Skylake 기준으로 약 14~19단계의 파이프라인을 가지며, 비순차 실행을 통해 데이터 의존성이 없는 명령어를 먼저 처리하여 파이프라인 버블(stall)을 최소화한다.

 

분기 예측(Branch Prediction)

CPU는 조건 분기 시 어떤 경로가 실행될지 예측하는 Branch Target Buffer(BTB)와 Branch History Table(BHT)을 내장하고 있다. 현대 CPU의 분기 예측 정확도는 95% 이상이며, 2025년 기준으로 ML 기반 분기 예측기가 도입되어 기존 대비 10~15%의 정확도 향상을 달성했다. 예측이 실패하면 파이프라인 플러시(flush)가 발생하여 10~20 사이클의 페널티가 생긴다.

 

캐시 계층(Cache Hierarchy)

`L1(32~64KB) → L2(256KB~1MB) → L3(수~수십 MB)` 의 다계층 캐시 구조로, 데이터 접근 지연 시간을 최소화한다. 이 구조는 데이터 지역성(locality)이 높은 워크로드에서 매우 효과적이지만, 대규모 AI 모델처럼 캐시 용량을 초과하는 데이터셋을 스트리밍 방식으로 처리하면 캐시 미스가 빈번해지는 폰 노이만 병목(Von Neumann Bottleneck) 현상이 발생한다.

 

벡터 확장 명령어

Intel의 AVX-512는 한 번에 16개의 단정밀도(FP32) 부동소수점 연산을 동시에 수행할 수 있다. ARM의 NEON SIMD도 유사한 데이터 병렬성을 제공한다. 스칼라 처리 대비 큰 성능 향상을 제공하지만, GPU의 대규모 병렬성에는 미치지 못한다.

 

 

1.2 AI 워크로드에서의 한계

CPU는 일반적으로 1~5 TFLOPS 수준의 부동소수점 연산 성능을 제공한다. 순차적 제어 흐름, 복잡한 분기 로직, 불규칙한 메모리 접근 패턴을 가진 워크로드에서는 강점을 보이지만, 신경망의 핵심 연산인 대규모 행렬 곱셈(Matrix Multiplication)은 대규모 데이터 병렬성을 요구하기 때문에 CPU 구조로는 효율적으로 처리하기 어렵다.

 

 

 

 

---

 

 

 

2. GPU (Graphics Processing Unit)

 

2.1 아키텍처 특성

GPU는 원래 3D 그래픽 렌더링을 위해 설계되었지만, 수천 개의 코어를 활용한 대규모 병렬 처리(Massively Parallel Processing) 능력 덕분에 딥러닝 학습의 사실상 표준 가속기가 되었다.

 

 

CUDA 코어와 SIMT 아키텍처

NVIDIA GPU는 CUDA(Compute Unified Device Architecture) 코어를 기반으로 한다. 이 코어들은 SIMT(Single Instruction, Multiple Threads) 모델로 동작하며, 동일한 명령어를 수천 개의 스레드에서 동시에 실행한다. NVIDIA H100 기준 약 16,896개의 CUDA 코어를 탑재하고 있다.

 

텐서 코어(Tensor Core)

NVIDIA는 Volta 아키텍처(2017)부터 텐서 코어를 도입했다. 텐서 코어는 혼합 정밀도(Mixed Precision) 행렬 연산(FP16 입력 / FP32 누적)을 하드웨어 수준에서 가속하며, H100의 경우 FP16에서 약 990 TFLOPS, FP8에서 약 1,979 TFLOPS의 성능을 제공한다.

 

HBM(High Bandwidth Memory)

최신 데이터센터 GPU는 HBM(High Bandwidth Memory)을 탑재하여 높은 메모리 대역폭을 제공한다. H100은 80GB HBM3 메모리와 약 3.35 TB/s의 메모리 대역폭을 가지며, 이는 대규모 모델의 가중치와 활성화 값을 빠르게 이동시키는 데 핵심적이다.

 

SM(Streaming Multiprocessor) 구조

GPU의 기본 실행 단위인 SM은 CUDA 코어, 텐서 코어, 레지스터 파일, 공유 메모리(Shared Memory), L1 캐시를 포함한다. 각 SM은 독립적으로 스케줄링 가능하며, 워프(Warp, 32개 스레드 그룹) 단위로 명령어를 실행한다.

 

 

2.2 소프트웨어 생태계

GPU가 AI 가속기 시장을 지배하는 데에는 하드웨어뿐 아니라 성숙한 소프트웨어 스택이 결정적 역할을 한다. CUDA, cuDNN, NCCL, TensorRT 등의 라이브러리와 PyTorch, TensorFlow 등 주요 프레임워크의 네이티브 지원이 이를 뒷받침한다. 이러한 소프트웨어 성숙도는 경쟁 하드웨어가 GPU를 대체하기 어려운 핵심 이유 중 하나다.

 

 

 

---

 

 

 

3. TPU (Tensor Processing Unit)

 

3.1 탄생 배경

2013년경, Google은 만약 모든 Android 사용자가 하루 3분만 음성 검색을 사용해도 전 세계 데이터센터 용량을 두 배로 늘려야 한다는 예측을 내놓았다. 기존 CPU와 GPU로는 딥러닝 추론 워크로드를 비용 효율적으로 처리할 수 없었고, 이것이 TPU 개발의 직접적 계기가 되었다.

 

3.2 아키텍처 특성

TPU는 텐서 연산에 특화된 ASIC(Application-Specific Integrated Circuit) 이다. GPU와 달리 그래픽 렌더링, 범용 스레드 관리, 텍스처 매핑 등의 하드웨어를 일체 포함하지 않으며, 오직 행렬 연산 효율에 집중한다.

 

시스톨릭 어레이(Systolic Array)

TPU의 핵심 차별점이다. 일반적인 CPU나 GPU에서는 매 연산마다 데이터를 메모리와 연산 유닛 사이에서 왕복시키지만, 시스톨릭 어레이에서는 데이터가 격자(Grid) 형태의 연산 소자를 리드미컬하게 흘러가며 처리된다. TPU v1은 256×256 크기의 시스톨릭 어레이를 탑재하여 사이클당 65,536개의 연산을 수행할 수 있다. 이 구조는 폰 노이만 병목을 근본적으로 우회한다.

 

결정론적 실행 모델

TPU는 700MHz(v1 기준)로 GPU(1~2GHz)나 CPU(3~5GHz)보다 낮은 클럭으로 동작하지만, 사이클당 연산 수가 압도적으로 많아 이를 상쇄한다. 시스톨릭 어레이는 파이프라인이 채워지면 매 2사이클마다 행렬 곱셈을 완료할 수 있으며, GPU의 동적 스케줄링이나 CPU의 투기적 실행(Speculative Execution)과 달리 예측 가능하고 결정론적인 실행 패턴을 가진다.

 

통합 버퍼 아키텍처

CPU의 복잡한 캐시 계층이나 GPU의 SM 구조 대신, TPU는 24~32MB의 대용량 온칩 버퍼를 사용하여 레이어 간 활성화 값을 저장한다. 이 설계는 메모리 서브시스템을 단순화하면서도 약 600GB/s의 대역폭을 제공한다.

 

 

3.3 세대별 진화

TPU는 2016년 v1 출시 이후 지속적으로 진화해왔다. v1은 추론 전용이었고, v2에서 학습 지원이 추가되었으며, v3에서는 대규모 Pod 아키텍처를 위한 수냉 시스템이 도입되었다. v4는 에너지 효율에 집중했고, v6(Trillium)은 v5e 대비 4.7배 성능 향상을 달성했다.

 

2025년에 발표된 TPU v7(Ironwood) 은 추론 특화 설계의 정점이다. 칩당 4,614 TFLOPS(BF16), 192GB HBM, 7.2 TB/s 메모리 대역폭을 제공하며, 9,216칩 Pod 구성 시 42.5 엑사플롭스(Exaflops)의 피크 연산 성능과 1.2 Tbps 양방향 인터커넥트 대역폭을 달성한다. Google은 Ironwood가 초기 TPU 세대 대비 에너지 효율이 약 30배 향상되었다고 밝혔다.

 

 

---

 

 

4. 아키텍처 비교

 

4.1 비교 다이어그램

 

 

 

 

4.2 핵심 지표 비교

항목	CPU	GPU (H100)	TPU v7 (Ironwood)
설계 철학	범용 순차 처리	대규모 병렬 처리	텐서 연산 특화
코어 수	4~64	16,896 (CUDA)	시스톨릭 어레이
클럭 속도	3~5 GHz	1~2 GHz	~700 MHz (v1)
사이클당 연산	1~10 (벡터 확장 포함 시 16)	수만	65,536+
FP 성능	1~5 TFLOPS	~990 TFLOPS (FP16)	4,614 TFLOPS (BF16)
메모리 대역폭	~100 GB/s (DDR5)	3.35 TB/s (HBM3)	7.2 TB/s (HBM)
에너지 효율 (추론)	기준	CPU 대비 29× (v1 기준)	CPU 대비 83× (v1 기준)
프레임워크 지원	모든 프레임워크	PyTorch, TensorFlow 등	TensorFlow, JAX (XLA)
유연성	최고	높음	제한적 (텐서 연산 특화)

 

 

 

---

 

 

 

5. 워크로드별 적합성

 

CPU가 적합한 경우

전통적 머신러닝(Random Forest, SVM 등), 복잡한 분기 로직이 많은 알고리즘, 데이터 전처리 및 파이프라인 오케스트레이션, 프로토타이핑 및 소규모 추론

 

GPU가 적합한 경우

딥러닝 모델 학습 (LLM, 디퓨전 모델, 컴퓨터 비전), 다양한 프레임워크를 활용한 범용 AI 개발, 혼합 워크로드(학습 + 추론 + 전처리), 커스텀 CUDA 커널이 필요한 연구

 

TPU가 적합한 경우

대규모 LLM 학습 및 추론 (Google Cloud 환경), TensorFlow/JAX 기반 워크로드, 초대규모 배치 추론 (수십억 쿼리/일), 에너지 효율이 중요한 대규모 인프라

 

 

 

---

 

 

 

마무리

CPU, GPU, TPU는 서로 대체 관계가 아닌 상호 보완 관계에 있다. CPU는 시스템의 오케스트레이터로서 복잡한 제어 흐름과 I/O를 담당하고, GPU는 유연하면서도 강력한 병렬 연산으로 가장 넓은 범위의 AI 워크로드를 처리하며, TPU는 특정 텐서 연산을 극한의 효율로 수행한다.

 

2025년 현재, 실무에서의 선택은 "어떤 프로세서가 최고인가?"가 아니라 "내 워크로드와 인프라 환경에 어떤 조합이 최적인가?" 로 바뀌고 있다. GPU는 소프트웨어 생태계의 성숙도와 범용성에서 여전히 지배적이고, TPU는 Google 인프라 내에서의 대규모 추론 효율에서 점점 더 강력한 경쟁력을 보여주고 있다.

 

앞으로 AI 하드웨어는 더욱 세분화될 것이다. NVIDIA의 Blackwell, Google의 Ironwood, AMD의 MI350 등 각 벤더가 학습과 추론, 에너지 효율의 각기 다른 축에서 경쟁하고 있으며, 엔지니어에게는 이러한 아키텍처의 본질적 차이를 이해하고 워크로드에 맞는 최적의 선택을 하는 역량이 더욱 중요해질 것이다.

 

 

 

 

 

 

---

Reference

 

• Google, "In-Datacenter Performance Analysis of a Tensor Processing Unit" (ISCA 2017)
• NVIDIA H100 Tensor Core GPU Architecture Whitepaper
• Google Cloud, "Cloud TPU Documentation" - https://cloud.google.com/tpu/docs
• Google, "Ironwood TPU: The next generation of custom silicon for AI inference" (2025)
• Patterson, D. & Hennessy, J., "Computer Organization and Design: The Hardware/Software Interface"
• Agner Fog, "The Microarchitecture of Intel, AMD, and VIA CPUs" - https://www.agner.org/optimize/microarchitecture.pdf
• Jouppi, N.P. et al., "A Domain-Specific Supercomputer for Training Deep Neural Networks" (Communications of the ACM, 2020)
• NVIDIA, "CUDA C++ Programming Guide" - https://docs.nvidia.com/cuda/
• The Purple Struct, "CPU vs GPU vs TPU vs NPU: AI Hardware Architecture Guide 2025" - https://www.thepurplestruct.com/blog/cpu-vs-gpu-vs-tpu-vs-npu-ai-hardware-architecture-guide-2025
• Fluence, "CPU, GPU, TPU & NPU: What to Use for AI Workloads (2026 Guide)" - https://www.fluence.network/blog/cpu-gpu-tpu-npu-guide/

 

 

 

 

Somaz | DevOps Engineer | Kubernetes & Cloud Infrastructure Specialist