"구글은 틀렸습니다, 메모리 수만 배 필요합니다" — AI 에이전트 시대의 메모리 폭발 공식

KAIST 김정호 교수가 중학생도 이해할 수 있는 수식 3개로 증명한 메모리 수요의 진실

게시 2026/04/08 업데이트 2026/04/08

By 수수

22 분읽는 시간

"구글은 틀렸습니다, 메모리 수만 배 필요합니다" — AI 에이전트 시대의 메모리 폭발 공식

안녕하세요. 수수입니다.

KAIST 김정호 교수가 언더스탠딩 ‘진짜 수학, AI’ 시리즈 4편에서 충격적인 주장을 펼쳤습니다.

“AI 성능은 GPU가 아니라 메모리에서 온다. 지금보다 메모리가 수만 배 필요하다.”

이번에는 중학생도 이해할 수 있는 수학 공식 3개만으로 AI 에이전트 시대에 왜 메모리 수요가 폭발하는지, 왜 삼성·SK하이닉스가 지금 텍사스 사막에 공장을 세워야 하는지를 설명합니다.

30초 핵심 요약

AI 에이전트 시대: 판별형 → 생성형 → 에이전틱 AI로 진화, 초개인화가 핵심
컨텍스트 엔지니어링: 프롬프트만으로는 부족, 파일·영상·과거 기록을 모두 입력하는 시대
KV캐시 폭발: 컨텍스트 길이가 1,000배~100만 배 증가 → 메모리 수요 곱하기로 폭증
공식 1 — 용량: 시퀀스 길이 × 배치 × 정밀도 × 헤드 × 레이어 × 헤드 디멘전 × 2 = 곱하기의 공포
공식 2 — 밴드위스: GbPS × 라인 수 × 다층 버스 = 데이터 전송 속도의 한계
공식 3 — 스루풋: 데이터 크기 ÷ 메모리 밴드위스 = 토큰 생성 시간 (메모리가 결정)
투자 시사점: 메모리 기업(삼성·하이닉스·마이크론·웨스턴디지털)의 구조적 성장 시대

AI 에이전트 시대가 열렸다

판별형 → 생성형 → 에이전틱 AI

김정호 교수는 AI의 진화 단계를 명확하게 구분합니다.

시대	대표 사례	특징
판별형 AI	알파고	결정을 잘하는 AI
생성형 AI	ChatGPT, 제미나이	글·그림·음악을 만드는 AI
에이전틱 AI	2026년~	심부름까지 끝내는 AI

에이전틱 AI의 3가지 핵심

특성	설명
초개인화	나의 모든 데이터를 기반으로 맞춤형 서비스
평생 학습	사용할수록 나를 더 잘 아는 AI
수익 생태계	광고·수수료·사용료로 돈 버는 시스템

“에이전틱 AI의 경쟁력은 GPU가 아니라 메모리다. 누가 데이터를 많이 갖고 있느냐가 승부를 결정한다.”

백화점 비유 — AI도 단골을 기억해야 한다

김정호 교수는 백화점 경험을 예로 들었습니다.

“같은 가게에 바지 수선하러 갔는데 ‘몇 월에 오셨던 손님이시죠’ 하고 기억하더라고요. 그러면 다음에도 그 가게 가죠. AI도 똑같다.”

자주 오는 고객(유료 사용자) → 비싸고 빠른 메모리에 데이터 상시 보관
가끔 오는 고객(무료 사용자) → 멀리 있는 저장소에서 느리게 가져옴
결론: AI 서비스 품질 = 메모리 용량 + 속도

왜 메모리가 폭발하는가? — 컨텍스트 엔지니어링

프롬프트 엔지니어링 vs 컨텍스트 엔지니어링

구분	프롬프트 엔지니어링	컨텍스트 엔지니어링
방식	텍스트(말)로만 지시	파일·문서·영상·과거 기록을 함께 제공
예시	“맥킨지 스타일로 PPT 만들어 줘”	이전에 만든 PPT를 첨부하며 “이 스타일로 해 줘”
정확도	의도 파악이 부정확	훨씬 정확한 맞춤형 결과
데이터량	수백~수천 토큰	수십만~수백만 토큰

“프롬프트 잘하는 게 실력이 아니라, 컨텍스트 잘하는 게 AI의 실력이 된 거예요.”

컨텍스트 길이의 폭발적 증가

시기	컨텍스트 길이	증가율
초기 AI	~1K 토큰	기준
현재 유료 AI	~128K 토큰	100배
가까운 미래	1M (메가) 토큰	1,000배
궁극적 목표	1G (기가) 토큰	100만 배

“내가 오늘 피곤한데 왜 그럴까? 라고 물으면, 그 질문 속에 엄청난 파일들이 붙어서 결과를 내줘요. 우리 눈에는 안 보이지만.”

메모리가 필요한 이유 — 두 종류의 메모리

종류	역할	비유	해당 기술
숏텀 메모리	지금 계산하고 결과 내는 용도	진료실 책상 위 차트	HBM, HBF
롱텀 메모리	과거 기록을 빨리 가져오는 용도	병원 지하 창고	NAND 플래시, SSD

“10억 명이 쓰는 AI라면 10억 명의 개인 데이터가 다 있어야 되는 거죠.”

공식 1: KV캐시 메모리 용량 — 곱하기의 공포

KV캐시란?

KV캐시(Key-Value Cache)는 AI 트랜스포머 모델에서 단어와 단어 사이의 연관관계를 점수로 매긴 행렬입니다. AI가 똑똑하게 대답하려면 이 KV캐시가 반드시 메모리에 저장되어 있어야 합니다.

공식

KV 메모리 = 시퀀스 길이 × 배치 × 정밀도 × 헤드 수 × 2 × 레이어 수 × 헤드 디멘전

변수	의미	누가 결정하나
시퀀스 길이	입력 컨텍스트 크기 (동영상·문서 포함)	사용자 + AI 자체
배치	동시 사용자 수	서비스 규모
정밀도	소수점 몇 자리까지 계산하나	요금제 (유료 vs 무료)
헤드 수	국어·영어·수학처럼 몇 과목을 동시에 보나	모델 설계
× 2	K행렬 + V행렬 (기본적으로 2개)	구조적 고정
레이어 수	딥러닝 깊이 (몇 층까지 반복하나)	모델 설계
헤드 디멘전	토큰 하나를 몇 개 벡터로 표현하나	모델 설계

곱하기가 무서운 이유

“덧셈이 아니라 곱하기예요. 열 배 × 열 배 × 열 배면 천 배가 되잖아요.”

실제 계산 예시 (Llama 3.3 — 70B 모델):

항목	값
컨텍스트 길이	128K
KV캐시 메모리	39GB
HBM4 8개 탑재 시	256GB → 15%를 KV캐시가 차지

컨텍스트가 메가~기가로 가면?

컨텍스트 길이	KV캐시 메모리	증가율
128K (현재)	39GB	기준
1M (10배)	~수백 GB	~10배
10M (100배)	수 TB	~100배
1G (미래)	수십~수백 TB	~10,000배

“이 공식을 꼭 평생 기록해 두시고, 왜 리사 수가 한국에 오나, 왜 삼성·하이닉스가 보너스를 1억씩 받나 할 때 이 공식을 다시 열어 보시면 좋겠습니다.”

밥상의 비유

“1억 명의 국민이 하루에 세 끼 밥을 먹으려면 쌀 수요가 나오잖아요. 밥 만드는 공장(GPU)은 효율화할 수 있지만, 1억 명의 밥상 크기(메모리)는 안 줄어요.”

공식 2: 메모리 밴드위스 — 빨리 갖고 와야 한다

용량만으로는 부족하다

아무리 메모리 용량이 커도, GPU가 필요할 때 빨리 읽어올 수 없으면 사용자는 기다려야 합니다.

밴드위스 공식

메모리 밴드위스 = GbPS(라인당 속도) × 라인 수 × 다층 버스

변수	의미	현재 수준
GbPS	1개 고속도로 차선의 속도	전기: ~100Gbps, 광통신: 더 빠름
라인 수	고속도로 차선의 개수	HBM3: 1,024개 → HBM4: 2,048개 (2배)
다층 버스	1층 버스 vs 2층 버스	HBM5~6에서 적용 예상

HBM 세대별 밴드위스 개선 방법

세대	주요 개선 방법	효과
HBM3 → HBM4	라인 수 2배 (1,024 → 2,048)	밴드위스 2배
HBM4 → HBM5	라인당 속도(GbPS) 증가	추가 2배
HBM5 → HBM6	다층 버스 도입	추가 2배

광통신 vs HBM — 엔비디아의 고민

방식	장점	단점
HBM (가까이 붙이기)	저항 적음, 구리 기반으로 효율적	한국 메모리 기업에 의존
광통신 (멀리서 연결)	원거리 고속 전송 가능	전력 소모, 공간 복잡, 비용

“엔비디아는 HBM을 쓰면 삼성·하이닉스에 끌려가니까 광통신으로 멀리 있는 메모리를 쓰자고 한다. 그런데 비행기 연료값(전력 소모) 때문에 안 될 거라는 게 제 주장이다.”

ICMS — 차세대 메모리 아키텍처

ICMS(Inference Context Memory Storage): 엔비디아가 추진하는 인퍼런스용 대용량 메모리 저장소

NAND 플래시 기반의 대용량 롱텀 메모리
GPU와 광통신으로 연결
김정호 교수의 평가: “HBM이 안 되니까 할 수 없이 하는 것”

공식 3: 스루풋 — 토큰 생성 시간의 비밀

AI 응답 속도의 두 단계

단계	이름	뭐가 결정하나	체감
1단계	레이턴시 (첫 단어 나오는 시간)	GPU 연산 능력	“생각 중…”
2단계	스루풋 (이후 단어 쏟아지는 속도)	메모리 밴드위스	따다다다 나옴

스루풋 공식

토큰당 시간 = (GPU 연산 시간) + (데이터 크기 ÷ 메모리 밴드위스)

“첫 단어 나올 때까지는 혼자 생각하는데, 한번 나오면 그다음 쫙 나오거든요. 그거는 메모리 밴드위스가 결정하는 겁니다.”

핵심 인사이트

포인트	설명
GPU는 첫 응답만 결정	이후 체감 속도는 메모리가 좌우
용량이 부족하면 더 느려짐	멀리서 데이터를 긁어 오는 시간이 추가
메모리가 AI 사용자 경험의 핵심	빠른 응답 = 높은 밴드위스 + 충분한 용량

일론 머스크의 테라팹 — 왜 직접 짓겠다는 건가?

김정호 교수는 일론 머스크가 테라팹(Terafab)을 짓겠다고 선언한 배경을 이 공식으로 설명합니다.

머스크의 고민	공식과의 연결
자율주행에 엄청난 메모리 필요	이미지·영상 = 초대용량 KV캐시
메모리 수급이 안 됨	삼성·하이닉스에 번호 뽑고 기다리기 싫다
테슬라·xAI 모두 메모리 의존	팩토리를 직접 지어야 한다는 결론

“GPU 들어간 팩토리가 운동장 하나면, 메모리 팩토리는 한 100개 운동장이 되지 않을까.”

미래 전망 — 메모리가 계층을 나눈다

메모리 = 새로운 부의 기준

“미래에는 선 볼 때 ‘너 메모리가 얼마나 됐니?’ 이렇게 물어볼 수도 있다.”

현재	미래
AI 요금제 (월 정액)	메모리 용량별 차등 과금
무료 사용자: 제한된 성능	적은 메모리 = 느리고 부정확한 AI
유료 사용자: 빠른 응답	많은 메모리 = 나를 완벽히 아는 AI

메모리 기업이 가격 결정권을 쥔다

김정호 교수의 예측	근거
삼성·하이닉스가 물량을 천천히 늘릴 것	수요 > 공급 → 가격 상승
메모리 공장 신설에 최소 3년	즉시 대응 불가 → 공급 부족 지속
5년간 메모리 기업이 돈을 잘 벌 것	구조적 수요 증가, 경쟁 진입장벽 높음

“삼성·하이닉스 사장이라면 지금 물량을 막 안 늘릴 것 같아. 천천히 올리면서 가격을 유지할 것.”

김정호 교수의 핵심 메시지 정리

메모리 수요에 대해

“GPU는 이런 곱하기 공식이 없어요. 메모리만 곱하기입니다. 이게 가장 무서운 공식이에요.”

AI 경쟁력에 대해

“인공지능끼리의 경쟁에서 알고리즘의 차이는 거의 없어졌다. 성능의 차이는 메모리에서 온다.”

메모리 기업에 대해