"구글은 틀렸습니다, 메모리 수만 배 필요합니다" — AI 에이전트 시대의 메모리 폭발 공식

안녕하세요. 수수입니다.

KAIST 김정호 교수가 언더스탠딩 ‘진짜 수학, AI’ 시리즈 4편에서 충격적인 주장을 펼쳤습니다.

“AI 성능은 GPU가 아니라 메모리에서 온다. 지금보다 메모리가 수만 배 필요하다.”

이번에는 중학생도 이해할 수 있는 수학 공식 3개만으로 AI 에이전트 시대에 왜 메모리 수요가 폭발하는지, 왜 삼성·SK하이닉스가 지금 텍사스 사막에 공장을 세워야 하는지를 설명합니다.

목차

• 30초 핵심 요약
• AI 에이전트 시대가 열렸다
• 왜 메모리가 폭발하는가? — 컨텍스트 엔지니어링
• 공식 1: KV캐시 메모리 용량 — 곱하기의 공포
• 공식 2: 메모리 밴드위스 — 빨리 갖고 와야 한다
• 공식 3: 스루풋 — 토큰 생성 시간의 비밀
• 일론 머스크의 테라팹 — 왜 직접 짓겠다는 건가?
• 미래 전망 — 메모리가 계층을 나눈다
• 관련 기업 주가 현황
• 김정호 교수의 핵심 메시지 정리
• 투자 시사점
• 관련 포스팅

30초 핵심 요약

• AI 에이전트 시대: 판별형 → 생성형 → 에이전틱 AI로 진화, 초개인화가 핵심
• 컨텍스트 엔지니어링: 프롬프트만으로는 부족, 파일·영상·과거 기록을 모두 입력하는 시대
• KV캐시 폭발: 컨텍스트 길이가 1,000배~100만 배 증가 → 메모리 수요 곱하기로 폭증
• 공식 1 — 용량: 시퀀스 길이 × 배치 × 정밀도 × 헤드 × 레이어 × 헤드 디멘전 × 2 = 곱하기의 공포
• 공식 2 — 밴드위스: GbPS × 라인 수 × 다층 버스 = 데이터 전송 속도의 한계
• 공식 3 — 스루풋: 데이터 크기 ÷ 메모리 밴드위스 = 토큰 생성 시간 (메모리가 결정)
• 투자 시사점: 메모리 기업(삼성·하이닉스·마이크론·웨스턴디지털)의 구조적 성장 시대

AI 에이전트 시대가 열렸다

판별형 → 생성형 → 에이전틱 AI

김정호 교수는 AI의 진화 단계를 명확하게 구분합니다.

에이전틱 AI의 3가지 핵심

“에이전틱 AI의 경쟁력은 GPU가 아니라 메모리다. 누가 데이터를 많이 갖고 있느냐가 승부를 결정한다.”

백화점 비유 — AI도 단골을 기억해야 한다

김정호 교수는 백화점 경험을 예로 들었습니다.

“같은 가게에 바지 수선하러 갔는데 ‘몇 월에 오셨던 손님이시죠’ 하고 기억하더라고요. 그러면 다음에도 그 가게 가죠. AI도 똑같다.”

• 자주 오는 고객(유료 사용자) → 비싸고 빠른 메모리에 데이터 상시 보관
• 가끔 오는 고객(무료 사용자) → 멀리 있는 저장소에서 느리게 가져옴
• 결론: AI 서비스 품질 = 메모리 용량 + 속도

왜 메모리가 폭발하는가? — 컨텍스트 엔지니어링

프롬프트 엔지니어링 vs 컨텍스트 엔지니어링

“프롬프트 잘하는 게 실력이 아니라, 컨텍스트 잘하는 게 AI의 실력이 된 거예요.”

컨텍스트 길이의 폭발적 증가

“내가 오늘 피곤한데 왜 그럴까? 라고 물으면, 그 질문 속에 엄청난 파일들이 붙어서 결과를 내줘요. 우리 눈에는 안 보이지만.”

메모리가 필요한 이유 — 두 종류의 메모리

“10억 명이 쓰는 AI라면 10억 명의 개인 데이터가 다 있어야 되는 거죠.”

공식 1: KV캐시 메모리 용량 — 곱하기의 공포

KV캐시란?

KV캐시(Key-Value Cache)는 AI 트랜스포머 모델에서 단어와 단어 사이의 연관관계를 점수로 매긴 행렬입니다. AI가 똑똑하게 대답하려면 이 KV캐시가 반드시 메모리에 저장되어 있어야 합니다.

공식

KV 메모리 = 시퀀스 길이 × 배치 × 정밀도 × 헤드 수 × 2 × 레이어 수 × 헤드 디멘전

곱하기가 무서운 이유

“덧셈이 아니라 곱하기예요. 열 배 × 열 배 × 열 배면 천 배가 되잖아요.”

실제 계산 예시 (Llama 3.3 — 70B 모델):

컨텍스트가 메가~기가로 가면?

“이 공식을 꼭 평생 기록해 두시고, 왜 리사 수가 한국에 오나, 왜 삼성·하이닉스가 보너스를 1억씩 받나 할 때 이 공식을 다시 열어 보시면 좋겠습니다.”

밥상의 비유

“1억 명의 국민이 하루에 세 끼 밥을 먹으려면 쌀 수요가 나오잖아요. 밥 만드는 공장(GPU)은 효율화할 수 있지만, 1억 명의 밥상 크기(메모리)는 안 줄어요.”

공식 2: 메모리 밴드위스 — 빨리 갖고 와야 한다

용량만으로는 부족하다

아무리 메모리 용량이 커도, GPU가 필요할 때 빨리 읽어올 수 없으면 사용자는 기다려야 합니다.

밴드위스 공식

메모리 밴드위스 = GbPS(라인당 속도) × 라인 수 × 다층 버스

HBM 세대별 밴드위스 개선 방법

광통신 vs HBM — 엔비디아의 고민

“엔비디아는 HBM을 쓰면 삼성·하이닉스에 끌려가니까 광통신으로 멀리 있는 메모리를 쓰자고 한다. 그런데 비행기 연료값(전력 소모) 때문에 안 될 거라는 게 제 주장이다.”

ICMS — 차세대 메모리 아키텍처

ICMS(Inference Context Memory Storage): 엔비디아가 추진하는 인퍼런스용 대용량 메모리 저장소

• NAND 플래시 기반의 대용량 롱텀 메모리
• GPU와 광통신으로 연결
• 김정호 교수의 평가: “HBM이 안 되니까 할 수 없이 하는 것”

공식 3: 스루풋 — 토큰 생성 시간의 비밀

AI 응답 속도의 두 단계

스루풋 공식

토큰당 시간 = (GPU 연산 시간) + (데이터 크기 ÷ 메모리 밴드위스)

“첫 단어 나올 때까지는 혼자 생각하는데, 한번 나오면 그다음 쫙 나오거든요. 그거는 메모리 밴드위스가 결정하는 겁니다.”

핵심 인사이트

일론 머스크의 테라팹 — 왜 직접 짓겠다는 건가?

김정호 교수는 일론 머스크가 테라팹(Terafab)을 짓겠다고 선언한 배경을 이 공식으로 설명합니다.

“GPU 들어간 팩토리가 운동장 하나면, 메모리 팩토리는 한 100개 운동장이 되지 않을까.”

미래 전망 — 메모리가 계층을 나눈다

메모리 = 새로운 부의 기준

“미래에는 선 볼 때 ‘너 메모리가 얼마나 됐니?’ 이렇게 물어볼 수도 있다.”

메모리 기업이 가격 결정권을 쥔다

“삼성·하이닉스 사장이라면 지금 물량을 막 안 늘릴 것 같아. 천천히 올리면서 가격을 유지할 것.”

관련 기업 주가 현황

HBM 메모리 — 삼성전자 · SK하이닉스 · 마이크론

NAND 플래시 · 롱텀 메모리 — 웨스턴디지털 · 샌디스크

AI 반도체 · GPU — 엔비디아 · AMD · 브로드컴

광통신 · AI 인프라 — 테슬라 · 구글

김정호 교수의 핵심 메시지 정리

메모리 수요에 대해

“GPU는 이런 곱하기 공식이 없어요. 메모리만 곱하기입니다. 이게 가장 무서운 공식이에요.”

AI 경쟁력에 대해

“인공지능끼리의 경쟁에서 알고리즘의 차이는 거의 없어졌다. 성능의 차이는 메모리에서 온다.”

메모리 기업에 대해

“삼성·하이닉스 사장이라면 지금 물량을 막 안 늘릴 것 같아. 천천히 올리면서 가격을 유지할 것.”

일론 머스크에 대해

“성격 급한 일론 머스크가 ‘진짜 내가 메모리든 뭐든 반도체 만들고 만다’고 뛰쳐 나갈 만하다.”

투자 시사점

⚠️ 투자 유의사항: 본 포스팅은 김정호 교수의 분석을 정리한 것으로, 특정 종목에 대한 투자 권유가 아닙니다. 투자 결정 전 반드시 추가적인 정보를 확인하시기 바랍니다.

관련 포스팅

김정호 교수 시리즈

• “엔비디아, 좋은 날 다 갔다” — GTC 2026이 보여준 AI 반도체의 진짜 전쟁
  • GPU에서 메모리로 넘어가는 AI 패권, HBM4 경쟁, 삼성·SK하이닉스·AMD의 전략

메모리 · 반도체 관련

• 구글 터보퀀트(TurboQuant) — AI 메모리 6배 압축, 삼성·하이닉스가 흔들린 이유
  • KV캐시를 3비트로 줄이면서 정확도 손실 제로 — 이번 영상에서 김정호 교수가 “근본적으로 안 된다”고 반박한 그 기술
• 너무 비싼 HBM, 삼성·하이닉스 독주 끝낼 대체 기술의 정체 (김학주 교수)
  • CXL, 액티브 인터포저, 세레브라스 등 HBM 대체 기술과 투자 기회
• 테슬라 테라팹 완벽 정리: $200억 AI 칩 공장의 모든 것
  • 일론 머스크가 직접 반도체 공장을 짓겠다고 선언한 배경

AI 투자 전략

• AI 거품론 반박과 한국 반도체 리스크 분석 (김학주 교수)
  • AI 거품이 쉽게 터지지 않는 구조적 이유와 한국 반도체 산업의 리스크
• AI 시대 투자 기회 종합 분석 — GPU에서 양자컴퓨팅까지 (김학주 교수)
  • GPU에서 양자컴퓨팅까지, AI 시대 투자 기회 8개 섹터 완전 분석

출처: 언더스탠딩 — [진짜 수학, AI 4편] 구글은 틀렸습니다, 메모리 수만배 필요합니다 (KAIST 김정호 교수)

• YouTube 영상 바로가기