"엔비디아, 좋은 날 다 갔다" — GTC 2026이 보여준 AI 반도체의 진짜 전쟁
GPU에서 메모리로 넘어가는 AI 패권 — 김정호 카이스트 교수의 GTC 2026 심층 분석
안녕하세요. 수수입니다.
카이스트 김정호 교수가 엔비디아 GTC 2026을 분석하며 던진 한마디가 강렬합니다.
“좋은 시절 많이 갔다. GPU가 세상의 전부인 줄 알았는데 메모리로 넘어가기 때문에 거기서 좀 당황하고 있는 거 아닌가.”
HBM의 아버지로 불리는 김정호 교수가 본 GTC 2026의 진짜 의미, 그리고 삼성·SK하이닉스·AMD의 고급 전략 게임을 정리합니다.
30초 핵심 요약
- GPU 성능 혁신의 한계: 엔비디아가 기능 분할 전략으로 전환 — 학습용/추론용/프리필/디코딩 분리
- 메모리가 더 중요해졌다: AI 성능을 결정하는 건 GPU가 아니라 메모리
- 에이전틱 AI의 등장: 컨텍스트 길이 1,000배~100만 배 증가 → 메모리 수요 폭발
- HBM4는 새 게임: 커스터마이즈드 HBM으로 삼성·하이닉스 완전히 새로운 경쟁 시작
- 엔비디아의 보험: 그로크(Groq) LPU, SRAM, NAND 플래시 등 HBM 의존도 낮추려는 움직임
- 리사 수의 직진: AMD가 HBM 16개 탑재로 정면 승부 — 12년 만에 한국 방문
1부: GTC 2026이 보여준 엔비디아의 변화
GPU 만능 시대의 끝
김정호 교수가 GTC 2026에서 읽어낸 가장 큰 변화는 GPU 기능의 분할입니다.
| 기존 | GTC 2026 이후 |
|---|---|
| GPU 하나로 학습 + 추론 모두 처리 | 학습용 GPU와 추론용 GPU 분리 |
| 추론도 하나의 칩 | 프리필(해석)과 디코딩(생성) 분리 |
| 범용 GPU (GPGPU) 전략 | 특수 목적별 칩 분할 전략 |
“과거에는 고속처럼 막 성능을 높이는 걸로 가다가 그게 좀 어려워지니까 시장을 나눠서 점유하자는 전략으로 간다.”
핵심 원인: 학습과 추론에 필요한 수학이 다르고, 메모리 요구량도 다르기 때문입니다. GPU 성능 향상만으로는 돌파가 어려워진 것입니다.
도전에서 수성으로
김정호 교수는 엔비디아의 태도 변화를 날카롭게 짚었습니다.
“1등 기업은 수성 전략으로 간다. 도전성이 줄어들고 있고, 그게 주가에 반영되는 거다.”
| 구분 | 과거 엔비디아 | 현재 엔비디아 |
|---|---|---|
| 전략 | GPU + HBM 정면 돌파 | 기능 분할, 대안 탐색 |
| 태도 | 공격적 도전 | 안전한 수성 |
| 파트너 | SK하이닉스 중심 | 삼성 + 하이닉스 균형 |
| 메모리 | HBM 올인 | SRAM, NAND 등 대안 탐색 |
엔비디아의 ‘보험’ — 그로크(Groq) LPU
GTC 2026에서 주목할 또 다른 포인트는 그로크(Groq)의 LPU(Language Processing Unit)입니다.
| 항목 | HBM 방식 | 그로크 LPU (SRAM) |
|---|---|---|
| 메모리 | HBM (대용량) | SRAM (소용량, 고속) |
| 용량 | HBM의 100분의 1 수준 | 256개 칩 연결로 보완 |
| 속도 | 대량 데이터 전송 | 약 100배 빠른 속도 |
| 용도 | 범용 AI | 디코딩(단어 생성) 특화 |
| 공급 | 삼성·하이닉스 의존 | 파운드리(삼성·TSMC)로 자체 생산 |
김정호 교수의 해석:
“HBM을 쓰면 삼성·하이닉스에 평생 끌려 가야 되잖아요. 그거에 대한 대안으로 LPU를 고려하는 거 아닌가.”
젠슨 황이 그로크 칩 제조를 삼성 파운드리에 맡긴 것도 이 맥락입니다. HBM 의존도를 낮추면서 동시에 삼성과의 관계도 강화하는 전략입니다.
젠슨 황의 ‘외교술’ — 삼성과 하이닉스 사이에서
GTC 2026에서 젠슨 황은 삼성에 대해 “땡큐”를 연발했습니다. 과거 SK하이닉스 일변도에서 크게 달라진 모습입니다.
| 엔비디아의 딜레마 | 설명 |
|---|---|
| SK하이닉스 독점 시 | 가격 상승 리스크 |
| 하이닉스 물량 부족 | 엔비디아 요구량 대비 생산 캐파 부족 |
| 삼성 물량이 AMD·구글로 | 경쟁자가 커지는 리스크 |
“국제 정치 이상의 고급 비즈니스가 벌어지고 있다.”
김정호 교수의 예상 배분: SK하이닉스 6 : 삼성 4 — 단, 삼성 성능이 더 좋다면 고급 제품은 삼성에서, 물량은 하이닉스에서.
메모리가 GPU를 넘어선 이유 — 에이전틱 AI
컨텍스트 엔지니어링의 시대
김정호 교수가 가장 강조한 개념은 컨텍스트 길이(Context Length)의 폭발적 증가입니다.
| 시대 | 입력 방식 | 토큰 수 | 메모리 수요 |
|---|---|---|---|
| 초기 AI | 단순 질문 | ~100 | 기본 |
| 생성형 AI (GPT) | 프롬프트 | ~1,000 | 10배 |
| 에이전틱 AI | 문서·영상·과거 대화 전부 | 100K~1M+ | 1,000~100만 배 |
“에이전틱 AI가 되면서 입력이 100배에서 1,000배가 느는데, 필요한 메모리는 거의 100만 배만큼 늘어나는 거예요.”
쿠팡의 비유
김정호 교수는 이를 쿠팡에 비유했습니다.
| 쿠팡 | AI |
|---|---|
| 새벽 배송이 경쟁력 | 빠른 응답이 경쟁력 |
| 전국에 물류센터 필요 | 대량의 메모리 인프라 필요 |
| 물류 인프라가 1등 결정 | 메모리가 AI 성능을 결정 |
“GPU가 성능을 좌우하던 시대에서, 메모리가 AI 성능을 결정하는 시대로 넘어갔다.”
이 변화가 시작된 시점: 2025년 가을. 그리고 리사 수, 젠슨 황, 일론 머스크가 2026년 초에 이를 깨닫고 한국을 찾았다는 것이 김정호 교수의 분석입니다.
2부: HBM4 — 완전히 새로운 전쟁
HBM의 역사: 세대별 업치락 뒤치락
| 세대 | 주도 기업 | 비고 |
|---|---|---|
| HBM1 | SK하이닉스 | AMD와 공동 개발, 김정호 교수 참여 |
| HBM2 | 삼성전자 | 설계 전략에서 앞섬 |
| HBM3 | SK하이닉스 | 삼성이 참여 안 한 사이 하이닉스가 실력 발휘 |
| HBM4 | 새 경쟁 시작 | 커스터마이즈드 HBM (CHBM) |
HBM4가 게임 체인저인 이유
HBM4의 가장 큰 변화는 커스터마이즈드(Customized) HBM이라는 점입니다.
| 항목 | HBM3 | HBM4 (CHBM) |
|---|---|---|
| 설계 | 범용 표준 설계 | 고객사별 맞춤 설계 |
| 공급 방식 | 만들어 놓고 판매 | 요청에 따라 맞춤 제작 |
| 베이스 다이 | 표준 | 고객사(엔비디아, AMD, 구글)마다 다름 |
| 시장 구조 | 공급자가 주도 | 협력 체계가 핵심 |
“삼성이나 SK하이닉스가 HBM을 제공할 때 엔비디아하고 설계하는 HBM하고 구글, AMD하고 다 다른 거예요.”
삼성 vs SK하이닉스 — HBM4 전략 비교
| 항목 | 삼성전자 | SK하이닉스 |
|---|---|---|
| 파운드리 | 자체 파운드리 사용 | TSMC 공정 사용 |
| 패키징 | 자체 토탈 솔루션 | TSMC 패키징 |
| 강점 | 수직 통합 (설계~패키징) | 검증된 HBM 실적 |
| HBM4 공급 | 최초 공급 시작 | 물량 우위 예상 |
리사 수의 직진 — AMD의 공격적 전략
12년 만에 한국을 방문한 AMD CEO 리사 수. 김정호 교수는 그 의미를 이렇게 해석합니다.
| 행보 | 분석 |
|---|---|
| 삼성전자 방문 | HBM 물량 확보 (P5 공장 + P6까지?) |
| 평택 공장 방문 | 대규모 장기 계약 논의 |
| 네이버 만남 | GPU 공급 논의 (엔비디아 대안) |
“리사 수가 평택까지 갔다는 건 굉장히 많은 걸 노출시킨 거다.”
엔비디아 vs AMD — GPU에 탑재하는 HBM 개수:
| 칩 | HBM 개수 | 전략 |
|---|---|---|
| 엔비디아 루빈 | 8개 | 다변화 (SRAM, NAND 등 대안 병행) |
| AMD 455X | 16개 | 정면 돌파 (HBM 물량으로 승부) |
“리자수는 그냥 직진하는 스타일. HBM이 필요하니까 양을 늘리려는 거다. 그래서 평택까지 온 거다.”
HBM의 기술적 한계와 미래
3대 기술 과제
김정호 교수는 HBM의 한계를 아파트 건축에 비유했습니다.
| 과제 | 아파트 비유 | HBM 실제 |
|---|---|---|
| 발열 | 난방·냉방 균일하게 | GPU와 HBM 뒷면 냉각, 층수 제한 |
| 전력 공급 | 일정한 수압 | 칩마다 균일한 전력 배분 |
| 데이터 통신 | 초고속 엘리베이터 | TSV(관통 전극)의 속도와 안정성 |
| 절연·단열 | 층간 소음 차단 | 칩 간 간섭 방지 |
“단층 건물 지을 때 타일 잘 붙이면 되는 시대가 아니라, 16층 아파트 타운인데 최고급 설계 기술을 써야 된다.”
미래: 아파트 타운 → 도시
16층 이상 적층이 어려워지면서 HBM은 옆으로 확장하는 방향으로 갑니다.
- HBM 수백 개가 붙는 아파트 타운 형태
- HBM끼리의 링크 기술 (광통신, 인피니밴드 등)
- 용량 한계 → NAND 플래시와의 결합 (롱텀 메모리)
| 메모리 종류 | 역할 | 비유 |
|---|---|---|
| SRAM | 즉시 계산용 | 책상 위 노트 |
| HBM | 빠른 참조용 | 가방 |
| NAND 플래시 | 장기 기록 보관 | 책장 |
관련 기업 주가 현황
AI 반도체 핵심 — 엔비디아 · AMD · 인텔
HBM 메모리 전쟁 — 삼성전자 · SK하이닉스 · 마이크론
AI 서비스 · 자체 칩 개발 — 구글 · 테슬라 · 웨스턴디지털
김정호 교수의 핵심 메시지 정리
엔비디아에 대해
“엔비디아가 영원하지 않을 수도 있겠다는 생각까지 갖게 됐다.”
- GPU 성능 혁신의 한계 → 기능 분할 + 대안 탐색
- 1등 기업의 수성 전략 → 도전성 감소 → 주가에 반영
- HBM 의존도를 낮추려는 다양한 시도 (SRAM, NAND)
메모리 기업에 대해
“메모리 기업이 GPU를 흡수해서 그 안에 집어넣어 버리면? 그런 비전을 갖는 거죠.”
- HBM 수요는 에이전틱 AI로 인해 폭발적 증가
- 삼성·하이닉스 둘 다 큰 기회
- HBM4부터는 새로운 경쟁 — 세대별 업치락 뒤치락 계속
SK하이닉스에 대해
“너무 엔비디아만 보고 하지 말아라. AMD, 애플, 테슬라도 자체 AI칩을 만들 수 있다.”
차세대 패권에 대해
“엔비디아 다음의 시가총액 1위는 메모리 기업이 될 수도 있다.”
투자 시사점
| 포인트 | 내용 |
|---|---|
| HBM 수요 | 에이전틱 AI로 1,000배~100만 배 증가 — 구조적 성장 |
| 삼성전자 | HBM4 최초 공급, 파운드리 + 메모리 수직 통합 강점 |
| SK하이닉스 | HBM 실적 1위, 물량 우위 지속 전망 |
| AMD | 공격적 HBM 탑재, 엔비디아 대안으로 부상 |
| 엔비디아 | 여전히 1위, 그러나 GPU 혁신 둔화·수성 전략 리스크 |
| 웨스턴디지털 | NAND 플래시 → AI 롱텀 메모리 수혜 가능 |
⚠️ 투자 유의사항: 본 포스팅은 김정호 교수의 분석을 정리한 것으로, 특정 종목에 대한 투자 권유가 아닙니다. 투자 결정 전 반드시 추가적인 정보를 확인하시기 바랍니다.
관련 포스팅
- “구글은 틀렸습니다, 메모리 수만 배 필요합니다” — AI 에이전트 시대의 메모리 폭발 공식
- 김정호 교수가 수학 공식 3개로 증명한 KV캐시 메모리 수요 폭발의 진실
- 구글 터보퀀트(TurboQuant) — AI 메모리 6배 압축, 삼성·하이닉스가 흔들린 이유
- KV캐시를 3비트로 줄이는 압축 기술과 메모리 기업에 미치는 영향
- 너무 비싼 HBM, 삼성·하이닉스 독주 끝낼 대체 기술의 정체 (김학주 교수)
- CXL, 액티브 인터포저, 세레브라스 등 HBM 대체 기술과 투자 기회
출처: 1타 강사와 함께하는 경제타법