GPU보다 더 중요한 건 거리

예전 그래픽카드는 GPU와 메모리 사이가 2~3cm 정도 떨어져 있었대요. 인간 눈에는 가까워 보여도 전자 신호 입장에서는 엄청 먼 거리였던 거죠.

왜냐하면 AI는 데이터를 초당 엄청난 속도로 주고받아야 하거든요. 결국 반도체 세계는 빛의 속도와 싸우는 산업이었어요.

HBM은 이 문제를 해결하려고 GPU 바로 옆에 붙기 시작했어요. 지금 최신 구조는 거의 1mm 수준까지 접근했죠. 쉽게 말하면 서울과 부산 거리였던 게 같은 건물 복도 수준으로 줄어든 느낌이에요.

게다가 차선도 넓어졌어요. 기존 메모리는 16차선 정도였다면 HBM은 1024차선, 앞으로 HBM4는 2048차선까지 늘어난다고 해요. 도로가 넓어지니까 데이터가 동시에 훨씬 많이 지나갈 수 있는 거죠.

이 아이디어가 아파트 구조에서 나왔다는 점이에요. 반도체도 결국 공간 활용 싸움이었던 셈이에요. 층을 쌓고, 엘리베이터처럼 데이터를 이동시키는 구조가 지금의 HBM 핵심 기술이 됐죠.

너무 높게 쌓으면 발열과 수율 문제가 심해져요. 그래서 앞으로는 초고층보다 아파트 단지형 구조가 더 중요해질 가능성이 커 보이더라고요.

HBM4가 나오면 AI는 얼마나 빨라질까

요즘 업계가 가장 기대하는 건 HBM4예요. 기존 HBM3보다 데이터 차선이 두 배 가까이 늘어나거든요. 쉽게 말해 AI가 자료를 읽는 속도가 훨씬 빨라지는 거예요.

특히 생성형 AI는 한번에 처리해야 하는 정보량이 너무 많아요. 예전엔 텍스트만 처리했지만 이제는 이미지, 음성, 영상까지 동시에 읽죠. 그러다 보니 메모리 용량 자체가 부족해지고 있어요.

그래서 최근 AI 기업들이 하는 경쟁은 모델 크기 경쟁이 아니라 사실상 인프라 경쟁에 가까워요. 엔비디아 GPU를 얼마나 확보하느냐, HBM 물량을 얼마나 받느냐가 핵심이죠.

실제로 오픈AI, 구글, 메타까지 모두 메모리 확보 경쟁에 들어간 상태예요. AI 산업의 진짜 원유는 이제 데이터와 메모리라는 말까지 나와요.

다만 문제도 있어요. HBM은 만들기가 너무 어려워요. 층을 얇게 깎아야 하고, 미세 구멍을 정확히 연결해야 하거든요. 조금만 틀어져도 수율이 확 떨어져요.

이런 기술 장벽 덕분에 SK하이닉스가 현재 시장 주도권을 유지하고 있다는 분석도 많아요. 쉽게 따라올 수 없는 영역이 된 거죠.

왜 한국이 HBM 생태계를 장악했을까

실리콘밸리 CEO들은 인도계, 중국계가 많지만 HBM 분야는 한국 연구진 영향력이 엄청 크다는 이야기였어요.

실제로 카이스트 출신 연구자들이 삼성전자, SK하이닉스는 물론 엔비디아와 구글 TPU 팀까지 퍼져 있다고 해요. 결국 기술 산업은 사람 네트워크 싸움이라는 걸 보여주는 사례 같았어요.

특히 한국은 메모리 반도체 경험이 워낙 오래됐어요. 삼성전자와 SK하이닉스가 수십 년 동안 축적한 제조 기술이 있었죠. HBM은 단순 설계만으로 되는 게 아니라 생산 경험이 정말 중요하거든요.

게다가 반도체는 장비, 소재, 패키징까지 생태계 전체가 연결돼 있어요. 한 회사 혼자 잘한다고 되는 산업이 아니에요. 그래서 지금 글로벌 빅테크들도 한국 메모리 공급망에 의존하는 구조가 만들어진 거죠.

중국도 엄청난 속도로 추격 중이에요. 미국 제재가 오히려 자립 투자를 더 키우고 있다는 분석도 있어요. 지금 우위가 영원하다고 장담할 수는 없다는 의미죠.

AI 시대에도 메모리는 영원할까

HBM 인기가 영원할까? AI든 게임이든 결국 데이터를 저장하고 불러와야 하거든요.

반면 GPU는 형태가 계속 바뀔 수 있어요. 지금은 엔비디아가 강하지만 미래에는 전혀 다른 구조가 등장할 수도 있죠. 하지만 메모리 자체는 사라지기 어렵다는 거예요.

특히 AI가 발전할수록 기억해야 할 데이터량은 계속 증가해요. 컨텍스트가 길어지고 멀티모달이 확대될수록 메모리 중요성은 더 커질 가능성이 높아요.

결국 AI 시대 핵심은 계산보다 기억력이라는 말이 그래서 나오는 거예요.

다만 변수도 많아요. 뉴로모픽칩처럼 인간 뇌 구조를 흉내낸 새로운 방식이 성공하면 현재 구조가 흔들릴 수도 있어요. 또 전력 소비 문제가 심각해지면 지금 같은 초고속 구조가 부담이 될 가능성도 있죠.

아직까지는 기존 폰 노이만 구조가 가장 현실적이라는 평가가 강해요. 계산 장치와 메모리를 분리하는 현재 방식이 생산성과 확장성 측면에서 훨씬 유리하다는 거죠.

HBM 다음 시대는 GPU 없는 AI

지금은 GPU가 계산하고 HBM이 데이터를 공급해요. 그런데 앞으로는 아예 메모리 안에서 계산까지 처리하자는 개념이 등장하고 있어요. 이걸 메모리 센트릭 컴퓨팅이라고 부르더라고요.

쉽게 말하면 GPU를 거치지 않고 메모리 자체가 계산 일부를 담당하는 거예요. 그렇게 되면 이동 거리 자체가 사라지니까 속도와 전력 효율이 훨씬 좋아질 가능성이 있어요.

특히 AI 데이터 규모가 너무 커지면서 앞으로는 전력 문제가 엄청 중요해질 전망이에요. 이미 AI 데이터센터 전력 사용량이 국가 단위 수준으로 올라가고 있거든요.

그래서 단순히 빠른 칩보다 얼마나 전기를 덜 먹느냐가 경쟁력이 될 가능성이 커요. AI 산업의 다음 전쟁은 속도가 아니라 전력 효율 싸움일 수도 있다는 거죠.

HBM 열풍은 단순 유행이 아니다

지금 HBM 열풍을 단순 테마주 정도로 보는 사람도 있어요. 그런데 내용을 깊게 보면 AI 구조 자체가 메모리 중심으로 이동하고 있다는 게 핵심 같아요.

예전에는 CPU 성능 경쟁이었다면 이제는 데이터 이동 속도 경쟁이에요. 그리고 그 중심에 HBM이 있는 거죠.

특히 한국은 메모리 제조 경험이 워낙 강해서 현재 흐름에서는 굉장히 유리한 위치에 있어요. 하지만 동시에 기술 변화 속도가 너무 빠르기 때문에 방심하면 순식간에 뒤집힐 수도 있어요.

그래서 앞으로 진짜 중요한 건 단순 생산량보다 새로운 구조를 얼마나 먼저 만들 수 있느냐인 것 같아요. GPU와 메모리 관계도 계속 바뀔 거고, AI 구조 자체도 달라질 가능성이 크거든요.

AI 시대는 결국 데이터를 얼마나 빠르게 움직이느냐의 싸움이라는 점이에요. 그리고 그 중심에서 HBM은 앞으로도 꽤 오래 중요한 역할을 하게 될 가능성이 높아 보입니다.