러폴트 아센브레너 “Situational Awareness 해석 : Ch.1 - From GPT-4 to AGI: Counting the OOMs

AGI는 2027년쯤 현실이 될 가능성이 꽤 높다

저자는 GPT-2에서 GPT-4까지의 발전 속도를 보면, 앞으로 몇 년 안에 AGI(Artificial General Intelligence, 범용 인공지능)에 도달하는 것이 매우 그럴듯하다고 주장한다.

2019년 GPT-2는 “유치원생 수준”에 가까웠지만, 2023년 GPT-4는 “똑똑한 고등학생 수준”에 가까워졌다고 표현한다.
단 4년 만에 엄청난 질적 도약이 일어났다는 것이다.


ai_chip

저자는 AI 성능 향상을 크게 세 가지 축으로 설명한다.

  • 컴퓨팅 파워 증가
  • 알고리즘 효율 개선
  • “Unhobbling(족쇄 풀기)” 효과

특히 “Unhobbling”은 매우 중요하다고 강조한다.
현재 GPT-4는 매우 똑똑하지만, 실제 인간처럼 긴 작업을 스스로 수행하지 못하도록 여러 제한이 걸려 있다는 것이다.


지난 4년: GPT-2 → GPT-4

GPT-2 시절 모델은 매우 단순한 텍스트 생성기에 가까웠다.

하지만 GPT-3, GPT-3.5, GPT-4로 오면서:

  • 논리적 추론
  • 코딩
  • 시험 통과
  • 글쓰기
  • 문제 해결

능력이 급격히 향상되었다.

저자는 이런 발전이 단순한 “규모 확대(scale-up)”의 결과만은 아니라고 설명한다.


핵심 발전 요소

1. Compute Scaling

GPU 수와 학습량 증가.

대규모 클러스터를 사용하면서 모델이 더 많은 패턴을 학습하게 되었다.


2. Algorithmic Efficiency

알고리즘 개선 덕분에 같은 연산량으로도 훨씬 더 강한 성능을 얻을 수 있게 되었다.

즉:

  • 단순히 GPU만 늘어난 것이 아니라
  • 모델 구조와 학습 방법 자체도 개선되었다.

3. “Unhobbling” (족쇄 제거)

이 부분이 저자의 핵심 주장 중 하나다.

GPT-4는 이미 상당히 똑똑하지만:

  • 기억이 제한되고
  • 장기 계획이 어렵고
  • 도구 사용이 제한되며
  • 긴 작업을 지속적으로 수행하지 못한다.

즉, “능력이 없는 것”이 아니라 “묶여 있다”는 관점이다.


챗봇 → AI 동료(Agent Coworker)

현재 GPT-4는 “입사 5분 된 매우 똑똑한 신입사원”과 비슷하다고 설명한다.

즉:

  • 회사 문서를 읽지 않았고
  • Slack 기록도 모르고
  • 코드베이스도 이해하지 못하며
  • 업무 맥락도 모른다.

하지만 충분한 컨텍스트와 장기 기억이 주어진다면, 훨씬 강력한 AI 동료가 될 수 있다고 주장한다.


Test-Time Compute Overhang

저자가 가장 중요하게 보는 개념 중 하나다.

현재 AI는:

  • 짧은 질문
  • 짧은 응답

형태에는 강하지만,
“몇 주~몇 달짜리 긴 프로젝트”는 수행하지 못한다.

하지만 인간의 실제 업무는 대부분 장기 작업이다.

예:

  • 소프트웨어 개발
  • 과학 연구
  • 사업 전략
  • 디버깅
  • 논문 작성

이런 일은:

  • 계획
  • 반복
  • 수정
  • 검색
  • 실험

과정을 길게 반복해야 한다.


토큰 수와 인간 작업 시간 비교

저자는 GPT-4의 토큰을 “인간의 내적 사고”와 비슷하게 비유한다.

토큰 수인간 기준 사고 시간
수백 토큰몇 분
수천 토큰30분
수만 토큰반나절
수십만 토큰일주일
수백만 토큰수개월

즉, 현재 GPT-4는 “몇 분 생각하는 인간” 수준의 작업만 가능하다는 주장이다.


만약 AI가 “몇 달 동안 생각”할 수 있다면?

저자는 여기서 엄청난 능력 도약이 일어날 수 있다고 본다.

AI가:

  • 스스로 계획 세우고
  • 실수 수정하고
  • 코드 테스트하고
  • 검색하고
  • 반복 개선하고
  • 여러 전략을 시도하는

“System II” 사고 루프를 가지게 되면,
단순 챗봇이 아니라 실제 자율 에이전트가 된다는 것이다.


앞으로 4년: GPT-4 → AGI


4년이면:

  • 약 4 OOM 발전

이것이 GPT-2 → GPT-4 때와 비슷한 규모의 도약이라는 주장이다.

그래서:

GPT-4 → AGI도 충분히 가능하다

고 예측한다.


저자의 핵심 메시지

저자가 말하는 핵심은:

현재 AI는 “생각보다 훨씬 덜 완성된 형태”로 사용되고 있다.

이며,

  • 더 긴 컨텍스트
  • 장기 기억
  • 에이전트 구조
  • 강화학습 기반 자기수정
  • 도구 사용

이 결합되면,
매우 빠르게 인간 수준 작업 능력에 가까워질 수 있다는 것이다.

 




주요 태그 : #AGI


글이 도움이 되셨다면, 댓글 남겨주시면, 더 좋은 글로 보답하겠습니다~!

위시 와이파이 카페에서 다양한 정보를 얻고 가세요.

댓글 쓰기

다음 이전