[12월9일] 뉴립스에서 떠오른 화두 : AI의 '지속 학습'

뉴립스의 변화

신경정보처리시스템 회의(NeurIPS)가 달라졌습니다. 몇 년 전만 해도 수백 명의 전문가들이 모이는 조촐한 학술 행사였지만, 이제는 스타트업, 빅테크, 벤처캐피털까지 몰려드는 투자 박람회가 됐습니다.

뉴립스의 예언:

• 2022년: 챗GPT 입소문 → 세계적 돌풍
• 2023년: 일리야 수츠케버 "스케일링 시대 종말" 선언
• 2024년: ?

올해 핵심 키워드: 근본으로의 회귀

12월 2~7일 샌디에이고에서 열린 39번째 뉴립스의 주제는 'AI 근본 원리로의 회귀' 였습니다.

핵심은 스스로 학습하는 AI입니다.

두 가지 방법론:

① 월드 모델

• 모델이 내부에 세계 모델을 구축
• 데이터 처리를 넘어 이해하고 추론

② 지속 학습 (Continual Learning)

• 완전 재훈련 없이 새 정보 통합
• '치명적 망각' 방지
• 진정한 AGI 달성 방법

거장들의 선언

데이비드 루안 (아마존 부사장)

"현재 우리가 모델을 훈련하는 방식은 오래가지 못할 것"

• GPT-2, GPT-3, 달리 개발
• 구글 제미나이 전신 'PaLM' 개발
• 목소리에 힘이 실림

리처드 서튼 (강화학습의 아버지)

"인간 전문가 지식에 한계 → AI 발전도 정체"

핵심 주장: 새로운 정보에서 스스로 학습하는 AI 개발 집중해야

실제 연구 사례: MIT SEAL

SEAL (Self-Adapting Language Models):

• 새 정보를 접하면 자체 재구성
• 학습률 같은 하이퍼파라미터까지 스스로 지정
• 미세조정 지침도 자동 생성

지난 6월 발표 후 큰 반향. 연구진 상당수가 오픈AI에 합류했습니다.

칭화대, 알리바바, 구글도 유사 연구 발표 중입니다.

반론: 스케일링은 아직 살아있다

데미스 허사비스 (딥마인드 CEO)

"규모 확장은 최대한 밀어붙여야 한다. 이는 최소한 AGI의 핵심 구성 요소가 될 것"

제미나이 3로 큰 성능 향상을 보인 구글의 자신감입니다.

동의하는 진영:

• 오픈AI: 사전 훈련 개선한 차세대 모델 개발 중
• 앤트로픽: "기존 훈련 기법 확장으로 AGI 달성 가능"

진짜 쟁점

이건 단순 기술 논쟁이 아닙니다.

만약 스케일링이 끝난다면:

• 수조 달러 투입한 데이터센터 확장 전략 의문
• 고가의 엔비디아 칩 고집할 필요 없어짐
• AI 기업들의 투자 방향 전면 수정

2026년 트렌드

당분간의 양상:

• 스케일링 유효성 검증 계속
• 지속 학습 연구가 주류로 부상
• 두 접근법의 병행

---

결론: AI 학계가 기로에 섰습니다. 더 크게 만들 것인가, 더 똑똑하게 만들 것인가. 답은 2026년에 나올 것입니다.