Jack Rae는 대규모 언어 모델(LLM), 압축 및 강화 학습 분야에서 활동하는 저명한 과학자입니다. 현재 Meta의 Superintelligence Labs 팀에 소속되어 있습니다.

학력

Jack Rae는 2016년부터 2020년까지 University College London(UCL)에서 컴퓨터 과학 박사 학위(Ph.D.)를 취득했습니다. 그의 학문적 연구는 희소하고 압축적인 구조를 활용한 메모리 모델에 중점을 두고 평생 추론을 위한 메커니즘을 탐구했습니다.

2013년에는 Carnegie Mellon University에서 통계학 석사 학위를 취득했으며, 학업 성적은 4.3점 만점에 4.1점으로 평가되었습니다. 재학 중에는 Explorer’s Society 및 CMU Cycling Club을 포함한 학생 그룹에 참여했습니다.

학업 초기에는 University of Bristol에서 수학 및 컴퓨터 과학 석사 학위를 받았습니다. 그는 2008년부터 2012년까지 그곳에서 공부했으며 최우등으로 졸업했습니다. 재학 중에는 대학 사이클링 클럽에도 소속되어 있었습니다. ^{[10] [11]}

경력

Jack Rae는 인공 지능 연구 개발에 주력하는 여러 주요 기술 회사에서 근무했습니다. 그는 Quora에서 근무한 후 Google DeepMind에서 약 7년 반 동안 근무했습니다. Google DeepMind에서 근무하는 동안 Gemini 모델의 사전 학습 기술 리더를 역임했으며 Gemini 2.5의 추론 기능 개발을 주도했습니다. Google에서의 그의 작업에는 Gopher 및 Chinchilla와 같은 모델에 대한 기여도 포함됩니다.

2022년 7월, Rae는 OpenAI에 합류한다고 발표했습니다. 이후 Meta로 이직하여 6월에 회사에 합류하게 된 것에 대한 기대를 표명했으며, Superintelligence Labs 내에서 LLM, 압축 및 강화 학습에 주력하는 저명한 과학자로 활동하고 있습니다.

Rae는 경력 전반에 걸쳐 여러 중요한 AI 모델 개발에 기여했습니다. Google DeepMind에서 그는 Gopher 및 Chinchilla LLM에 참여했으며 Gemini 프로젝트, 특히 Gemini 2.5의 사전 학습 노력 및 추론 개발에서 핵심적인 역할을 수행했습니다. 그는 또한 Gemini 2.0 Flash Thinking에 대한 업데이트에 대해 언급하면서 향상된 성능과 긴 컨텍스트 및 코드 실행과 같은 기능에 주목했습니다. ^{[1] [2] [3] [4] [5]}

AI에 대한 견해

Rae는 인공 지능의 추세와 발전에 대한 자신의 관점을 공개적으로 공유했습니다. 그는 종종 특정 날짜에 축하하는 어조로 "딥 러닝이 한계에 도달하고 있다"는 반복적인 개념에 대해 언급했습니다. 그는 또한 "비터 레슨"에 대해 논의하면서 수십 년간의 대화 출판물에서 나온 많은 연구가 ChatGPT와 같은 모델로 직접 이어지지 않았다고 제안하며 슬롯 채우기, 의도 모델링, 감정 감지 및 하이브리드 상징적 접근 방식과 같은 전통적인 방법에서 벗어난 초점에 대해 강조했습니다. Rae는 또한 고급 AI 기능의 특정 시연에 대해 언급하면서 AGI(Artificial General Intelligence)의 잠재적 출현에 대한 견해를 표명했습니다. ^{[6] [7] [8] [9]}

인터뷰

Gemini 2.5 Pro 및 AI 연구 #01에 대한 토론

2025년 4월 5일, Jack Rae는 YouTube 채널 Cognitive Revolution에 출연하여 Gemini 2.5 Pro에 초점을 맞춰 대규모 언어 모델의 개발에 대해 논의했습니다. Google DeepMind의 수석 연구 과학자이자 추론 시간 추론 및 확장 기술 리더로서 Rae는 현재 AI 시스템을 형성하는 주요 엔지니어링 전략 및 연구 방향을 설명했습니다.

그는 Gemini 2.5 Pro를 아키텍처 및 훈련의 지속적인 개선의 산물로 설명하면서 수십만 개의 토큰의 입력 컨텍스트를 처리하는 능력이 갑작스러운 획기적인 발전보다는 점진적인 발전을 반영한다고 언급했습니다. 이러한 발전은 DeepMind 내의 협력적인 노력과 확장 관행 덕분이라고 밝혔습니다.

Rae는 또한 사고 사슬 프롬프트와 같은 추론 기술을 중심으로 AI 연구소 간의 수렴에 대해 언급하면서 공유된 과제와 리소스 환경이 유사한 결과에 기여한다고 제안했습니다. 그는 모델 추론을 개선하는 데 있어 정확성 신호를 기반으로 한 강화 학습의 역할에 대해 논의하면서 시간이 지남에 따라 점진적인 진화를 강조했습니다.

대화에서는 해석 가능성의 어려움, 특히 내부 모델 프로세스 분석의 어려움에 대해 다루었습니다. Rae는 복잡한 추론 경로를 사용하는 모델의 투명성을 개선하는 것을 목표로 하는 메커니즘적 해석 가능성에 대한 지속적인 작업을 강조했습니다.

AGI(Artificial General Intelligence)를 향한 경로와 관련하여 Rae는 장기 기억, 다중 모드 학습 및 에이전트 행동과 같은 영역을 현재 연구 우선 순위로 식별했습니다. 그는 Gemini 2.5 Pro의 긴 컨텍스트 기능이 요약할 필요 없이 대규모 코드베이스 또는 문서와 같은 확장된 입력과의 상호 작용을 가능하게 한다고 언급했습니다.

그는 또한 모델 배포에는 컴퓨팅 제한 및 사용자 경험 디자인을 포함한 절충안이 포함되어 있으며, 이는 시스템이 실제로 사용되는 방식을 형성한다고 언급했습니다. 인터뷰 전반에 걸쳐 Rae는 언어 모델 개발에서 반복, 확장 및 경험적 테스트의 중요성을 강조했습니다. ^[12]