**잭 레이(Jack Rae)**는 대규모 언어 모델(LLM), 압축 및 강화 학습 분야에서의 연구로 유명한 저명한 과학자입니다. 현재 메타의 초지능 연구소(Superintelligence Labs) 팀의 일원입니다.

교육

잭 레이는 2016년부터 2020년까지 유니버시티 칼리지 런던(UCL)에서 컴퓨터 과학 박사(Ph.D.) 학위를 취득했습니다. 그의 학문적 연구는 기억 모델을 활용한 스파스(sparse) 및 압축 구조에 중점을 둔 평생 추론 메커니즘을 탐구했습니다.

2013년에는 카네기 멜론 대학교(Carnegie Mellon University)에서 통계학 석사 학위를 받았으며, 4.3 만점에 4.1의 GPA로 평가받았습니다. 재학 중 탐험가 협회(Explorer's Society)와 CMU 사이클링 클럽(CMU Cycling Club)을 포함한 학생 그룹에 참여했습니다.

그 이전에는 브리스톨 대학교(University of Bristol)에서 수학 및 컴퓨터 과학 석사 학위를 받았습니다. 2008년부터 2012년까지 브리스톨 대학교에서 수학했으며 1등급 우등으로 졸업했습니다. 재학 중에는 대학의 사이클링 클럽에도 소속되어 있었습니다. ^{[10] [11]}

경력

잭 레이는 인공 지능 연구 및 개발에 중점을 둔 여러 유명 기술 회사에서 근무했습니다. 그는 구글 딥마인드(Google DeepMind)에서 약 7년 반 동안 근무하기 전에 쿼라(Quora)에서 근무했습니다. 구글 딥마인드 재직 시절에는 제미니(Gemini) 모델의 사전 훈련 기술 리더를 역임했으며 제미니 2.5의 추론 기능 개발을 주도했습니다. 구글에서의 그의 업무에는 고퍼(Gopher)와 친칠라(Chinchilla)와 같은 모델에 대한 기여도 포함됩니다.

2022년 7월, 레이는 오픈AI(OpenAI)에 합류한다고 발표했습니다. 이후 메타(Meta)로 자리를 옮겨 6월에 회사에 합류하게 된 것에 대한 기대감을 표명했으며, 현재 초지능 연구소(Superintelligence Labs)에서 LLM, 압축 및 강화 학습에 중점을 둔 수석 과학자로 활동하고 있습니다.

레이는 그의 경력 전반에 걸쳐 여러 중요한 AI 모델 개발에 기여했습니다. 구글 딥마인드(Google DeepMind)에서는 고퍼(Gopher)와 친칠라(Chinchilla) LLM에 참여했으며, 특히 제미니(Gemini) 프로젝트에서 사전 훈련 노력과 제미니 2.5의 추론 개발을 주도하는 핵심적인 역할을 수행했습니다. 또한 제미니 2.0 플래시 씽킹(Gemini 2.0 Flash Thinking) 업데이트에 대해 논평하며, 장문 컨텍스트 및 코드 실행과 같은 향상된 성능과 기능을 언급했습니다. ^{[1] [2] [3] [4] [5]}

AI에 대한 견해

레이는 인공 지능의 동향과 발전에 대한 자신의 견해를 공개적으로 공유했습니다. 그는 "심층 학습이 한계에 부딪히고 있다"는 반복되는 의견에 대해 종종 특정 날짜에 축하하는 어조로 논평했습니다. 또한 "쓴 교훈(bitter lesson)"에 대해 논의하면서 수십 년간의 대화 출판물에서 나온 많은 연구가 ChatGPT와 같은 모델로 직접 이어지지 않았다는 점을 강조하며, 슬롯 채우기, 의도 모델링, 감정 감지 및 하이브리드 기호 접근 방식과 같은 기존 방법에서 벗어난 초점 이동을 강조했습니다. 레이는 또한 고급 AI 기능의 특정 데모에 대해 논평하며 인공 일반 지능(AGI)의 잠재적 출현에 대한 견해를 표명했습니다. ^{[6] [7] [8] [9]}

인터뷰

제미니 2.5 Pro 및 AI 연구에 대한 논의 #01

2025년 4월 5일, 잭 레이는 유튜브 채널 Cognitive Revolution에 출연하여 제미니 2.5 Pro에 중점을 둔 대규모 언어 모델의 발전에 대해 논의했습니다. 구글 딥마인드(Google DeepMind)의 수석 연구 과학자이자 추론 시간 추론 및 확장 기술 리더로서 레이는 현재 AI 시스템을 형성하는 주요 엔지니어링 전략과 연구 방향을 설명했습니다.

그는 제미니 2.5 Pro를 아키텍처와 훈련의 지속적인 개선의 결과물로 설명하면서, 수십만 개의 토큰 입력 컨텍스트를 처리하는 능력은 갑작스러운 돌파구라기보다는 점진적인 발전을 반영한다고 언급했습니다. 이러한 발전은 딥마인드 내의 공동 노력과 확장 관행에 기인했습니다.

레이는 또한 사고 연쇄 프롬프팅(chain-of-thought prompting)과 같은 추론 기술을 중심으로 AI 연구소 간의 융합에 대해 논평하며, 공유된 과제와 자원 환경이 유사한 결과에 기여한다고 제안했습니다. 그는 정확성 신호를 기반으로 한 강화 학습이 모델 추론을 개선하는 역할에 대해 논의하면서 시간 경과에 따른 점진적인 발전을 강조했습니다.

이 대화에서는 특히 복잡한 추론 경로를 사용하는 모델의 투명성을 개선하기 위한 기계적 해석 가능성(mechanistic interpretability)에 대한 지속적인 연구를 강조하면서, 특히 내부 모델 프로세스를 분석하는 어려움과 같은 해석 가능성의 과제를 다루었습니다.

인공 일반 지능(AGI)으로 가는 길에 대해 레이는 장기 기억, 다중 모달 학습 및 에이전트 행동과 같은 분야를 현재 연구의 우선 순위로 꼽았습니다. 그는 제미니 2.5 Pro의 장문 컨텍스트 기능을 통해 요약 없이 대규모 코드베이스 또는 문서와 같은 확장된 입력과 상호 작용할 수 있다고 언급했습니다.

또한 모델 배포에는 컴퓨팅 제한 및 사용자 경험 디자인을 포함한 트레이드오프가 포함되어 시스템이 실제로 사용되는 방식을 형성한다고 언급했습니다. 인터뷰 전반에 걸쳐 레이는 언어 모델 개발에서 반복, 확장 및 경험적 테스트의 중요성을 강조했습니다. ^[12]