Łukasz Kaiser는 데이터 처리 회사인 Pathway의 공동 창립자입니다. 그의 경력에는 Google Brain과 OpenAI의 선임 연구 역할이 포함됩니다. 그는 대부분의 현대 대규모 언어 모델의 기초가 되는 Transformer 딥 러닝 아키텍처를 소개한 2017년 논문 "Attention Is All You Need"의 주요 공동 저자입니다. ^{[1] [2]}

교육

카이저는 폴란드 브로츠와프 대학교에서 컴퓨터 과학 및 수학 석사 학위를 각각 2004년과 2001년에 취득했습니다. ^{[3] [4]} 그 후 독일 RWTH 아헨 대학교에서 박사 과정을 밟아 2008년에 컴퓨터 과학 박사 학위를 받았습니다. ^{[5] [6]} 그의 박사 논문 제목은 자동 구조에 대한 논리 및 게임으로, 알고리즘 모델 이론에 중점을 두었습니다. ^{[7] [3]} 그는 나중에 2013년 파리 디드로 대학교에서 "순위가 없는 데이터를 위한 논리 및 오토마타"라는 논문으로 컴퓨터 과학 교수 자격(HDR)을 취득했습니다. ^[8]

경력

학문 경력 및 AI로의 전환

카이저는 이론 컴퓨터 과학, 논리 및 오토마타 이론에 집중하면서 학계에서 경력을 시작했습니다. ^[9] 박사 학위를 마친 후 RWTH 아헨 대학교와 파리 디드로 대학교 산하 연구소인 LIAFA에서 박사후 연구원으로 근무했습니다. ^[2] 2010년 말, 그는 파리 디드로 대학교에 기반을 둔 프랑스 국립 과학 연구 센터(CNRS)의 chargé de recherche(정규 연구 과학자)가 되었습니다. ^{[6] [7]} 2013년 카이저는 학계에서 산업계로 전환하여 딥러닝 연구를 위해 캘리포니아 마운틴 뷰에 있는 Google Brain 팀에 합류했습니다. ^[7] 그는 나중에 이론 컴퓨터 과학에 비해 딥러닝의 빠른 변화 속도에 대해 언급했습니다. ^[7]

Google Brain

Łukasz Kaiser는 2013년 8월부터 2021년 4월까지 Google Brain에서 약 8년간 근무하면서 Staff Research Scientist로 승진했으며, 회사의 가장 중요한 AI 프로젝트에 핵심적인 기여를 했습니다. ^[1] 그는 Google의 오픈 소스 머신 러닝 프레임워크인 TensorFlow 개발에서 중요한 역할을 했습니다. ^[6] 그의 어텐션 메커니즘 연구는 Google 번역을 구동하는 Google Neural Machine Translation (GNMT) 시스템의 핵심 구성 요소였습니다. ^[6]

2017년에는 "Attention Is All You Need" 논문을 공동 저술하여 Transformer 아키텍처를 소개했습니다. 같은 해에 그는 딥 러닝 연구에 더 쉽게 접근할 수 있도록 설계된 오픈 소스 라이브러리인 Tensor2Tensor (T2T)를 공동으로 만들고 개발을 주도했으며, 여기에는 Transformer 모델의 참조 구현이 포함되었습니다. ^[1] 또한 그는 메모리 사용량을 줄여 긴 시퀀스를 처리하도록 설계된 Transformer의 효율적인 변형인 Reformer 모델을 공동 저술했습니다. ^[4]

OpenAI 및 Pathway

Kaiser는 2021년 4월에 OpenAI에 연구원으로 합류했습니다. ^[1] OpenAI에서 그는 GPT-4 및 Codex와 같은 모델 개발에 기여했습니다. ^[5] 그는 나중에 2024년 9월에 출시된 OpenAI o1 모델 시리즈의 연구 책임자를 역임했습니다. ^[10]

연구 경력과 동시에 Kaiser는 2020년 1월에 기술 회사 Pathway를 공동 설립하여 최고 과학자로 재직하고 있습니다. ^[1] Pathway는 스트림 및 배치 데이터 처리를 통합하여 실시간 머신 러닝 애플리케이션을 가능하게 하는 반응형 데이터 처리 프레임워크를 개발합니다. 이 회사의 목표는 AI 시스템이 새로운 데이터가 도착함에 따라 자동으로 업데이트되도록 하여 라이브 데이터에 대한 낮은 지연 시간 응답이 필요한 애플리케이션을 촉진하는 것입니다. ^{[11] [12]}

주요 작품

트랜스포머 아키텍처

카이저는 트랜스포머를 소개한 2017년 논문 "Attention Is All You Need"의 8명의 공동 저자 중 한 명입니다. 이 모델 아키텍처는 순환(RNN) 및 컨볼루션(CNN) 레이어를 없애고 전적으로 self-attention 메커니즘에 의존함으로써 시퀀스 처리에서 중요한 변화를 나타냈습니다. ^[2] self-attention은 모델이 입력 시퀀스에서 다양한 단어의 중요도를 평가하여 컨텍스트를 더 잘 이해할 수 있도록 합니다. 이 디자인은 훈련 중 더 큰 병렬화를 가능하게 하여 대규모 언어 모델을 훈련하는 데 사용되는 방대한 데이터 세트에 매우 효과적입니다. 트랜스포머는 이후 BERT 및 GPT 시리즈를 포함한 대부분의 최첨단 NLP 모델의 기본 아키텍처가 되었습니다. ^[1]

이 논문의 다른 공동 저자는 Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez 및 Illia Polosukhin입니다. ^[10]

TensorFlow 및 Tensor2Tensor (T2T)

Google에서 근무하는 동안 Kaiser는 머신러닝 모델 구축 및 배포를 위한 표준 도구가 된 TensorFlow 프레임워크의 주요 저자이자 핵심 기여자였습니다. ^{[8] [6]} 연구를 가속화하고 접근성을 향상시키기 위해 그는 딥러닝 모델 및 데이터 세트의 오픈 소스 라이브러리인 Tensor2Tensor(T2T) 생성을 주도했습니다. ^[2] T2T는 연구자들이 최첨단 모델에 대해 새로운 아이디어를 더 쉽게 테스트할 수 있도록 설계되었으며 Transformer 모델 코드의 초기 공개 저장소 역할을 하여 빠른 채택에 기여했습니다. ^[8]​

고급 AI 모델 (o1/o3)

OpenAI에서 카이저는 o1 모델 시리즈의 연구 책임자였으며, 그는 2024년 9월 출시 당시 이 모델을 AI의 '새로운 패러다임'이라고 묘사했습니다. ^[10] 그의 설명에 따르면, 이 모델들은 '숨겨진 CoT(Chain of Thoughts)'를 사용하도록 설계되었으며, 이는 응답을 제공하기 전에 더 많은 계산 노력을 기울여 생각할 수 있도록 하는 내부 추론 프로세스입니다. 그는 이러한 접근 방식이 모델이 더 적은 데이터로 학습하고, 더 잘 일반화하며, 이전 아키텍처에 비해 근사 추론을 수행할 수 있게 한다고 밝혔습니다. ^[10] 2024년 12월에는 o3 모델의 초기 평가 릴리스에 대해 논평하며 추론 벤치마크에서 고급 기능을 언급했습니다. ^[10]

수상 및 표창

카이저는 박사 학위 논문으로 논리학, 언어 및 정보 분야의 뛰어난 논문에 수여되는 2009년 E.W. Beth Dissertation Prize를 수상했습니다. ^{[6] [7]}

2024년 10월, 카이저와 "Attention Is All You Need"의 7명의 공동 저자는 Transformer 모델 개발에 기여한 공로로 2024년 NEC C&C Prize를 수상했습니다. ^[10]

2025년 말 기준으로 카이저의 연구는 Google Scholar 프로필에 따라 425,000번 이상 인용되었습니다. "Attention Is All You Need" 논문은 100,000번 이상 인용되어 현대 컴퓨터 과학에서 가장 많이 인용된 논문 중 하나입니다. ^[2]

공개적인 견해 및 논평

Kaiser는 AI 컨퍼런스에서 활발하게 연설하며 AI 연구의 장기적인 방향에 대한 자신의 관점을 공유했습니다. 그는 언어, 시각, 오디오와 같은 여러 양식에서 작업을 수행할 수 있는 단일하고 보편적인 모델을 만드는 비전을 제시했습니다. 한 인터뷰에서 그는 "꿈은 언젠가 하나의 모델이 있고, 그 하나의 모델이 훌륭한 프로그래머, 훌륭한 대화 에이전트, 시각 및 언어 작업을 수행하는 방법을 배우게 되는 것입니다."라고 말했습니다. ^[8] 이 철학은 또한 2017년 논문 "One Model To Learn Them All"에서 그의 작업을 이끌었습니다. ^[7]

2023년 11월 OpenAI 리더십 위기 동안 그는 "OpenAI는 직원 없이는 아무것도 아닙니다."라는 성명을 포함하여 회사의 팀에 대한 지지 메시지를 공개적으로 게시했습니다. ^[10]

2024년과 2025년 Pathway Meetup 및 Pi School과 같은 공개 강연에서 Kaiser는 딥 러닝의 진화에 대해 논의했습니다. 그는 신경망이 기존 번역 시스템과 일치시키는 것이 주요 돌파구였던 2014년의 분야 상태와 GPT-4와 같은 모델이 특수 교육 없이도 광범위한 NLP 작업을 수행할 수 있는 현재 상태를 대조했습니다. ^[5] 그는 앞으로 "임박한 데이터 희소성"을 주요 과제로 강조하고 미래의 성능 향상은 개인 및 조직 지식 그래프에서 검색된 더 적은 수의 고품질 데이터 포인트를 기반으로 훈련함으로써 얻을 수 있다고 이론화했습니다. ^[11]

인터뷰

현대 AI의 기초와 한계 #01

이 인터뷰에서는 컴퓨터 과학자 우카시 카이저(Łukasz Kaiser)가 현대 인공지능 시스템의 개발, 행동 및 한계와 관련된 주제에 대해 논의합니다. 이 인터뷰는 2025년 11월 28일 This Is World 유튜브 채널에 게시되었습니다. 카이저는 대규모 언어 모델에 채택된 트랜스포머 아키텍처를 소개한 논문 Attention Is All You Need의 공동 저자입니다.

대화 중에 카이저는 시퀀스 모델링을 위한 기술적 접근 방식으로 처음 제안된 트랜스포머 모델이 어떻게 언어 기반 AI 시스템에서 널리 사용되게 되었는지 설명합니다. 그는 모델을 주로 텍스트 데이터로 학습시킨 결과 직접적인 암기를 넘어 일반화 능력이 나타났다고 말합니다. 카이저에 따르면 대규모 언어 데이터 세트에 존재하는 패턴은 인간 추론의 특정 구조와 일치하는 것으로 보이며, 모델이 학습 중에 명시적으로 지정되지 않은 작업을 수행할 수 있게 합니다.

카이저는 또한 대규모 모델에 대한 포괄적인 이론적 이해가 현재 부족하다는 점을 지적합니다. 그는 소규모 시스템은 자세히 분석할 수 있지만 대규모 모델의 동작은 크기와 복잡성으로 인해 해석하기 어렵다고 설명합니다. 그의 관점에서 일반화는 인공지능의 핵심 연구 질문이며, 모델 규모의 증가는 근본적인 개념적 격차를 해결하지 못합니다.

인터뷰는 기존 아키텍처의 한계도 다룹니다. 카이저는 현재 시스템이 구현, 감각 경험 또는 진화적 제약과 같은 생물학적 지능에 존재하는 많은 요소를 통합하지 않는다고 지적합니다. 그는 신경 과학 및 생물학의 통찰력이 향후 연구 방향에 영향을 미칠 수 있다고 제안합니다. 그는 인공지능의 미래 발전은 기존 모델 설계를 계속 확장하기보다는 기본적인 학습 접근 방식의 변화를 필요로 할 수 있다고 결론지었습니다. ^[12]

AI 추론 연구 인터뷰 #02

이 인터뷰는 2025년 11월 26일에 유튜브 채널 Matt Turck과 함께하는 MAD 팟캐스트에 게시되었으며, Łukasz Kaiser가 인공지능 연구와 관련된 주제에 대해 논의합니다. 이 대화는 Kaiser 자신의 설명과 해석을 바탕으로 현대 AI 시스템에서 사용되는 현재 연구 방향과 기술적 접근 방식을 다룹니다.

인터뷰에서 Kaiser는 연구소 내에서 진행 중인 AI 개발이 꾸준히 진행되고 있다고 말합니다. 그는 이러한 발전이 증가된 계산 규모와 모델 훈련 접근 방식의 변화의 조합에서 비롯된다고 설명합니다. 그의 설명에 따르면, 사전 훈련은 추론 지향 모델에 적용되는 강화 학습 기술의 확장된 사용과 함께 현재 워크플로우의 일부로 남아 있습니다.

Kaiser는 추론 모델이 문제 해결 중에 중간 단계를 생성하도록 훈련된다고 설명하며, 이를 일반적으로 사고의 연쇄라고 합니다. 그는 이 훈련 방법을 수학, 소프트웨어 개발 및 과학적 문제 해결을 포함하여 객관적인 검증이 가능한 작업과 연관시킵니다. 그는 이 접근 방식을 명시적인 중간 추론 단계 없이 주로 학습된 통계적 연관성에 의존했던 이전 언어 모델과 대조합니다.

이 토론에서는 GPT 4, GPT 5 및 GPT 5.1을 포함한 최근 OpenAI 모델 반복에 대해서도 다룹니다. Kaiser는 이러한 버전 간의 변경 사항이 주로 매개변수 수의 증가보다는 사후 훈련 프로세스, 강화 학습 및 데이터 필터링 방식에 기인한다고 말합니다. 그는 또한 GPU 리소스 할당, 모델 증류 및 대규모 훈련 및 배포와 관련된 인프라 요구 사항과 같은 기술적 및 운영적 고려 사항에 대해서도 언급합니다.

Kaiser는 논리 및 게임과 관련된 초기 작업에 이어 Google Brain 및 OpenAI에서의 연구 역할에 이르기까지 자신의 학문적 및 전문적 궤적에 대한 배경을 제공합니다. 그는 Transformer 아키텍처의 공동 저자로서의 참여를 언급하고 이를 여러 AI 작업에서 사용되는 범용 신경망 설계로 설명합니다. 그는 대체 및 보완 아키텍처에 대한 연구가 해당 분야 내에서 계속되고 있다고 언급합니다.

미래 연구 주제를 다루면서 Kaiser는 일반화, 다중 모드 추론, 에이전트에 의한 확장된 작업 실행 및 로봇 공학과 같은 영역을 언급합니다. 그는 현재 시스템이 작업 전반에 걸쳐 다양한 성능을 보이며 컨텍스트 전반에 걸쳐 일관된 추론이 필요한 영역에는 여전히 제한 사항이 있다고 지적합니다. 그는 또한 응용 AI 시스템에서 해석 가능성, 시스템 안정성 및 인간 감독과 관련된 진행 중인 연구를 언급합니다. ^[13]