**루카스 베이어(Lucas Beyer)**는 벨기에 출신 연구 과학자로, 컴퓨터 비전, 표현 학습 및 대규모 모델 훈련에 대한 공헌, 특히 비전 트랜스포머(ViT)에 대한 기초적인 연구로 인정받고 있습니다. 그는 Google DeepMind와 OpenAI에서 고위 연구직을 역임했으며, 현재 Meta의 슈퍼인텔리전스 팀의 연구원으로 재직 중입니다. ^[1]

교육

베이어는 독일 아헨 공과대학교(RWTH Aachen University)에서 컴퓨터 공학(Computational Engineering Science) 분야 디플롬-잉게니어(Diplom-Ingenieur, Dipl.Ing.) 학위를 취득했으며, 2012년 1.3의 성적으로 졸업했습니다. 그의 졸업 논문은 "Exploiting Graphics Accelerators for Computational Biology"라는 제목으로 GPU에서 일반화된 최소 제곱 문제를 해결하는 데 중점을 두었으며, 1.0의 성적을 받았습니다. 졸업 후 2012년 11월부터 2013년 4월까지 아헨 고등 컴퓨팅 공학 연구소(AICES)에서 고성능 컴퓨팅 분야 박사 과정을 잠시 수행했습니다. 그 후 2013년 6월부터 2018년 5월까지 아헨 공과대학교 시각 컴퓨팅 연구소(Visual Computing Institute)에서 컴퓨터 비전 분야 박사 과정을 이수했습니다. 바스티안 라이베(Bastian Leibe) 교수의 지도하에 진행된 그의 박사 연구는 주석 작업 감소에 중점을 둔 모바일 로봇의 컴퓨터 비전을 위한 심층 학습에 초점을 맞추었습니다. ^{[2] [3] [6]}

경력

베이어의 직업 경력은 박사 과정 이전인 2006년부터 2008년까지 디가트론 파워 일렉트로닉스(Digatron Power Electronics)의 프로그래머로 근무하면서 배터리 테스트 장비의 제어 시스템 개발 업무를 시작했습니다. 대학 재학 중에는 민트 메디컬 GmbH(Mint medical GmbH)에서 인턴으로 근무했으며, 아헨 공과대학교에서 여러 학생 연구 조교 및 튜터링 역할을 수행했습니다.

박사 과정 중 베이어는 여러 연구 인턴십을 수행했습니다. 2016년 여름에는 로스앤젤레스의 Google에서 이미지-시선 예측(image-gaze prediction) 관련 업무를 수행하는 인턴으로 근무했습니다. 그 후 2016년 8월부터 11월까지 토론토의 AI 스타트업 킨드레드(Kindred)에서 로봇 공학을 위한 인간 시범 학습(learning from human demonstration)에 중점을 둔 인턴으로 근무했습니다. 그는 2017년 여름에 Google로 돌아와 FaceNet이 학습한 표현의 분리(disentangling representations)에 대한 연구 인턴십을 수행했습니다.

Google

2018년 박사 학위를 취득한 후 베이어는 취리히 Google Brain에 연구 과학자(Staff Research Scientist)로 합류하여 Google DeepMind와의 통합까지 2024년 10월까지 해당 직책을 유지했습니다. Google에서 그는 다중 모달(시각-언어) 연구팀을 공동으로 이끌었으며 수많은 영향력 있는 프로젝트에 기여했습니다. 이 기간 동안 그의 연구는 대규모 사전 훈련, 아키텍처 혁신 및 강력한 평가 방법론을 중심으로 컴퓨터 비전 및 다중 모달 학습을 위한 확장 가능하고 효율적인 모델 개발에 중점을 두었습니다.

베이어는 Google Research에서 자연어 처리에서 성공적인 트랜스포머 아키텍처를 컴퓨터 비전 작업에 적용한 획기적인 연구인 비전 트랜스포머(ViT)를 개발한 팀의 일원이었습니다. 이 방법은 이미지 패치 시퀀스에 직접 적용된 순수 트랜스포머가 이미지 분류 작업에서 매우 우수한 성능을 발휘할 수 있음을 보여주었으며, 합성곱 신경망(CNN)의 지배력에 도전했습니다. 그는 또한 최첨단 결과를 달성하기 위해 ViT 모델을 효과적으로 확장하는 방법을 탐구한 "Scaling Vision Transformers"의 공동 저자이기도 합니다. 아키텍처 설계를 더욱 탐구하면서 베이어는 합성곱이나 자기 주의 메커니즘을 사용하지 않고 경쟁력 있는 결과를 달성한 다층 퍼셉트론(MLP) 기반 아키텍처인 MLP-Mixer에 중요한 기여를 했습니다. 그의 연구에는 대규모 사전 훈련된 비전 모델에서 전이 학습을 위한 원칙을 확립한 논문인 "Big Transfer (BiT)"와 다양한 계산 비용으로 유연한 배포를 가능하게 하기 위해 무작위 패치 크기로 ViT를 훈련하는 방법인 FlexiViT가 포함됩니다.

베이어는 훈련 기법과 데이터 세트 품질에도 상당한 기여를 했습니다. 그는 모델 평가를 위한 보다 정확한 벤치마크를 제공하기 위해 ImageNet 검증 세트의 레이블을 수정한 프로젝트인 ImageNet-ReaL 레이블 생성에 참여했습니다. 그의 다중 모달 모델에 대한 연구에는 CLIP과 같은 모델에서 사용되는 표준 소프트맥스 기반 손실에 대한 더욱 확장 가능한 대안으로 시그모이드 손실을 대조적 이미지-텍스트 사전 훈련에 사용하는 것을 제안한 SigLIP가 포함됩니다. 박사 과정 중 알렉산더 허먼스(Alexander Hermans)와 바스티안 라이베(Bastian Leibe)와 공동 저술한 논문인 "In Defense of the Triplet Loss for Person Re-Identification"은 잘 구현된 트리플릿 손실이 심층 메트릭 학습의 다른 방법보다 우수한 성능을 발휘할 수 있음을 보여주었습니다. ^{[1] [2] [3] [4] [5] [6]}

OpenAI

2024년 말 Google을 떠난 후 베이어는 동료인 알렉산더 콜레스니코프(Alexander Kolesnikov)와 자이샤오화(Xiaohua Zhai)와 함께 OpenAI 취리히 사무소를 공동 설립하여 기술 직원(Member of Technical Staff)으로 근무했습니다. ^{[8] [9]}

Meta

2025년 6월 베이어는 콜레스니코프와 자이와 함께 OpenAI를 떠나 Meta의 슈퍼인텔리전스 팀에 연구원으로 합류했습니다. 이러한 이동은 OpenAI CEO인 샘 알트먼(Sam Altman)이 Meta가 자신의 직원을 영입하기 위해 1억 달러의 계약금을 제공했다는 주장에 따라 언론의 주목을 받았습니다. 베이어는 X(구 Twitter)에서 "아니요, 우리는 1억 달러의 계약금을 받지 못했습니다. 가짜 뉴스입니다."라고 이러한 주장을 공개적으로 반박했습니다. 이후 플랫폼에서 한 사용자가 알트먼이 잠재적인 지원자들이 낮은 액수의 제안을 받았다고 느끼도록 하기 위해 그러한 주장을 했다고 제안하자 베이어는 "네, 그것은 훌륭한 전략이었습니다. 인정해야 합니다."라고 답했습니다. ^{[7] [8] [9]}

로봇 공학 및 초기 연구

박사 과정 중 베이어는 공항 안내용 서비스 로봇인 SPENCER와 일상 환경에서 로봇의 장기 자율성에 중점을 둔 STRANDS를 포함한 로봇 프로젝트에 참여했습니다. 이 기간의 초기 논문은 2D 레이저 스캐너와 같은 센서를 사용하여 모바일 로봇의 지각 작업에 심층 학습을 적용하는 데 중점을 두었습니다. 주목할 만한 연구로는 2D 범위 데이터에서 휠체어를 실시간으로 감지하는 DROW와 이산 레이블에서 연속적인 머리 자세 회귀를 위한 방법인 Biternion Nets가 있습니다.

그의 주요 논문 중 일부는 다음과 같습니다.

• Vision Transformer (ViT) (2020);
• MLP-Mixer: An all-MLP Architecture for Vision (2021);
• Big Transfer (BiT): General Visual Representation Learning (2019);
• Scaling Vision Transformers (2021);
• Sigmoid Loss for Language Image Pre-Training (SigLIP) (2023);
• Are we done with ImageNet? (2020);
• In Defense of the Triplet Loss for Person Re-Identification (2017);
• Biternion Nets: Continuous Head Pose Regression from Discrete Training Labels (2015).

이 목록은 그가 해당 분야에 발표한 50편 이상의 논문 중 일부입니다.

베이어는 학업 및 연구 활동으로 여러 상과 펠로우십을 수상했습니다.

• Google Developer Group Aachen 해커톤 우승자.
• Kaggle National Data Science Bowl 대회 상위 10% 기록.
• 유망한 학생을 위한 Bildungsfonds 장학금 수혜자.
• 자격을 갖춘 학생을 위한 AICES 박사 펠로우십 수상자.
• Meeting C++ 2014 컨퍼런스 참석을 위한 think-cell 학생 지원금 수혜자.

이러한 영예는 아헨 공과대학교(RWTH Aachen University) 재학 중에 수여되었습니다. ^{[2] [1] [3] [4] [5]}