Matt Deitke는 Meta Superintelligence Labs(MSL)의 미국 인공지능(AI) 연구원입니다. 그는 몰티모달 AI, 구현 AI 및 대규모 3D 데이터 세트 분야에서 활동하며 Molmo, Objaverse 및 ProcTHOR와 같은 주목할만한 프로젝트 개발을 주도한 것으로 알려져 있습니다. ^{[1] [2]}

교육

Deitke는 워싱턴 대학교에 다녔으며, 폴 G. 앨런 컴퓨터 과학 & 엔지니어링 학교에서 학부 과정을 마쳤습니다. 그 후 그는 앨런 인공지능 연구소(AI2)와 협력하여 연구를 계속하면서 대학의 박사 과정에 등록했습니다. 2024년 12월, Deitke는 새로운 회사를 공동 설립하기 위해 박사 과정을 마치기 전에 그만둔다고 발표했습니다. ^{[1] [2] [4]}

경력

Deitke는 18세 때 시애틀의 앨런 인공지능 연구소(AI2)에서 연구 경력을 시작했으며, 대학 교육을 병행하면서 연구 과학자로 일했습니다. AI2에서의 그의 연구는 강력한 멀티모달 AI 시스템을 만드는 데 중점을 두었습니다. 재임 기간 동안 그는 널리 사용되는 공개 데이터 세트와 모델을 생성한 여러 중요한 연구 프로젝트를 주도했습니다.

2024년 11월, Deitke는 인터넷 기반 소프트웨어를 운영하도록 설계된 자율 AI 에이전트를 구축하는 데 전념하는 스타트업인 Vercept를 공동 설립했습니다. 이 회사는 전 Google CEO인 에릭 슈미트를 포함한 투자자로부터 1,650만 달러의 자금을 성공적으로 조달했습니다.

2025년 7월, Deitke는 AI 역량 발전에 주력하는 부서인 Meta의 Superintelligence Labs(MSL)에 합류했다고 발표했습니다. 그의 영입은 Meta가 최고의 AI 연구원 팀을 구성하기 위한 광범위하고 주목할만한 인재 확보 노력의 일환이었습니다.

Meta 채용 및 보상

Deitke의 2025년 Meta로의 전환은 주로 그의 보상 패키지의 보고된 가치 때문에 상당한 언론의 관심을 받았습니다. 보고서에 따르면 Meta는 처음에 Deitke에게 4년 동안 약 1억 2,500만 달러 상당의 "저가" 패키지를 제안했지만 그는 거절했습니다. Meta CEO인 마크 저커버그와의 개인적인 만남 후, 제안은 약 2억 5천만 달러로 두 배로 늘어났으며, 첫 해에 1억 달러가 지급될 가능성이 있었습니다. 이는 최근 기업 역사상 가장 큰 고용 패키지 중 하나로 인용되었으며 엘리트 AI 인재에 대한 치열한 경쟁을 반영합니다.

제안의 규모는 최고의 AI 연구원의 가치 평가에 대한 논평을 촉발했습니다. MIT 경제학자 데이비드 오토는 "컴퓨터 과학자들이 프로 운동선수처럼 급여를 받으면 '괴짜들의 복수'의 절정에 도달한 것입니다!"라고 말했습니다. 투자자와의 실적 발표에서 저커버그는 회사의 전략을 설명했습니다. "우리는 엘리트하고 재능 있는 팀을 구축하고 있습니다... 최고 연구원 50명 또는 70명을 확보하기 위해 매우 열심히 경쟁하고 필요한 모든 것을 하는 것이 정말 합리적입니다." 그는 "최고의 재능 있는 사람들에게는 절대적인 프리미엄이 있습니다."라고 덧붙였습니다. ^{[3] [6] [7]}

Deitke는 인공지능 분야, 특히 비전-언어 모델, 3D 데이터 및 구현 AI 분야에서 여러 영향력 있는 프로젝트를 주도하거나 핵심 기여자였습니다.

• Molmo 및 PixMo: 처음부터 개발된 오픈 소스 비전-언어 모델 제품군입니다. 이 프로젝트는 또한 상세한 이미지 캡션, 질의응답 쌍 및 2D 포인팅 데이터가 포함된 새로운 데이터 세트인 PixMo를 출시했습니다. 720억 개의 매개변수를 가진 Molmo 모델은 학술 벤치마크에서 여러 독점 모델과 비슷하거나 능가하는 성능을 보여주었습니다.
• Objaverse: 대규모 오픈 3D 객체 데이터 세트입니다. 초기 릴리스에는 800,000개 이상의 주석이 달린 3D 모델이 포함되어 있습니다. 이는 생성 모델, 2D 인스턴스 분할 및 개방형 어휘 객체 탐색 분야의 연구를 발전시키기 위해 설계되었습니다.
• Objaverse-XL: 1천만 개 이상의 3D 객체를 포함하는 Objaverse 데이터 세트의 확장 버전입니다. 이 데이터 세트는 이미지-3D 및 텍스트-3D와 같은 3D 생성 작업을 위한 기초 모델인 Zero123-XL을 훈련하는 데 사용되었습니다.
• ProcTHOR: 절차적 생성을 사용하여 대규모의 다양하고 상호 작용적인 시뮬레이션된 3D 환경을 만드는 플랫폼입니다. ProcTHOR는 훈련 데이터의 다양성을 확장함으로써 다양한 작업에서 구현 AI 에이전트의 일반화 및 성능을 크게 향상시키는 것으로 나타났습니다.
• Phone2Proc: 스마트폰으로 촬영한 실제 공간의 짧은 비디오 스캔에서 의미론적으로 일치하는 시뮬레이션된 훈련 환경을 생성하는 시스템입니다. 이러한 사용자 정의 생성된 장면에서 객체 탐색 에이전트를 훈련하면 시뮬레이션-실제 전송 성능이 35%에서 71%로 향상되는 것으로 나타났습니다.
• RoboTHOR: 개방형 시뮬레이션-실제 구현 AI 플랫폼입니다. 이 프로젝트에는 실제 아파트 레이아웃의 계산 모델링된 디지털 트윈을 만들어 연구자들이 시뮬레이션에서만 훈련된 에이전트가 물리적 로봇으로 기술을 얼마나 잘 전송할 수 있는지 연구할 수 있도록 했습니다.
• AI2-THOR: Deitke는 시각적 AI 연구를 위한 이 대화형 3D 시뮬레이션 프레임워크의 기여자였습니다. 이 플랫폼은 에이전트가 탐색하고 객체와 상호 작용할 수 있는 거의 사실적인 실내 장면을 제공하여 시각적 탐색 및 작업 완료와 같은 영역에서 연구를 가능하게 합니다.

이러한 프로젝트는 주요 AI 컨퍼런스에서 발표되었으며 오픈 과학 및 AI 연구 발전에 대한 기여로 널리 인정받고 있습니다.

Deitke는 연구 기여로 여러 상을 받았습니다.

• 최우수 논문 가작, CVPR 2025: "Molmo 및 PixMo: 최첨단 비전-언어 모델을 위한 오픈 가중치 및 오픈 데이터" 논문으로 수상했습니다.
• 우수 논문상, NeurIPS 2022: "ProcTHOR: 절차적 생성을 사용한 대규모 구현 AI" 논문으로 수상했습니다. 이는 컨퍼런스에 제출된 10,000건 이상의 제출물 중 극히 일부에 주어지는 AI 연구 커뮤니티에서 중요한 영예입니다.
• 우수 심사위원상, CVPR 2023: 컴퓨터 비전 및 패턴 인식 컨퍼런스에 대한 동료 검토 프로세스에 대한 기여로 인정받았습니다.

이러한 상 외에도 Deitke는 2022년에 출판된 Richard Szeliski의 교과서인 컴퓨터 비전: 알고리즘 및 응용의 두 번째 판에 기여했습니다. ^{[1] [2] [4] [5]}