정형원은 대규모 언어 모델(LLM) 개발 및 확장에 기여한 공로로 인정받는 한국계 인공지능 연구 과학자입니다. 현재 메타 슈퍼인텔리전스 랩의 일원이며, OpenAI 및 Google Brain에서 연구원으로 재직하면서 PaLM, Flan-T5, T5X 및 OpenAI의 o1과 같은 주요 모델 및 프레임워크에 기여했습니다. ^{[1] [2]}

초기 생애

정형원은 한국 출신이며 현재 기술 산업의 중심지인 캘리포니아주 마운틴 뷰에 거주하고 있습니다. ^[1]

교육

정형원은 매사추세츠 공과대학교(MIT)에서 박사 학위를 취득했습니다. 그의 학문적 배경은 이후 기계 학습 및 인공 지능 분야에서의 연구 경력의 기반이 되었습니다. ^[2]

경력

정형원은 Google Brain에서 연구 과학자로서의 산업 경력을 시작했으며, 그의 연구는 대규모 AI 모델의 확장과 관련된 과제를 극복하는 데 중점을 두었습니다. 그는 대규모 모델의 훈련을 용이하게 하도록 설계된 JAX 기반 프레임워크인 T5X의 주요 기여자였으며, Pathways Language Model(PaLM)과 같은 주요 모델의 훈련에도 참여했습니다. 그의 연구는 또한 지시 미세 조정 분야를 크게 발전시켜 Flan-PaLM 및 Flan-T5 모델 계열의 개발로 이어졌으며, 이는 LLM이 사용자 지시 사항을 따르는 능력을 향상시켰습니다. ^[1]

2023년 2월, 정형원은 OpenAI로 자리를 옮겼습니다. OpenAI에서 그의 연구는 AI 시스템의 추론 능력 향상과 자율 에이전트 개발에 중점을 두었습니다. 그는 o1-preview(2024년 9월), 전체 o1 모델(2024년 12월) 및 심층 연구 프로젝트(2025년 2월)를 포함한 여러 조직의 주요 이니셔티브에 기초적인 기여를 했습니다. 이 기간 동안 그는 코드 생성 모델의 더 작고 특수화된 버전인 Codex 미니 모델의 훈련 작업도 주도했습니다. ^{[1] [2]}

2025년 7월, 정형원은 메타의 슈퍼인텔리전스 랩에 AI 연구 과학자로 합류했습니다. 그는 Google과 OpenAI에서 긴밀한 협력 관계를 맺었던 동료 Jason Wei와 함께 OpenAI를 떠났습니다. ^{[4] [5]}

주요 연구 및 출판물

정형원은 기계 학습 및 자연어 처리 분야에서 수많은 영향력 있는 논문을 공동 집필했습니다. 그의 연구는 최고 수준의 저널에 게재되었고 주요 학회에서 발표되었습니다.

• 지시 미세 조정 언어 모델의 확장(2022): 기계 학습 연구 저널에 발표된 이 논문은 모델 크기, 작업 수, 사고 연쇄 데이터를 포함한 모델 개발의 다양한 측면을 확장하는 것이 성능에 미치는 영향을 체계적으로 조사했습니다. 이 연구는 지시 조정의 상당한 개선을 보여주었고 Flan-T5 모델의 출시로 이어졌습니다.
• PaLM: Pathways를 사용한 언어 모델링 확장(2022): 공동 저자로서 정형원은 5400억 개의 매개변수를 가진 Pathways Language Model(PaLM) 개발에 기여했습니다. 이 논문은 Pathways 시스템에서 훈련된 모델이 수많은 언어 작업에서 최첨단의 몇 가지 샷 성능을 달성하여 추론, 코드 생성 및 번역 분야의 획기적인 발전을 보여주는 방법을 자세히 설명했습니다.
• t5x 및 seqio를 사용한 모델 및 데이터 확장(2022): 이 연구는 대규모 Transformer 모델의 고성능 훈련을 위한 모듈식 JAX 기반 프레임워크인 T5X와 데이터 전처리를 위한 작업 기반 라이브러리인 SeqIO를 소개했습니다. 정형원은 Google의 많은 대규모 모델 연구의 기반을 제공한 이 논문의 주요 저자였습니다.
• OpenAI o1 시스템 카드(2024): 정형원은 OpenAI의 o1 모델에 대한 공식 시스템 카드에 기여했습니다. 이 문서는 모델의 기능, 성능 벤치마크, 한계 및 개발 중에 구현된 안전 프로토콜에 대한 포괄적인 개요를 제공합니다.
• GPT-4 기술 보고서(2023): 그는 GPT-4에 대한 기술 보고서를 작성한 팀의 일원이었습니다. 이 보고서는 다중 모드 모델의 아키텍처, 훈련 프로세스 및 광범위한 전문 및 학문적 벤치마크에서 이전 세대보다 상당히 향상된 성능을 자세히 설명했습니다.
• 대규모 언어 모델은 임상 지식을 인코딩합니다(2023): Nature에 발표된 이 연구는 의료 분야에서 LLM의 잠재력을 조사했습니다. 이 연구는 Flan-PaLM과 같은 모델이 의료 자격 시험에서 높은 정확도를 달성하고 임상 질문에 일관되고 장문의 답변을 제공할 수 있음을 발견했습니다.
• Flan 컬렉션: 효과적인 지시 조정을 위한 데이터 및 방법 설계(2023): 국제 기계 학습 학회(ICML)에서 발표된 이 논문은 지시 사항으로 형식화된 작업의 대규모 데이터 세트인