**제임스 리-소프(James Lee-Thorp)**는 트랜스포머 이론과 AI 정렬을 전문으로 하는 인공지능 연구원으로, 현재 메타의 초지능팀(Meta's Superintelligence)에서 연구 과학자로 근무하고 있습니다. 그는 FNet 아키텍처를 포함한 효율적인 트랜스포머 모델에 대한 연구로 잘 알려져 있습니다. ^{[1] [2]}

교육

리-소프는 케이프타운 대학교에서 수학 학사 및 석사 학위를 모두 취득했습니다. 이후 미국으로 건너가 2011년부터 2016년까지 콜롬비아 대학교에서 수학 박사 학위를 취득했습니다. ^{[1] [3] [5]}

경력

박사 학위 취득 후 리-소프는 2016년부터 2017년까지 뉴욕 대학교에서 박사후 연구원으로 근무했습니다. 초기 경력에는 골드만삭스의 소프트웨어 엔지니어 역할도 포함됩니다. 그 후 구글로 자리를 옮겨 연구원 및 소프트웨어 엔지니어로 일했습니다. 구글에서 그는 효율적인 트랜스포머 아키텍처에 대한 연구에 중요한 기여를 했습니다. 2025년, 리-소프는 메타에 연구 과학자로 합류하여 회사의 새롭게 설립된 "초지능(Superintelligence)" 팀에 합류했습니다.

그의 연구는 AI 시스템이 인간의 의도와 가치에 따라 행동하도록 하는 것을 목표로 하는 AI 정렬에 중점을 둡니다. 여기에는 인간 피드백으로부터의 강화 학습(RLHF)과 안구 추적과 같은 인간 인지 신호를 사용하여 AI 보상 모델을 개선하는 연구가 포함됩니다. 그의 전문 지식은 메타가 고급 AI 시스템의 안전성과 제어 가능성을 해결하기 위한 전략의 중요한 부분으로 여겨집니다.

리-소프는 자연어 처리 및 기계 학습 분야에서 여러 편의 영향력 있는 논문을 공동 저술했습니다. 그의 연구는 종종 대규모 AI 모델의 효율성과 이해도를 향상시키는 데 중점을 둡니다.

• FNet: 푸리에 변환을 사용한 토큰 믹싱(2022): 이 논문은 트랜스포머 인코더의 자기 주의 메커니즘을 매개변수가 없는 푸리에 변환으로 대체하는 FNet 모델을 소개했습니다. 이 연구는 이러한 접근 방식이 GPU와 TPU에서 훈련 시간을 (70-80%) 크게 단축하면서 GLUE 벤치마크에서 비교 가능한 BERT 모델의 정확도의 92-97%를 유지할 수 있음을 보여주었습니다. 이 모델은 Long Range Arena 벤치마크에서도 매우 효율적인 것으로 나타났으며, 최고 모델의 정확도와 일치하면서 더 빠른 속도를 보였습니다.

• GQA: 다중 헤드 체크포인트에서 일반화된 다중 쿼리 트랜스포머 모델 훈련(2023): EMNLP 2023에 발표된 이 연구는 기존의 다중 헤드 체크포인트를 활용하여 디코더 추론 속도를 높일 수 있는 다중 쿼리 어텐션 모델을 훈련하는 방법을 탐구합니다.

• CoLT5: 조건부 계산을 사용한 더 빠른 장거리 트랜스포머(2023): EMNLP 2023에서도 발표된 이 논문은 조건부 계산을 사용하여 긴 시퀀스 처리의 효율성을 향상시키는 장거리 트랜스포머 모델을 소개했습니다.

• Sparse Upcycling: 밀집 체크포인트에서 전문가 믹스 훈련(2023): ICLR 2023에 발표된 이 연구는 "업사이클링"이라는 과정을 통해 기존의 밀집 모델에서 스파스 전문가 믹스(MoE) 모델을 생성하는 방법을 제시했습니다. 이를 통해 처음부터 훈련할 필요 없이 더 효율적이고 용량이 큰 모델을 생성할 수 있습니다.

이러한 출판물은 그가 더욱 계산적으로 효율적이고 확장 가능한 AI 모델을 만드는 데 중점을 두고 있음을 보여줍니다.

2022년, 리-소프와 그의 공동 저자들은 "FNet: 푸리에 변환을 사용한 토큰 믹싱" 논문으로 북미 계산 언어학 협회(NAACL) 회의에서 "최고의 효율적인 NLP 논문" 상을 수상했습니다. ^{[4] [1] [2] [3] [5] [6]}