**하오톈 탕(Haotian Tang)**은 시스템 및 머신 러닝(SysML)을 전문으로 하는 컴퓨터 과학자입니다. 그의 연구는 효율적인 딥 러닝, 특히 3D 인식 및 대규모 파운데이션 모델에 중점을 둡니다. 그의 경력에는 매사추세츠 공과대학교(MIT)에서의 학술 연구와 Waymo, NVIDIA, Google DeepMind, Meta Superintelligence Labs 등의 회사에서의 산업 직책이 포함됩니다. ^{[1] [2]}

교육

탕은 상하이 자오퉁 대학교(SJTU)에 다녔으며, 2020년에 컴퓨터 과학 및 기술 학사 학위를 받았습니다. SJTU 졸업 후 탕은 매사추세츠 공과대학교(MIT)에 등록했습니다. 그는 2022년에 전기 공학 및 컴퓨터 과학 석사 학위를 받았으며, 2025년에 졸업할 예정으로 같은 학과의 박사 과정 후보입니다. MIT에서 그는 송한 교수가 지도하는 한 랩의 멤버입니다. ^{[1] [3]}

경력

탕은 2017년에 Agora.io에서 소프트웨어 엔지니어링 인턴으로 경력을 시작했습니다. 2019년 상하이 자오퉁 대학교에서 공부하는 동안 텐센트에서 컴퓨터 비전 및 머신 러닝 연구 인턴으로 일했으며, 대학의 컴퓨터 과학과에서 연구 조교로도 근무했습니다. 2019년부터 2020년까지 MIT 송한 교수의 지도하에 원격 연구 인턴으로 일하면서 효율적인 3D 딥 러닝에 집중했습니다. ^[1]

2020년, 탕은 MIT에서 박사 과정을 시작했으며, 그의 연구는 시스템 및 머신 러닝에 집중되었습니다. 이 기간 동안 그의 연구는 3D 신경망, 희소 데이터를 위한 하드웨어 효율성, 자율 시스템을 위한 다중 센서 융합과 같은 주제에 대한 여러 논문으로 이어졌습니다. 학술 연구와 함께 탕은 여러 산업 인턴십을 완료했습니다. 2022년에는 OmniML에서 인턴으로 일했으며, 이후 NVIDIA에 인수되었습니다. 2023년에는 Waymo에서 연구 인턴으로 일하면서 멀티모달 행동 예측에 대한 연구를 수행했습니다. 그는 2024년에 NVIDIA에서 인턴십을 수행하여 효율적인 시각적 생성 모델 개발에 집중했습니다. ^[1]

2025년 초, 탕은 Google DeepMind에 연구 과학자로 합류하여 세계 시뮬레이션 프로젝트를 위한 대규모 사전 훈련에 기여했습니다. 그해 말, 그는 Superintelligence 팀의 연구 과학자로 Meta로 이직하여 멀티모달 파운데이션 모델에 대한 연구를 수행했습니다. ^[1]

연구 및 출판물

탕의 연구는 딥 러닝 시스템의 효율성 및 성능 문제 해결에 중점을 둡니다. 그의 연구는 대규모 언어 모델(LLM)을 위한 알고리즘 및 시스템의 공동 설계, 자율 주행을 위한 3D 포인트 클라우드 처리, 다중 센서 융합에 걸쳐 있습니다. ^[1]

효율적인 대규모 언어 모델

탕의 연구의 상당 부분은 대규모 언어 모델을 추론 및 미세 조정 모두에 대해 더 효율적으로 만드는 데 전념해 왔습니다.

• AWQ (Activation-aware Weight Quantization): 탕은 LLM을 위한 하드웨어 친화적인 저비트 가중치 전용 양자화 방법인 AWQ 프로젝트의 시스템 공동 책임자였습니다. 이 방법은 소수의 중요한 가중치를 보호하면 역전파 또는 데이터 재구성 없이 양자화 오류를 크게 줄일 수 있다는 관찰을 기반으로 합니다. 이 연구는 MLSys 2024에서 최우수 논문상을 받았습니다. ^[1]
• QServe: 시스템 설계 책임자로서 탕은 효율적인 클라우드 기반 LLM 서비스를 위해 설계된 추론 엔진인 QServe에 기여했습니다. QServe는 W4A8KV4 양자화 체계(4비트 가중치, 8비트 활성화, 4비트 KV 캐시)를 사용하여 추론을 가속화합니다. 이 시스템은 컴퓨팅 인식 가중치 재정렬 및 융합된 어텐션과 같은 기술을 통합하여 역양자화 오버헤드 및 메모리 대역폭을 줄여 더 저렴한 GPU가 더 높은 사양의 하드웨어의 처리량과 일치하도록 한다고 보고되었습니다. ^[1]
• LongLoRA: 이 프로젝트는 긴 컨텍스트 크기를 처리하기 위해 LLM을 미세 조정하는 효율적인 방법을 제시했습니다. 이 접근 방식은 미세 조정 중에 이동된 희소 어텐션 메커니즘을 사용하여 계산 비용을 줄이며, 일반적으로 컨텍스트 길이에 따라 2차적으로 확장됩니다. 이 방법을 사용하면 제한된 계산 리소스로 모델을 훨씬 더 긴 컨텍스트 창으로 확장할 수 있습니다. ^[1]

3D 딥 러닝 및 포인트 클라우드

탕은 또한 자율 주행 및 증강 현실과 같은 애플리케이션에 중요한 희소하고 불규칙한 3D 포인트 클라우드 데이터를 위한 딥 러닝 모델 최적화에 광범위하게 참여해 왔습니다.

• TorchSparse 및 TorchSparse++: 탕은 TorchSparse 및 그 후속 버전인 TorchSparse++의 주요 저자였습니다. 이들은 포인트 클라우드 처리에서 흔히 사용되는 희소 컨볼루션 연산을 가속화하도록 설계된 고성능 GPU 라이브러리입니다. 이 프레임워크는 커널 생성기와 자동 튜너를 도입하여 훈련 및 추론 모두에 대한 데이터 흐름을 최적화하여 MinkowskiEngine 및 SpConv와 같은 기존 라이브러리보다 상당한 속도 향상을 달성합니다. ^[1]
• BEVFusion: 이 연구는 카메라 및 LiDAR와 같은 다양한 센서의 특징을 공유 버드아이 뷰(BEV) 표현으로 통합하는 다중 작업, 다중 센서 융합을 위한 프레임워크를 도입했습니다. 이 통합된 공간에서 기하학적 정보와 의미론적 정보를 모두 보존함으로써 BEVFusion은 3D 객체 감지 및 맵 분할 작업의 성능을 향상시키는 동시에 계산 비용을 줄였습니다. ^[1]
• SPVNAS 및 PVCNN: 그의 초기 연구에서 탕은 새로운 3D 신경망 기본 요소에 대한 논문을 공동 저술했습니다. Point-Voxel CNN(PVCNN)은 포인트 기반 표현의 메모리 효율성과 복셀 기반 컨볼루션의 계산 로컬리티를 결합했습니다. 이를 기반으로 희소 포인트-복셀 컨볼루션(SPVConv) 및 3D 신경망 아키텍처 검색(SPVNAS)이 개발되어 3D 장면 이해를 위한 효율적이고 정확한 네트워크 아키텍처를 자동으로 검색하여 SemanticKITTI와 같은 벤치마크에서 높은 성능을 달성했습니다. ^[1]