Hugging Face(허깅페이스)는 데이터 과학 및 머신러닝을 위한 오픈소스 플랫폼입니다. AI 프로젝트를 위한 GitHub와 유사하게 AI 전문가와 애호가들을 위한 중심 허브 역할을 합니다. Clément Delangue, Julien Chaumond, 그리고 Thomas Wolf는 Hugging Face의 공동 설립자입니다. ^[1]

개요

Hugging Face(허깅페이스)는 포괄적인 머신러닝(ML) 및 데이터 과학 플랫폼입니다. 사용자는 AI 모델을 구축, 훈련 및 배포할 수 있으며, 초기 코드부터 라이브 애플리케이션 배포에 이르기까지 모든 것을 위한 인프라를 제공합니다. 사용자는 다른 사용자가 공유하는 모델과 데이터셋을 찾아보고 활용하며 데모 프로젝트를 테스트할 수 있습니다. Transformers Python 라이브러리로 잘 알려진 Hugging Face는 ML 모델의 다운로드 및 훈련을 간소화하여 효율적인 워크플로 통합을 용이하게 합니다. 이 플랫폼의 오픈소스 특성과 배포 도구는 자원 공유를 촉진하고 모델 훈련 시간, 자원 소비 및 AI 개발의 환경적 영향을 줄입니다. ^[2]

역사

2016년 프랑스 출신 기업가 클레망 델랑그(Clément Delangue), 줄리앙 쇼몽(Julien Chaumond), 토마스 울프(Thomas Wolf)에 의해 뉴욕시에서 설립된 허깅페이스(Hugging Face) Inc.는 허깅페이스 플랫폼의 기반이 되었습니다. 초기에는 10대들을 위한 챗봇 앱을 개발했지만, 이후 챗봇 모델을 오픈소스로 공개하면서 머신러닝 플랫폼으로 사업 방향을 전환했습니다. ^[3]

Hugging Face 허브 (Hugging Face Hub)

Hugging Face 허브는 35만 개 이상의 모델, 7만 5천 개의 데이터셋, 그리고 15만 개의 데모 앱(Spaces)을 보유한 온라인 플랫폼으로, 모두 오픈소스이며 공개적으로 접근 가능합니다. 머신러닝을 이용한 기술 탐색, 실험, 협업 및 구축을 위한 중앙 허브 역할을 합니다. Hugging Face 허브의 모델, Spaces 및 데이터셋은 Git 저장소로 호스팅되어 버전 관리 및 협업이 주요 기능입니다. 저장소(repo)는 코드와 자산을 저장하는 공간으로, 사용자는 자신의 작업을 백업하고, 커뮤니티와 공유하며, 팀과 협업할 수 있습니다. ^[4][5]

모델

Hugging Face를 사용하면 사용자는 자체 AI 모델을 플랫폼에 생성하고 호스팅하여 버전을 관리하고, 정보를 추가하고, 필요한 파일을 업로드할 수 있습니다. 사용자는 모델을 공개 또는 비공개로 설정하고, 모델 페이지에서 직접 토론과 풀 리퀘스트를 통해 협업할 수 있습니다. 모델은 Hugging Face에서 직접 실행하여 어떤 애플리케이션에도 출력 결과를 통합할 수 있습니다. 이 플랫폼은 자연어 처리, 오디오 작업, 컴퓨터 비전, 다중 모드 모델을 포함한 다양한 작업을 위한 200,000개 이상의 모델을 제공합니다. Transformers 라이브러리를 사용하면 이러한 모델에 쉽게 연결하여 작업을 실행하고, 개인 데이터로 모델을 학습하거나, 데모 Space를 빠르게 생성할 수 있습니다. ^[2][6]

Hugging Face의 Model Hub는 커뮤니티 구성원이 모델 체크포인트를 저장, 검색 및 공유할 수 있는 저장소입니다. 사용자는 huggingface_hub 클라이언트 라이브러리, 미세 조정을 위한 Hugging Face Transformers 라이브러리 또는 15개 이상의 통합 라이브러리를 사용하여 사전 훈련된 모델을 다운로드할 수 있습니다. 이 플랫폼은 프로덕션 환경에서 모델을 사용하기 위한 Serverless Inference API 및 Inference Endpoints도 제공합니다. ^[6]

Transformers 라이브러리

Hugging Face Transformers는 자연어 처리(NLP), 컴퓨터 비전, 오디오 및 음성 처리 작업을 위한 최첨단 사전 훈련된 모델 라이브러리입니다. 여기에는 Transformer 모델과 Transformer가 아닌 모델(예: 컴퓨터 비전 작업을 위한 최신 합성곱 신경망)이 모두 포함됩니다. 이러한 모델은 심층 학습 기술을 기반으로 하며, 종종 스마트폰 및 앱과 같은 인기 소비자 제품에 사용됩니다. 2017년에 처음 도입된 이후 원래 Transformer 모델은 NLP를 넘어 단백질 구조 예측, 치타 훈련 및 시계열 예측을 위한 모델을 포함한 많은 새로운 모델에 영감을 주었습니다. 이러한 모든 모델은 원래 Transformer 아키텍처를 기반으로 하며, 일부는 인코더 또는 디코더만 사용하고 다른 일부는 둘 다 사용하여 Transformer 계열 내의 상위 수준 차이를 분류하고 조사하기 위한 분류 체계를 제공합니다. ^[7][8]

데이터셋

데이터셋은 머신러닝을 통해 AI 모델을 훈련하는 데 사용되는 데이터의 집합입니다. 이러한 데이터셋에는 모델이 각 예시를 해석하는 데 도움이 되는 레이블과 함께 짝을 이룬 예시가 포함되어 있습니다. 훈련 중에 모델은 예시와 레이블 간의 패턴과 관계를 이해하도록 학습합니다. 훈련이 완료되면 모델은 새로운 프롬프트를 기반으로 출력을 생성할 수 있습니다. 고품질 데이터셋을 만드는 것은 어렵고 모델 오류를 방지하기 위해 실제 데이터를 정확하게 표현해야 합니다. Hugging Face는 자연어 처리, 컴퓨터 비전, 오디오를 포함한 다양한 작업을 위한 30,000개 이상의 데이터셋을 호스팅합니다. 사용자는 자신의 데이터셋을 기여하고 새로운 데이터셋이 제공됨에 따라 액세스할 수도 있습니다. ^[2][9]

Spaces

Hugging Face는 사용자가 모델을 호스팅하고 학습을 위한 데이터셋을 탐색할 수 있도록 허용하지만, Spaces는 더 넓은 대상에게 시연 및 독립적인 데모를 제공합니다. 이 플랫폼은 이러한 데모를 실행하기 위해 기본적인 컴퓨팅 리소스(16GB RAM, 2개의 CPU 코어, 50GB 디스크 공간)를 제공하며, 성능 향상을 위해 업그레이드 옵션도 있습니다. Spaces는 프로젝트 홍보 및 참여자 유치에 유용합니다. 많은 Spaces는 사용자 친화적이며 기술적 지식이 필요 없어 누구나 사용할 수 있습니다. ^[2][10]

조직

Hugging Face 허브는 사용자가 계정을 그룹화하고 데이터셋, 모델, Spaces를 관리할 수 있도록 조직(Organizations)을 제공합니다. 관리자는 사용자 역할을 설정하여 저장소에 대한 접근을 제어하고 조직의 결제 방법 및 청구 정보를 관리할 수 있습니다. ^[11]

엔터프라이즈 허브

엔터프라이즈 허브는 조직에 고급 기능을 향상시켜 Hugging Face에서 팀과 회사의 안전하고, 규정을 준수하며 관리되는 협업을 촉진합니다. 여기에는 감사 로그, 개인 데이터셋 뷰어 및 리소스 그룹이 포함됩니다. ^[12]

• 감사 로그를 통해 조직 관리자는 조직 구성원 변경, 저장소 설정 및 청구를 포함한 구성원의 작업을 쉽게 추적할 수 있습니다.
• 데이터셋 뷰어는 엔터프라이즈 허브 조직이 소유한 개인 데이터셋에 대해 활성화됩니다. 이 도구는 팀이 데이터를 이해하고 AI를 위한 데이터 처리 및 필터링을 개선하는 데 도움이 됩니다. 사용자는 데이터셋 콘텐츠를 탐색하고, 데이터 분포를 분석하고, 값으로 필터링하고, 키워드를 검색할 수 있습니다. 또한 데이터셋을 Parquet으로 변환하여 프로그래밍 방식의 데이터 시각화를 수행할 수 있습니다. ^[13]
• 리소스 그룹은 조직 관리자를 위한 저장소 구성 및 액세스 관리를 간소화합니다. 이 기능을 통해 서로 다른 팀이 단일 조직 내에서 각각의 저장소에 대해 협업할 수 있습니다. 각 저장소는 단일 리소스 그룹에 할당되며, 액세스하려면 조직 구성원이 포함되어야 합니다. 각 리소스 그룹 내에서 구성원에게는 그룹의 저장소에 대한 권한을 정의하는 역할이 할당됩니다. 조직 관리자는 조직 내의 모든 리소스 그룹을 제어합니다. 또한 리소스 그룹은 조직 내에서 개인 저장소의 가시성에 영향을 미칩니다. 리소스 그룹에 연결된 개인 저장소는 해당 그룹의 구성원에게만 표시되고, 공용 저장소는 조직 내외부의 모든 사용자에게 표시됩니다. ^[14]

엔터프라이즈 모드를 사용하는 일부 조직은 다음과 같습니다. ^[15]

• Meta
• BrainDAO
• Snorkel AI
• Uber
• Liberty Mutual
• Arcee AI

파트너십

Amazon (AWS)

2021년 3월 23일, Hugging Face는 최첨단 기계 학습 모델 활용을 간소화하고 기업의 최첨단 NLP 기능 배포를 가속화하기 위해 Amazon과 전략적 파트너십을 발표했습니다. 이 협력의 일환으로 Hugging Face는 고객 서비스 제공을 위해 Amazon Web Services (AWS)(아마존 웹 서비스)를 선호하는 클라우드 제공업체로 선택했습니다. 이 파트너십을 촉진하기 위해 Hugging Face와 Amazon은 Amazon SageMaker(아마존 세이지메이커)에서 Hugging Face Transformer 모델의 교육 과정을 간소화하기 위한 새로운 Hugging Face Deep Learning Containers (DLC)를 도입했습니다. ^[16]

2023년 2월 21일, Hugging Face와 Amazon Web Services (AWS)(아마존 웹 서비스)는 차세대 기계 학습 모델의 가용성을 가속화하기 위한 확장된 장기 전략적 파트너십을 공개했습니다. 이 파트너십은 기계 학습 커뮤니티가 이러한 모델에 더 쉽게 접근할 수 있도록 하고 개발자가 최소 비용으로 최적의 성능을 달성할 수 있도록 지원하는 것을 목표로 합니다. 이 확장된 협력을 통해 Hugging Face와 AWS는 Hugging Face에 호스팅되는 최신 모델과 Amazon SageMaker(아마존 세이지메이커)의 고급 기능을 활용하여 기계 학습 채택을 가속화하고자 합니다. 고객은 이제 AWS Trainium(AWS 트레이니엄) 및 AWS Inferentia(AWS 인페렌시아)와 같은 목적에 맞게 제작된 기계 학습 가속기를 사용하여 몇 번의 클릭만으로 Amazon SageMaker(아마존 세이지메이커) 및 Amazon Elastic Computing Cloud (EC2)(아마존 엘라스틱 컴퓨팅 클라우드)에서 최첨단 Hugging Face 모델을 쉽게 미세 조정하고 배포할 수 있습니다. ^[17]

Graphcore

2021년 9월 14일, 2021 AI 하드웨어 서밋에서 Hugging Face는 새로운 하드웨어 파트너 프로그램을 공개했는데, 여기에는 디바이스에 최적화된 모델과 소프트웨어 통합이 포함되었습니다. 이 프로그램의 창립 멤버 중 하나는 지능형 처리 장치(IPU)로 유명한 Graphcore였습니다. Graphcore는 Hugging Face와의 협력을 자세히 설명하며, 이를 통해 개발자들이 최첨단 Transformer 모델의 성능을 원활하게 향상시킬 수 있음을 강조했습니다. ^[18]

Habana Labs

2022년 4월 12일, Habana Labs와 Hugging Face는 고품질 트랜스포머 모델 학습 효율을 높이기 위한 협력을 발표했습니다. Habana의 SynapseAI 소프트웨어 제품군을 Hugging Face Optimum 오픈소스 라이브러리와 통합함으로써, 데이터 과학자와 머신러닝 엔지니어는 최소한의 코드 조정으로 Habana 프로세서에서 트랜스포머 학습 작업 속도를 높여 생산성을 높이고 비용을 절감할 수 있습니다. ^[19]

카카오브레인 (Kakao Brain)

2023년 3월 6일, 카카오브레인(Kakao Brain)과 허깅페이스(Hugging Face)는 7억 쌍의 이미지-텍스트 쌍으로 구성된 새로운 오픈소스 이미지-텍스트 데이터셋 COYO와, 이를 기반으로 학습된 두 개의 새로운 비주얼 언어 모델 ViT와 ALIGN을 공개했습니다. 이는 ALIGN 모델이 처음으로 무료 오픈소스로 공개된 사례이며, 학습 데이터셋과 함께 ViT 및 ALIGN 모델의 초기 버전이 공개된 것입니다. ^[20]

Jupyter

2023년 3월 23일, Hugging Face는 Hugging Face Hub에 호스팅되는 Jupyter 노트북에 대한 향상된 지원을 발표했습니다. 모델, 데이터셋, 데모 호스팅 외에도 Hub는 현재 7,000개가 넘는 노트북을 호스팅하여 개발 프로세스에 대한 귀중한 문서를 제공하고 리소스 활용을 위한 튜토리얼을 제공합니다. 노트북 호스팅의 이러한 개선은 Hugging Face 커뮤니티에 중요한 발전이었습니다. ^[21]

Google

2024년 1월 25일, Hugging Face는 머신러닝의 민주화를 위해 Google Cloud와의 전략적 파트너십을 발표했습니다. 이 협력은 개방형 과학, 오픈소스, 클라우드 및 하드웨어 전반에 걸쳐 협력하여 기업이 Hugging Face의 최신 오픈 모델과 Google Cloud의 고급 클라우드 및 하드웨어 기능을 사용하여 AI를 개발할 수 있도록 지원하는 것을 포함합니다. ^[22]

NVIDIA

2024년 3월 18일, Hugging Face는 엔터프라이즈 허브 조직을 위한 Hugging Face 허브에서 사용 가능한 새로운 서비스인 Train on DGX Cloud 출시를 발표했습니다. Train on DGX Cloud는 NVIDIA DGX Cloud의 가속화된 컴퓨팅 인프라를 활용하여 오픈 모델의 활용을 간소화합니다. 이번 협력은 엔터프라이즈 허브 사용자에게 최신 NVIDIA H100 Tensor Core GPU에 대한 쉬운 접근을 제공하여 몇 번의 클릭만으로 Hugging Face 허브 내에서 Llama, Mistral, Stable Diffusion과 같은 인기 있는 생성형 AI 모델을 미세 조정할 수 있도록 하는 것을 목표로 했습니다. ^[23]

Cloudflare

2024년 4월 2일, Hugging Face는 Hugging Face Hub에서 사용 가능한 새로운 통합 기능인 Deploy on Cloudflare Workers AI를 발표했습니다. 이 통합 기능을 통해 Cloudflare 에지 데이터 센터에 배포된 최첨단 GPU를 활용하여 오픈 모델을 서버리스 API로 간편하게 사용할 수 있습니다. 이를 통해 개발자는 GPU 인프라 및 서버를 관리하지 않고도 강력한 생성형 AI 애플리케이션을 구축할 수 있으며, 사용한 컴퓨팅 비용만 지불함으로써 운영 비용을 최소화할 수 있습니다. ^[24]