Hugging Face는 데이터 과학 및 머신러닝을 위한 오픈 소스 플랫폼입니다. AI 프로젝트를 위한 GitHub와 유사하게 AI 전문가와 매니아를 위한 중앙 허브입니다. Clément Delangue, Julien Chaumond, Thomas Wolf는 Hugging Face의 공동 설립자입니다. ^[1]

개요

Hugging Face는 포괄적인 머신러닝(ML) 및 데이터 과학 플랫폼입니다. 사용자가 AI 모델을 구축, 훈련 및 배포할 수 있도록 지원하며, 초기 코드부터 라이브 애플리케이션 배포까지 모든 것을 위한 인프라를 제공합니다. 사용자는 다른 사람들이 공유하는 모델 및 데이터 세트를 탐색하고 활용하며 데모 프로젝트를 테스트할 수 있습니다. Transformers Python 라이브러리로 유명한 Hugging Face는 ML 모델의 다운로드 및 훈련을 간소화하여 효율적인 워크플로우 통합을 용이하게 합니다. 이 플랫폼의 오픈 소스 특성과 배포 도구는 자원 공유를 촉진하고 모델 훈련 시간, 자원 소비 및 AI 개발의 환경적 영향을 줄입니다. ^[2]

역사

Hugging Face Inc.는 2016년 프랑스 기업가인 클레망 들랑그, 줄리앙 쇼몽, 토마스 볼프가 뉴욕 시에서 설립했으며, Hugging Face 플랫폼의 배후에 있습니다. 처음에는 십대들을 위한 챗봇 앱을 개발했지만, 챗봇 모델을 오픈 소싱한 후 머신러닝 플랫폼으로 초점을 옮겼습니다. ^[3]

Hugging Face Hub

Hugging Face Hub는 350,000개 이상의 모델, 75,000개의 데이터 세트, 150,000개의 데모 앱(Spaces)을 특징으로 하는 온라인 플랫폼으로, 모두 오픈 소스이며 공개적으로 액세스할 수 있습니다. 머신 러닝을 통해 기술을 탐색, 실험, 협업 및 구축할 수 있는 중심적인 장소 역할을 합니다. Hugging Face Hub의 모델, Spaces 및 데이터 세트는 Git 저장소로 호스팅되어 버전 관리 및 협업이 핵심 기능입니다. 저장소(repo)는 코드 및 자산을 저장하는 공간으로, 사용자가 작업을 백업하고 커뮤니티와 공유하며 팀과 협업할 수 있도록 합니다. ^[4][5]

모델

Hugging Face를 통해 사용자는 플랫폼에서 자체 AI 모델을 생성하고 호스팅할 수 있으며, 여기서 버전을 관리하고, 정보를 추가하고, 필요한 파일을 업로드할 수 있습니다. 사용자는 모델을 공개 또는 비공개로 설정하고 모델 페이지에서 직접 토론 및 풀 리퀘스트를 통해 협업할 수 있습니다. 모델은 Hugging Face에서 직접 실행하여 출력을 모든 애플리케이션에 통합할 수 있습니다. 이 플랫폼은 자연어 처리, 오디오 작업, 컴퓨터 비전 및 멀티모달 모델을 포함한 다양한 작업을 위한 20만 개 이상의 모델을 제공합니다. Transformers 라이브러리를 통해 이러한 모델에 쉽게 연결하여 작업 실행, 개인 데이터를 사용한 모델 훈련 또는 데모 Spaces를 빠르게 생성할 수 있습니다. ^[2][6]

Hugging Face의 Model Hub는 커뮤니티 구성원이 모델 체크포인트를 저장, 검색 및 공유할 수 있는 저장소입니다. 사용자는 huggingface_hub 클라이언트 라이브러리, Hugging Face Transformers 라이브러리를 사용하여 사전 훈련된 모델을 다운로드하거나 15개 이상의 통합 라이브러리를 사용할 수 있습니다. 또한 이 플랫폼은 프로덕션 환경에서 모델을 사용하기 위한 Serverless Inference API 및 Inference Endpoints를 제공합니다. ^[6]

Transformers 라이브러리

Hugging Face Transformers는 자연어 처리(NLP), 컴퓨터 비전, 오디오 및 음성 처리 작업을 위한 사전 훈련된 최첨단 모델 라이브러리입니다. 여기에는 Transformer 모델과 컴퓨터 비전 작업을 위한 최신 컨볼루션 네트워크와 같은 비 Transformer 모델이 모두 포함됩니다. 딥 러닝 기술은 스마트폰 및 앱과 같은 인기 있는 소비자 제품에서 이러한 모델의 기반이 됩니다. 2017년에 도입된 이후 원래 Transformer 모델은 단백질 구조 예측, 치타 훈련, 시계열 예측을 포함하여 NLP를 넘어 많은 새로운 모델에 영감을 주었습니다. 이러한 모든 모델은 원래 Transformer 아키텍처를 기반으로 하며 일부는 인코더 또는 디코더만 사용하고 다른 모델은 둘 다 사용하여 Transformer 제품군 내에서 상위 수준의 차이점을 분류하고 검토하기 위한 분류법을 제공합니다. ^[7][8]

데이터 세트

데이터 세트는 머신 러닝을 통해 AI 모델을 훈련하는 데 사용되는 데이터 모음입니다. 이러한 데이터 세트에는 레이블과 쌍을 이루는 예제가 포함되어 있으며, 이는 모델이 각 예제를 해석하는 데 지침이 됩니다. 훈련 중에 모델은 예제와 레이블 간의 패턴과 관계를 학습합니다. 훈련이 완료되면 모델은 새로운 프롬프트를 기반으로 출력을 생성할 수 있습니다. 고품질 데이터 세트를 만드는 것은 어렵고 모델 오류를 방지하기 위해 실제 데이터를 정확하게 표현해야 합니다. Hugging Face는 자연어 처리, 컴퓨터 비전 및 오디오를 포함한 다양한 작업을 위해 30,000개 이상의 데이터 세트를 호스팅합니다. 사용자는 자신의 데이터 세트를 기여하고 새로운 데이터 세트를 사용할 수 있게 되면 액세스할 수도 있습니다. ^[2][9]

Spaces

Hugging Face는 사용자가 모델을 호스팅하고 훈련을 위한 데이터 세트를 탐색할 수 있도록 지원하지만, Spaces는 더 넓은 청중을 위한 쇼케이스 및 자체 포함 데모를 만듭니다. 이 플랫폼은 이러한 데모를 실행하기 위한 기본 컴퓨팅 리소스(16GB RAM, 2개의 CPU 코어 및 50GB 디스크 공간)를 제공하며, 더 나은 성능을 위해 업그레이드할 수 있는 옵션이 있습니다. Spaces는 프로젝트를 홍보하고 기여자를 유치하는 데 유용합니다. 많은 Spaces는 사용자 친화적이며 기술적 기술이 필요하지 않으므로 누구나 액세스할 수 있습니다. ^[2][10]

조직

Hugging Face Hub는 조직을 제공하여 사용자가 계정을 그룹화하고 데이터 세트, 모델 및 Spaces를 관리할 수 있도록 합니다. 관리자는 사용자 역할을 설정하여 저장소에 대한 액세스를 규제하고 조직의 결제 방법 및 청구 정보를 관리할 수 있습니다. ^[11]

Enterprise Hub

Enterprise Hub는 조직에 고급 기능을 제공하여 Hugging Face에서 팀과 회사를 위한 안전하고 규정을 준수하며 관리되는 협업을 촉진합니다. 여기에는 감사 로그, 개인 데이터 세트 뷰어 및 리소스 그룹이 포함됩니다. ^[12]

• 감사 로그를 통해 조직 관리자는 조직 구성원 변경, 리포지토리 설정 및 청구를 포함하여 구성원의 활동을 쉽게 추적할 수 있습니다.
• 데이터 세트 뷰어는 Enterprise Hub 조직이 소유한 개인 데이터 세트에 대해 활성화됩니다. 이 도구는 팀이 데이터를 이해하고 AI를 위한 데이터 처리 및 필터링을 개선하는 데 도움이 됩니다. 사용자는 데이터 세트 내용을 탐색하고, 데이터 분포를 분석하고, 값을 기준으로 필터링하고, 키워드를 검색할 수 있습니다. 또한 데이터 세트를 Parquet로 변환하여 프로그래밍 방식으로 데이터 시각화를 할 수 있습니다. ^[13]
• 리소스 그룹은 조직 관리자를 위해 리포지토리 구성 및 액세스 관리를 간소화합니다. 이 기능을 통해 분산된 팀이 단일 조직 내에서 각자의 리포지토리에서 협업할 수 있습니다. 각 리포지토리는 단일 리소스 그룹에 할당되며, 해당 리포지토리에 액세스하려면 조직 구성원이 포함되어야 합니다. 각 리소스 그룹 내에서 구성원은 그룹의 리포지토리에 대한 권한을 정의하는 역할을 할당받습니다. 조직 관리자는 조직 내의 모든 리소스 그룹에 대한 제어 권한을 유지합니다. 또한 리소스 그룹은 조직 내의 개인 리포지토리의 가시성에 영향을 미칩니다. 리소스 그룹에 연결된 개인 리포지토리는 해당 그룹의 구성원에게만 표시되는 반면, 공용 리포지토리는 조직 내부 및 외부의 모든 개인에게 표시됩니다. ^[14]

Enterprise 모드를 사용하는 일부 조직은 다음과 같습니다. ^[15]

• Meta
• BrainDAO
• Snorkel AI
• Uber
• Liberty Mutual
• Arcee AI

파트너십

Amazon (AWS)

2021년 3월 23일, Hugging Face는 최첨단 머신 러닝 모델의 활용을 간소화하고 기업을 위한 최첨단 NLP 기능의 배포를 가속화하는 것을 목표로 Amazon과 전략적 파트너십을 발표했습니다. 이 협력의 일환으로 Hugging Face는 고객 서비스 제공을 위해 Amazon Web Services(AWS)를 선호하는 클라우드 공급자로 활용하기로 결정했습니다. 이 파트너십을 용이하게 하기 위해 Hugging Face와 Amazon은 Amazon SageMaker에서 Hugging Face Transformer 모델의 교육 프로세스를 간소화하는 것을 목표로 하는 새로운 Hugging Face Deep Learning Containers(DLC)를 도입했습니다. ^[16]

2023년 2월 21일, Hugging Face와 Amazon Web Services(AWS)는 차세대 머신 러닝 모델의 가용성을 가속화하기 위해 확장된 장기 전략적 파트너십을 발표했습니다. 이 파트너십은 이러한 모델을 머신 러닝 커뮤니티에서 더 쉽게 접근할 수 있도록 하는 동시에 개발자가 최소 비용으로 최적의 성능을 달성할 수 있도록 지원하는 것을 목표로 합니다. 이 확장된 협력을 통해 Hugging Face와 AWS는 Amazon SageMaker의 고급 기능과 함께 Hugging Face에서 호스팅되는 최신 모델을 활용하여 머신 러닝 도입을 가속화하는 것을 목표로 합니다. 고객은 이제 AWS Trainium 및 AWS Inferentia와 같은 목적에 맞게 제작된 머신 러닝 가속기를 활용하여 몇 번의 클릭만으로 Amazon SageMaker 및 Amazon Elastic Computing Cloud(EC2)에서 최첨단 Hugging Face 모델을 쉽게 미세 조정하고 배포할 수 있습니다. ^[17]

Graphcore

2021년 9월 14일, 2021 AI 하드웨어 서밋에서 Hugging Face는 새로운 하드웨어 파트너 프로그램을 공개했으며, 여기에는 장치에 최적화된 모델과 소프트웨어 통합이 포함되었습니다. 이 프로그램의 창립 멤버 중에는 IPU(Intelligence Processing Unit)로 알려진 Graphcore가 있었습니다. Graphcore는 Hugging Face와의 협력에 대해 자세히 설명하면서 개발자가 최첨단 Transformer 모델의 성능을 원활하게 향상시킬 수 있도록 지원할 것이라고 강조했습니다. ^[18]

Habana Labs

2022년 4월 12일, Habana Labs와 Hugging Face는 고품질 트랜스포머 모델 훈련의 효율성을 향상시키기 위한 협력을 발표했습니다. Habana의 SynapseAI 소프트웨어 스위트를 Hugging Face Optimum 오픈 소스 라이브러리와 통합함으로써 데이터 과학자와 머신 러닝 엔지니어는 최소한의 코드 조정으로 Habana 프로세서에서 트랜스포머 훈련 작업을 가속화하여 생산성과 비용 절감을 높일 수 있습니다. ^[19]

카카오 브레인

2023년 3월 6일, 카카오브레인과 허깅 페이스는 7억 쌍으로 구성된 새로운 오픈 소스 이미지-텍스트 데이터셋인 COYO와 이를 기반으로 학습된 두 개의 새로운 시각 언어 모델인 ViT 및 ALIGN을 출시한다고 발표했습니다. 이는 ALIGN 모델이 무료 오픈 소스 용도로 공개적으로 제공되는 최초의 사례이며, 학습 데이터셋과 함께 ViT 및 ALIGN 모델이 처음으로 출시된 것입니다. ^[20]

Jupyter

2023년 3월 23일, Hugging Face는 Hugging Face Hub에서 호스팅되는 Jupyter 노트북에 대한 향상된 지원을 발표했습니다. 모델, 데이터 세트 및 데모 호스팅 외에도 Hub는 현재 7,000개 이상의 노트북을 호스팅하여 개발 프로세스에 대한 귀중한 문서를 제공하고 리소스 활용에 대한 튜토리얼을 제공합니다. 노트북 호스팅의 이러한 개선은 Hugging Face 커뮤니티에 중요한 발전이었습니다. ^[21]

Google

2024년 1월 25일, Hugging Face는 머신러닝 대중화를 위해 Google Cloud와 전략적 파트너십을 발표했습니다. 이 협력에는 개방형 과학, 오픈 소스, 클라우드 및 하드웨어 전반에 걸쳐 협력하여 기업이 Hugging Face의 최신 오픈 모델과 Google Cloud의 고급 클라우드 및 하드웨어 기능을 사용하여 AI를 개발할 수 있도록 지원하는 내용이 포함되었습니다. ^[22]

NVIDIA

2024년 3월 18일, Hugging Face는 Enterprise Hub 조직을 위한 새로운 서비스인 Train on DGX Cloud를 Hugging Face Hub에서 출시한다고 발표했습니다. Train on DGX Cloud는 NVIDIA DGX Cloud의 가속화된 컴퓨팅 인프라를 활용하여 오픈 모델의 활용을 간소화합니다. 이 협업은 Enterprise Hub 사용자에게 최신 NVIDIA H100 Tensor Core GPU에 대한 쉬운 액세스를 제공하여 몇 번의 클릭만으로 Hugging Face Hub 내에서 Llama, Mistral, Stable Diffusion과 같은 인기 있는 생성 AI 모델을 미세 조정할 수 있도록 하는 것을 목표로 합니다. ^[23]

Cloudflare

2024년 4월 2일, Hugging Face는 Hugging Face Hub에서 사용할 수 있는 새로운 통합 기능인 Cloudflare Workers AI에 배포를 발표했습니다. 이 통합을 통해 최첨단 GPU가 Cloudflare 에지 데이터 센터에 배포되어 오픈 모델을 서버리스 API로 간편하게 사용할 수 있습니다. 이를 통해 개발자는 GPU 인프라 및 서버를 관리하지 않고도 강력한 생성 AI 애플리케이션을 구축할 수 있으며, 사용한 컴퓨팅에 대해서만 비용을 지불하여 운영 비용을 최소화할 수 있습니다. ^[24]