**PaLM (Pathways Language Model)**은 Google의 첫 번째 대규모 언어 모델로, Pathways 아키텍처 하에 개발되었으며 여러 작업을 동시에 관리하고, 새로운 작업에 효율적으로 적응하며, 복잡한 정보에 대한 보다 포괄적인 이해를 보여주도록 설계되었습니다. ^{[2] [12]}

개요

PaLM AI는 Google의 Pathways 시스템을 활용하여 6,144개의 TPU v4 칩에서 훈련을 확장하며, 이는 현재까지 언어 모델 훈련에 사용된 가장 큰 TPU 기반 구성입니다. 훈련 과정은 두 개의 Cloud TPU Pod에서 데이터 병렬 처리를 사용하고 각 Pod 내에서 표준 모델 병렬 처리를 사용합니다. 이 모델은 웹 콘텐츠, 문학, Wikipedia, 대화 및 소스 코드를 포함한 광범위한 다국어 데이터 세트에서 훈련되었으며, 자연어와 프로그래밍 코드 모두에 중요한 구조를 유지하도록 설계된 사용자 정의 어휘를 사용합니다.

이 프로젝트는 분산화에 대한 단계적 접근 방식을 통합하여 모든 활동의 약 절반이 Ethereum 또는 SKALE과 같은 Layer 2 네트워크에서 직접 운영될 때까지 매달 개발의 5%를 온체인으로 이동합니다. 이 모델은 2022년 4월에 처음 발표되었으며 2023년 3월까지 비공개로 유지되었으며, Google은 PaLM 및 여러 관련 기술에 대한 API를 출시했습니다. ^{[1][4] [11]}

모델 아키텍처 및 기능

이 모델은 다음과 같은 주요 영역에서 뛰어난 성능을 보여줍니다.

• 상식 추론: PaLM은 일상적인 지식과 논리적 추론이 필요한 질문을 이해하고 응답할 수 있습니다.
• 산술 추론: 이 모델은 단계별 추론을 통해 수학 문제를 해결할 수 있습니다.
• 농담 설명: PaLM은 유머를 분석하고 설명하여 문화적 맥락과 언어적 뉘앙스에 대한 이해를 보여줍니다.
• 코드 생성: 이 모델은 여러 프로그래밍 언어에서 기능적 코드를 생성할 수 있습니다.
• 번역: PaLM은 높은 정확도로 수많은 언어 간 번역을 지원합니다. ^{[1] [12]}

특수 변형

Med-PaLM

Google과 DeepMind가 공동으로 개발한 Med-PaLM은 의료 데이터에 대해 미세 조정된 PaLM 540B 버전입니다. Med-PaLM은 단순히 질문에 정확하게 답변하는 것 외에도 응답에 대한 추론을 제공하고 자체 답변을 평가할 수 있어 의료 환경에서 특히 유용합니다. ^[7]

PaLM-E

PaLM-E는 비전 트랜스포머를 사용하여 기본 모델을 확장하여 로봇 조작을 위한 최첨단 비전-언어 모델을 만듭니다. 이 모델은 재훈련이나 미세 조정 없이 경쟁적으로 로봇 작업을 수행할 수 있어 기본 아키텍처의 유연성을 보여줍니다. ^[8]

AudioPaLM

2023년 6월 Google은 PaLM-2 아키텍처 및 초기화를 사용하는 음성-음성 번역용 AudioPaLM을 발표했습니다. 이는 PaLM-2(텍스트 기반 모델)와 AudioLM(음성 기반 모델)을 통합하여 음성 이해 및 생성을 모두 가능하게 하는 다중 모드 언어 모델입니다. 이 결합된 아키텍처는 음성 및 서면 언어를 모두 처리하고 생성하여 음성 인식 및 음성-음성 번역을 포함한 다양한 응용 프로그램을 가능하게 합니다. ^[9]

진화 및 후속 모델

2023년 5월 Google은 연례 Google I/O 키노트에서 원래 PaLM 모델의 후속 모델로 PaLM 2를 발표했습니다. PaLM 2는 다국어 이해, 추론 및 프로그래밍 성능을 향상시키도록 설계된 고급 언어 모델입니다. 100개 이상의 언어를 다루는 다양한 다국어 코퍼스에서 훈련되어 번역, 관용적 표현 이해 및 미묘한 텍스트 생성과 같은 복잡한 언어 작업을 처리할 수 있습니다. 이 모델의 훈련에는 과학 및 수학 콘텐츠도 포함되어 있어 논리 및 추론 능력이 향상됩니다. 또한 PaLM 2는 광범위한 오픈 소스 코드에 대해 사전 훈련되어 널리 사용되는 프로그래밍 언어는 물론 보다 전문화된 언어에 대한 능숙도를 지원합니다. ^[10]

토큰노믹스

PaLM AI 토큰 ($PALM)

$PALM 토큰은 지속적인 봇 개발을 지원하고, Telegram에서 최신 대규모 언어 모델에 대한 액세스를 유지하고, 생태계 내에서 거래 가능한 유동 자산 역할을 하기 위해 Ethereum 네트워크에서 출시되었습니다. ^{[5] [6]}

할당

$PALM 토큰의 총 공급량은 1억 개로 제한됩니다. 이 중 총 공급량의 22.5% 소각 후 7,750만 개의 토큰이 유통되고 있습니다. 출시 시 2,000만 개의 토큰(20%)이 영구적으로 유통에서 제거되었고, 나중에 250만 개(2.5%)가 추가로 소각되었습니다. 상당 부분인 7,500만 개의 토큰(75%)은 거래 접근성을 지원하기 위해 유동성에 할당됩니다. 나머지 5%(500만 개의 토큰)는 중앙 집중식 거래소 상장을 포함하여 잠재적인 미래 개발을 위해 예약되어 있습니다. ^[5]

파트너십

NFINITY AI

PaLM AI는 창의적인 인공 지능 분야에서 협력하기 위해 NFINITY AI와 파트너십을 맺었습니다. 협력은 PaLM AI의 시스템과 생성적 AI의 발전을 활용하는 NFINITY의 Creator Studio 및 $NFNT 유틸리티를 포함하여 두 플랫폼의 도구를 통합하는 데 중점을 둡니다. 이 파트너십은 Token2049 이벤트 중에 체결되었으며 AI에서 창의적인 응용 프로그램을 확장하는 데 중점을 둡니다. ^[13]

The Guru Fund

PaLM AI는 펀드 지원 스마트 계약을 자동 거래 시스템에 통합하기 위해 The Guru Fund와 파트너십을 체결했습니다. 이 협력은 PaLM 생태계 내에서 풀링된 펀드 관리를 용이하게 하기 위한 것입니다. 자세한 내용과 개발 사항은 향후 커뮤니티 토론을 통해 공개적으로 공유될 예정입니다. ^[14]

The Game Hub

PaLM AI는 Telegram Mini App 생태계 내에서 Web3 게임에 중점을 둔 플랫폼인 GameHub($GHUB)와 파트너십을 맺었습니다. 협력은 플레이하여 수익을 얻는(P2E) 및 플레이어 대 플레이어(PvP) 게임 개발을 포함하여 PaLM의 제품군에 게임화된 기능을 통합하는 데 중점을 둡니다. 파트너십의 일환으로 $PALM 토큰 메커니즘을 통합한 맞춤형 게임이 출시되었으며, 수익의 일부는 유통 공급에 영향을 미치기 위해 토큰 소각에 할당됩니다. ^[15]