**PaLM(Pathways Language Model)**은 Google의 Pathways 아키텍처를 기반으로 개발된 최초의 대규모 언어 모델로, 여러 작업을 동시에 관리하고, 새로운 작업에 효율적으로 적응하며, 복잡한 정보에 대한 더욱 포괄적인 이해를 보여주도록 설계되었습니다. ^{[2] [12]}

개요

PaLM AI는 Google의 Pathways 시스템을 사용하여 6,144개의 TPU v4 칩에 걸쳐 학습을 확장하며, 이는 현재까지 언어 모델 학습에 사용된 가장 큰 TPU 기반 구성입니다. 학습 과정은 두 개의 Cloud TPU Pod에 걸쳐 데이터 병렬 처리를 사용하고 각 Pod 내에서 표준 모델 병렬 처리를 사용합니다. 이 모델은 웹 콘텐츠, 문학, Wikipedia, 대화 및 소스 코드를 포함하는 광범위한 다국어 데이터 세트로 학습되었으며, 자연어와 프로그래밍 코드 모두에 중요한 구조를 유지하도록 설계된 사용자 지정 어휘를 사용합니다.

이 프로젝트는 단계적인 분산 방식을 통합하여, 목표 균형에 도달할 때까지 매달 5%의 개발을 온체인으로 전환하며, 모든 활동의 약 절반이 Ethereum 또는 Layer 2 네트워크(예: SKALE)에서 직접 작동합니다. 이 모델은 2022년 4월에 처음 발표되었으며 2023년 3월 Google이 PaLM 및 여러 관련 기술에 대한 API를 출시할 때까지 비공개 상태였습니다. ^{[1][4] [11]}

모델 아키텍처 및 기능

이 모델은 여러 주요 영역에서 뛰어난 성능을 보여줍니다.

• 상식 추론: PaLM은 일상적인 지식과 논리적 추론이 필요한 질문을 이해하고 응답할 수 있습니다.
• 산술 추론: 이 모델은 단계별 추론을 통해 수학 문제를 해결할 수 있습니다.
• 농담 설명: PaLM은 문화적 맥락과 언어적 미묘함을 이해하여 유머를 분석하고 설명할 수 있습니다.
• 코드 생성: 이 모델은 여러 프로그래밍 언어에서 기능 코드를 생성할 수 있습니다.
• 번역: PaLM은 높은 정확도로 여러 언어 간 번역을 지원합니다 ^{[1] [12]}

특수 변형

Med-PaLM

Google과 DeepMind가 공동으로 개발한 Med-PaLM은 의료 데이터에 대해 미세 조정된 PaLM 540B 버전입니다. Med-PaLM은 단순히 질문에 정확하게 답하는 것을 넘어, 응답에 대한 이유를 제공하고 자신의 답변을 평가할 수 있으므로 의료 분야에서 특히 유용합니다. ^[7]

PaLM-E

PaLM-E는 비전 트랜스포머를 사용하여 기본 모델을 확장하여 로봇 조작을 위한 최첨단 비전-언어 모델을 만듭니다. 이 모델은 재훈련이나 미세 조정 없이도 경쟁력 있는 로봇 작업을 수행할 수 있으며, 기본 아키텍처의 유연성을 보여줍니다. ^[8]

AudioPaLM

2023년 6월 Google은 음성-음성 번역을 위한 AudioPaLM을 발표했는데, 이는 PaLM-2 아키텍처와 초기화를 사용합니다. 이것은 PaLM-2(텍스트 기반 모델)와 AudioLM(음성 기반 모델)을 통합하여 음성 이해와 생성을 모두 가능하게 하는 다중 모드 언어 모델입니다. 이 결합된 아키텍처는 음성 인식과 음성-음성 번역을 포함한 다양한 응용 프로그램을 통해 구어와 문어 모두를 처리하고 생성할 수 있습니다. ^[9]

발전 및 후속 모델

2023년 5월 Google은 연례 Google I/O 기조 연설에서 원래 PaLM 모델의 후속 모델인 PaLM 2를 발표했습니다. PaLM 2는 다국어 이해, 추론 및 프로그래밍 성능을 향상시키도록 설계된 고급 언어 모델입니다. 100개 이상의 언어를 다루는 다양한 다국어 말뭉치로 학습되어 번역, 관용구 이해 및 미묘한 텍스트 생성과 같은 복잡한 언어 작업을 처리할 수 있습니다. 이 모델의 학습에는 과학 및 수학 콘텐츠도 포함되어 논리 및 추론 능력이 향상되었습니다. 또한 PaLM 2는 광범위한 오픈 소스 코드로 사전 학습되어 널리 사용되는 프로그래밍 언어뿐만 아니라 더 전문적인 프로그래밍 언어에도 능숙합니다. ^[10]

토큰 경제학

PaLM AI 토큰 ($PALM)

$PALM 토큰은 지속적인 봇 개발을 지원하고, Telegram에서 최신 대규모 언어 모델에 대한 액세스를 유지하며, 생태계 내에서 거래 가능한 유동 자산으로 사용하기 위해 Ethereum 네트워크에서 출시되었습니다. ^{[5] [6]}

할당

$PALM 토큰의 총 공급량은 1억 개로 제한됩니다. 이 중 22.5%가 소각된 후 7,750만 개의 토큰이 유통되고 있습니다. 출시 당시 2,000만 개의 토큰(20%)이 영구적으로 유통에서 제외되었으며, 나중에 추가로 250만 개(2.5%)가 소각되었습니다. 상당 부분인 7,500만 개의 토큰(75%)은 거래 접근성을 지원하기 위해 유동성에 할당됩니다. 나머지 5%(500만 개의 토큰)는 중앙 집중식 거래소 상장을 포함한 향후 개발에 대비하여 예비되어 있습니다. ^[5]

파트너십

NFINITY AI

PaLM AI는 창의적인 인공 지능 분야에서 협력하기 위해 NFINITY AI와 파트너십을 체결했습니다. 이 협력은 PaLM AI의 시스템과 NFINITY의 Creator Studio 및 $NFNT 유틸리티를 포함한 양 플랫폼의 도구를 통합하는 데 중점을 두고 있으며, 생성형 AI의 발전을 활용합니다. 이 파트너십은 Token2049 이벤트에서 체결되었으며 AI의 창의적인 응용 프로그램 확장에 대한 공통된 초점을 반영합니다. ^[13]

The Guru Fund

PaLM AI는 자동화된 거래 시스템에 자금 지원 스마트 계약을 통합하기 위해 The Guru Fund와 파트너십을 체결했습니다. 이 협력은 PaLM 생태계 내에서 풀링된 자금 관리를 용이하게 하기 위한 것입니다. 자세한 내용과 개발 사항은 향후 커뮤니티 토론을 통해 공개적으로 공유될 것입니다. ^[14]

The Game Hub

PaLM AI는 Telegram Mini App 생태계 내에서 Web3 게임에 중점을 둔 플랫폼인 GameHub($GHUB)와 파트너십을 체결했습니다. 이 협력은 플레이-투-언(P2E) 및 플레이어-대-플레이어(PvP) 게임 개발을 포함하여 PaLM의 제품 제품군에 게임화된 기능을 통합하는 데 중점을 둡니다. 이 파트너십의 일환으로 $PALM 토큰 메커니즘을 통합한 맞춤형 게임이 출시되었으며, 수익의 일부는 유통 공급량에 영향을 미치기 위해 토큰 소각에 할당됩니다. ^[15]