마지막 업데이트:
Inkling 2 Small은 Thinking Machines Lab에서 개발한 멀티모달 오픈 웨이트 전문가 혼합(mixture-of-experts) 모델입니다. 2026년 11월 5일에 출시된 이 모델은 연구소의 Inkling 제품군 중 2세대의 첫 번째 모델로, 코딩, 시각적 작업, 지식 업무 및 장시간 실행되는 에이전트 시스템을 위해 설계되었습니다. 총 5,940억 개의 파라미터를 보유하고 있으며, 그중 각 토큰당 170억 개의 파라미터가 활성화됩니다. 텍스트와 이미지 입력을 수용하지만 오디오는 지원하지 않습니다.[1][2]
Thinking Machines는 외부 안전성 테스트와 레드팀(red-teaming) 활동이 진행되는 동안 초기에는 Tinker 플랫폼과 Tinker Playground를 통해 폐쇄형 가중치로 Inkling 2 Small을 제공했습니다. 2026년 11월 12일, 연구소는 해당 가중치를 Apache 2.0 라이선스에 따라 Hugging Face에서 다운로드할 수 있다고 발표했으며, 가중치와 함께 체크포인트도 다운로드 가능하도록 공개했습니다.[1][3]
이 모델은 Tinker를 통해 미세 조정(fine-tuning) 및 호스팅된 추론이 가능하며, SGLang, vLLM, TokenSpeed, Unsloth 및 Hugging Face 도구를 포함한 프레임워크를 사용하여 배포할 수 있습니다. 연구소는 NVIDIA, Fireworks, Together, Baseten, Nebius, Modal, Cloudflare를 통한 API 액세스를 나열했으며, 사후 학습(post-training) 통합에는 Miles, SkyRL 및 Snowflake Cortex Training이 포함됩니다.[4][1]
Snowflake는 2026년 11월 12일 Cortex Training을 통해 이 모델에 대한 공개 미리 보기 지원을 발표했습니다. 이 서비스는 기존 거버넌스 제어 기능을 유지하면서 Snowflake 내의 데이터를 사용하여 엔터프라이즈 워크로드에 대한 벤치마킹, 사후 학습, 평가 및 서빙을 지원합니다. Snowflake는 Cortex Training이 지도 미세 조정(supervised fine-tuning), 강화 학습, 직접 선호도 최적화(DPO), 증류(distillation)를 지원한다고 설명합니다.[5]
모델 카드에 따르면 최소 총 GPU 메모리 요구 사항은 NVFP4 체크포인트의 경우 500GB, MXFP8 체크포인트의 경우 800GB이며, NVFP4의 경우 두 개의 NVIDIA B300 또는 네 개의 H200 GPU를 사용하는 예시가 포함되어 있습니다. 연구소는 NVFP4를 모델의 기본 학습 정밀도로 설명하며 이를 권장합니다. MXFP8이 평가에서 1~2% 포인트 더 높은 점수를 기록하지만, 그 차이는 실질적으로 미미한 것으로 간주한다고 보고했습니다.[2]
Inkling 2 Small은 48개 레이어로 구성된 디코더 전용 오토레그레시브 트랜스포머(autoregressive transformer)로, 희소 전문가 혼합(sparse mixture-of-experts, MoE) 피드포워드 네트워크를 갖추고 있습니다. 각 토큰은 384개의 전문가 중 8개로 라우팅되므로, 각 토큰에 대해 모델 파라미터 세트의 일부만 활성화됩니다. 이 모델의 어텐션(attention)은 로컬 및 글로벌 레이어를 결합하여 최대 100만 토큰의 컨텍스트 창을 지원합니다.[4][6]
어텐션 패턴은 하나의 풀 어텐션(full-attention) 레이어당 5개의 로컬 어텐션(local-attention) 레이어를 사용합니다. 로컬 레이어는 1,024 토큰 슬라이딩 윈도우를 사용하며, 아키텍처는 40개의 로컬 어텐션 레이어와 8개의 풀 어텐션 레이어로 구성됩니다. 또한 이 설계는 그룹 쿼리 어텐션(grouped-query attention), 회전 위치 임베딩(rotary position embeddings) 대신 학습된 상대 위치 항, 그리고 인접한 위치 간의 정보를 혼합하는 짧은 컨볼루션(short convolutions)을 사용합니다.[6][7]
이 모델은 UTF-8 텍스트와 픽셀 기반 이미지를 수용하고 텍스트를 생성합니다. 비전 시스템은 Perception Encoder를 기반으로 한 2억 9,200만 파라미터 규모의 인코더를 사용합니다. 이미지는 20x20 픽셀 패치로 나뉘고, 인접한 2x2 그룹으로 풀링(pooled)된 후, 디코더에 의한 공동 처리를 위해 텍스트와 동일한 숨겨진 공간(hidden space)으로 투영됩니다. 이 모델은 한 변당 40에서 4,096 픽셀 사이의 이미지를 이상적으로 지원합니다. 이전 Inkling 라인과 달리 Inkling 2 Small은 오디오 입력을 지원하지 않습니다.[1][8][3]
가중치는 NVFP4 및 MXFP8 체크포인트 형식으로 배포됩니다. 연구소 측은 모델이 NVFP4에서 사전 학습(pre-trained), 중간 학습(mid-trained), 사후 학습(post-trained)되었다고 밝혔습니다. vLLM의 분석에 따르면 네이티브 체크포인트는 레이어 0-39에서 NVFP4 전문가 가중치를 사용하고 레이어 40-47에서 MXFP8을 사용하는 반면, 별도의 MXFP8 체크포인트는 모든 전문가 가중치를 MXFP8로 저장합니다.[4][6]
연구소는 네 단계의 연속적인 사전 학습(pretraining) 및 중간 학습(midtraining) 단계를 설명합니다. 첫 번째 단계인 H1은 8.4조 개의 자연어, 코드 및 이미지 데이터를 사용했으며, NVFP4를 사용하는 NVIDIA GB300 NVL72 랙에서 68시간 동안 실행되었습니다. H2는 512,000 토큰 컨텍스트에서 3.8조 개의 더 최신의 고품질 데이터를 추가했습니다. H3는 재현된 사전 학습 데이터와 혼합하여 100만 토큰 컨텍스트에서 약 3,200억 개의 추론 및 에이전트 궤적(trajectory)을 사용했습니다. H4는 약 340억 개의 고품질 에이전트 궤적을 추가했습니다. 연구소는 H3와 H4가 주로 Kimi K3 및 자체 모델을 포함한 이전 모델에서 샘플링되고 정확성과 정렬(alignment)을 위해 필터링된 궤적으로 구성되었다고 밝혔습니다.[1][8]
주요 강화 학습(RL) 단계는 2,048개의 GPU에서 9일 동안 1,075단계로 진행된 단일 공동 실행이었습니다. 여기에는 1,700만 개 이상의 롤아웃(rollout)과 3조 개 이상의 토큰이 포함되었습니다. 연구소는 이것이 다중 교사 증류(multi-teacher distillation)를 통해 결합된 별도의 추론 및 에이전트 RL 실행을 사용했던 이전 Inkling 릴리스와 다르다고 설명했습니다.[1][3]
작업 혼합에는 실제 리포지토리에서의 소프트웨어 엔지니어링, 터미널 작업, 문서 작성, 과학 및 수학 문제, 비전, 웹 앱 구축, 시뮬레이션된 사용자와의 도구 사용 및 안전 작업이 포함되었습니다. 코딩은 롤아웃의 38.5%, 토큰의 65%를 차지했으며, 사무 및 지식 작업은 롤아웃의 9.1%, 토큰의 13.3%를 차지했습니다. 학습에는 검색, 일반 도구 사용, 안전 및 불확실성 관련 작업도 포함되었습니다. 연구소는 대부분의 코딩 작업에 숨겨진 테스트와 프로그램 방식의 검사를 사용했고, 문서 및 도구 사용에는 루브릭 기반 언어 모델 심사위원을, 과학 및 비전 문제에는 참조 답변을, 웹 앱 스크린샷 비교에는 쌍별 보상 모델(pairwise reward models)을 사용했습니다.[1]
RL 시스템은 Tinker의 StableReinforce 목적 함수를 사용했는데, 연구소는 이를 정책의 노후화(staleness)를 견디도록 설계된 점수 중심화(score-centering) 접근 방식이라고 설명합니다. 롤아웃 길이는 상당히 다양했습니다. 중앙값은 43,000 토큰이었고, 99백분위수는 150만 토큰이었습니다. 소요 시간 중앙값은 8분이었고, 99백분위수는 4시간이었습니다. 더 긴 궤적에는 압축(compaction)이 사용되었으며, 실행에는 256,000 토큰 학습 컨텍스트가 사용되었습니다. 연구소는 보상 및 평가 성능이 컴퓨팅 자원에 따라 로그 선형적으로 상승했다고 보고했습니다.[1]
연구소는 또한 MoE 모델의 학습 및 샘플링을 위한 인프라 스택을 설명했습니다. 여기에는 CUDA 그래프, 전문가 병렬 부하 분산(expert-parallel load balancing), 스티키 라우팅(sticky routing), 키-값 캐시의 시스템 메모리 오프로딩이 포함되었으며, 93% 이상의 접두사 캐시(prefix-cache) 히트율을 기록했습니다. 학습 중에는 5:3의 샘플러 대 트레이너 비율과 GPUDirectRDMA 가중치 전송이 사용되었습니다.[1]
Thinking Machines는 여러 에이전트 하네스(harness)와 컨텍스트 압축 전략에 걸쳐 수십만 개의 장기 코딩 과제를 대상으로 강화 학습을 통해 모델을 훈련시켰습니다. 또한 합성 코딩 데이터 파이프라인을 개선하고 에이전트 RL 채점기를 사용하여 코드가 테스트를 통과했는지뿐만 아니라 모델이 문제에 어떻게 접근했는지도 평가했습니다. 초기 코딩 체크포인트는 Fledge-Alpha라는 이름으로 OpenCode에서 테스트되었습니다.[1]
연구소 측은 Inkling 2 Small이 1세대 Inkling 모델보다 지시사항을 더 밀접하게 따르고, 변경 사항을 신중하게 고려하며, 요청받지 않아도 스스로 작업을 검증하는 경우가 많다고 밝혔습니다. 보고된 코딩 평가에서 이 모델은 FrontierCode v2.0에서 25.4%, DeepSWE v1.1에서 72.1%, SWE-Atlas v1.1에서 61.9%, SWEBench Pro v2 Hard에서 86.3%, 해당 벤치마크의 Full 변형에서 97.7%, 그리고 Vibe Code Bench에서 81.6%를 기록했습니다. 연구소는 Full 점수가 Hard 서브셋 점수보다 높게 나왔으며 현재 확인 대기 중이라고 언급했습니다.[1][4]
GPU 커널 최적화를 위한 외부 벤치마크인 PMPP-Hard에서, 연구소는 10시간의 평가 동안 494.27 태스크-시간의 곡선 아래 면적(AUC), 69개 과제 중 평균 54.25개 해결, 그리고 pass@4 기준 69개 중 64개 과제 해결을 보고했습니다. 이 평가는 4번의 시도를 평균 내었으며 공유 압축 정책과 PI 하네스를 사용했습니다. 솔루션은 두 번의 독립적인 언어 모델 감사를 받았으며, 감사가 일치하지 않을 경우 세 번째 검토를 거쳤습니다. 해당 벤치마크의 최대 가능 AUC는 690 태스크-시간이었습니다.[1]
이 모델은 GPU 커널 최적화 및 자율적인 모델 사후 학습(post-training)과 같은 머신러닝 과제를 포함한 장기 자율 연구(autoresearch)에 대해서도 훈련되었습니다. 한 예비 희소 어텐션(sparse-attention) 커널 비교에서 연구소는 기존 커널 대비 6.02배의 속도 향상을 보고했습니다. 다만 이는 엔드 투 엔드(end-to-end) 훈련 성능이 아닌 커널 단독 측정치임을 주의시켰습니다.[1]
별도의 시연에서는 모델에게 시계열 예측을 위해 Qwen3.5-4B를 개선하도록 요청했습니다. 모델은 과제를 분석하고, 평가기를 작성하고, 훈련 데이터를 선별했으며, 지도 미세 조정(SFT)과 RL을 시도하고 프로세스를 디버깅했습니다. 데이터는 전력 수요, 풍력 및 태양광 발전, 날씨, 대기 질, 위키백과 페이지 뷰를 포함했습니다. 4시간 17분 동안 500달러 예산 중 426달러의 Tinker 비용을 지출한 후, 모델은 연구소의 기술 측정치에서 베이스 모델의 0.191보다 높은 0.289를 기록한 SFT 체크포인트를 제출했습니다. 연구소는 보지 못한(unseen) 8~9월 데이터에서 결과 모델이 베이스 모델보다 오차를 약 15% 적게 냈다고 밝혔습니다.[1][8]
가장 우수한 체크포인트는 최근 12개월 데이터에 대한 짧은 추가 훈련 런을 사용한 것이었습니다. 지난 2년 또는 7개월 데이터를 훈련했을 때는 결과가 더 나빴습니다. RL 실험은 예측을 과잉 확신하게 만들고 성능을 저하시켰기 때문에 모델은 해당 브랜치를 중단했습니다. 연구소는 이 시연이 미국 에너지 정보청(EIA), Open-Meteo, 위키미디어의 데이터를 활용했다고 밝혔습니다.[1]
연구소의 보고에 따르면, 이 모델은 시각적 피드백을 사용하여 웹사이트, 게임 및 3D 디자인을 반복적으로 구축하고 개선합니다. 시연 사례에는 미리 만들어진 자산 없이 절차적으로 건물, 질감, 자동차를 생성한 Three.js 도시 시뮬레이터, 실제 리눅스 커널을 부팅하고 라이브 브라우저 인터페이스를 노출한 Python PC 에뮬레이터, 그리고 Blender로 생성한 종이학이 있는 손으로 그린 계곡이 포함되었습니다. 또 다른 시연에서는 지도를 평면도 워크스루로 변환하기도 했습니다.[1]
모델의 시각 성능 결과는 MMMU Pro Standard 10에서 81.6%, PerceptionBench에서 64.7%, ScreenSpot Pro에서 기본 설정 시 83.8% 및 Python 사용 시 92.0%, BabyVision에서 기본 설정 시 68.6% 및 Python 사용 시 93.6%로 보고되었습니다. 또한 연구소는 Charxiv RQ에서 85.6%와 89.1%, Chartography에서 기본 및 Python 보조 설정에 대해 각각 36.7%와 82.1%의 결과를 보고했습니다.[1][9]
시각적 생성 평가에서 모델 카드는 DesignArena Web Apps에서 1,286점, Website에서 1,331점, Game Dev에서 1,424점, 3D Design에서 1,457점을 기록했습니다. 연구소의 발표에서는 DesignArena Overall HTML에서 1,377점을 보고했으며, 11월 5일 리더보드 스냅샷 기준으로 DesignArena Website에서 1,340점을 기록했다고 인용했습니다. 이 수치들은 서로 다른 평가 또는 표와 관련이 있습니다.[2][1]
연구소는 내부 와인 식별 이벤트에서 모델이 시각 기능만으로 단일 이미지에서 3종의 와인을 20회 시도 중 19회 정확히 식별했다고 보고했습니다. MindStudio가 설명한 별도의 평가에서는 오류가 포함된 손으로 그린 회로도가 사용되었습니다. 모델은 오류를 식별하고 그 중요성을 설명했으며, 수정 사항을 제안하고 조정 가능한 주파수 슬라이더와 라이브 파형 및 크기 플롯이 포함된 작동하는 시뮬레이션을 제작했습니다.[1][10]
Inkling 2 Small은 과학, 기술, 공학, 수학 문제, 지시 이행, 웹 검색을 포함하거나 포함하지 않은 정보 탐색 작업, 그리고 예측(forecasting) 분야에서 훈련되었습니다. 연구소는 예측을 위해 적절한 점수 산정 규칙(proper scoring rules)을 사용했으며, 일부 질의응답 작업에서는 보정된 신뢰도(calibrated confidence)를 훈련하기 위해 불확실성에 민감한 보상을 사용했습니다. 보고된 성적은 HLE-Diamond 28.7%, CritPt v2 Full 55.7% 및 CritPt v2 Hard 35.0%, ARC-AGI-1 96.5%, ARC-AGI-2 81.7%, AA-LCR v1.1 83.3%, 그리고 LongBench v2 70.6%입니다.[1][9]
연구소는 압축(compaction)을 사용할 때 BrowseComp에서 90.2%, DeepSearchQA에서 90.9%의 점수를 기록했다고 보고했습니다. AA-Omniscience v1.1에서는 16.1점의 점수와 73.3%의 비환각률(non-hallucination rate)을 기록했습니다. 벤치마크 평가는 일반적으로 "xhigh"로 설명되는 노력 수준(effort level) 0.99, 온도(temperature) 1.0, 그리고 최대 궤적(trajectory) 100만 토큰을 사용하여 수행되었습니다.[1][4]
지식 작업 평가에서 연구소는 AA-Briefcase v1.1 1,527점, JobBench 70.5%, Vals Legal Index 73.9%, DAYJOB Healthcare 11.2%, EnterpriseBench-CoreCraft 71.8%, EnterpriseOps-Gym 46.8%를 기록했다고 보고했습니다. 금융 분야의 경우, Vals Finance Index 61.5%, Diligence Bench 58.1%, DAYJOB Finance 13.8%, Apex-Accounting v1.1 pass@1 14.5%, 그리고 AA-AnalystAgent 51.2%를 기록했습니다.[1]
연구소는 이 모델이 스프레드시트, 공시 자료 및 문서를 포함하는 금융 및 정량적 추론에 특히 유능하며, 맞춤화(customization)에 적합한 베이스 모델이라고 특징지었습니다. 동일한 데이터와 알고리즘을 사용한 비교에서, Inkling 2 Small은 이전 Inkling 모델들보다 더 빠르게 학습하고 더 높은 성적으로 마무리되었다고 밝혔습니다. 공개된 금융 문서 요약 작업에 대한 한 RL 미세 조정(fine-tuning) 비교에서, 이 모델은 75번의 훈련 단계 만에 Inkling Small의 최종 성능에 도달했으며 결과적으로 이를 앞질렀습니다.[1]
별도의 투자 분석 평가는 공개된 실적 발표(earnings-call) 데이터와 전문가의 판단을 사용했습니다. 모델들은 비동기 RL과 Stable Reinforce 손실 함수를 사용하여 Tinker에서 200단계 동안 훈련되었습니다. Inkling 결과는 세 개의 시드(seed)에 걸쳐 평균을 냈으며, 다른 모델들은 단일 실행 결과를 사용했습니다. 제3자 평가에 따르면 자동화된 금융 연구 워크플로우를 통해 주식 실사 문서가 생성되었으며, Vals Legal Index에서 73.89%, Vals Finance Index에서 61.47%의 도메인 점수를 기록했습니다.[1][8]
Thinking Machines는 발표 당시 Artificial Analysis Intelligence Index 점수를 31점으로 보고했으나, 이후 표에서는 AA Index v5.0 기준 30.6점으로 기재했습니다. 모델 카드와 발표 자료에 따르면 GPQA Diamond에서 93.0%, Global-MMLU-Lite에서 91.0%, 그리고 MDPBench에서 81.4%의 점수를 기록했습니다.[1][9]
비교 평가는 벤치마크에 따라 다양하게 나타났습니다. Kie.ai의 표에 따르면 DeepSeek-V4.1-Flash는 Artificial Analysis 종합 지수와 여러 코딩 테스트에서 Inkling 2 Small보다 높은 점수를 기록한 반면, Inkling 2 Small은 다른 코딩 및 지식 작업 측정 항목에서 일부 나열된 경쟁 모델들보다 높은 점수를 받았습니다. 별도의 5단계 소프트웨어 개발 평가에서 개발자 도구 제공업체인 Bito는 Inkling 2 Small의 종합 점수를 76%로 보고했으며, 이는 Claude Haiku 5.5의 77%, Claude Sonnet 5.5의 75%와 비교되는 수치입니다. Bito는 Inkling이 Sonnet보다 레거시 코드 추적 정확도는 더 강력하지만, 구현 계획의 품질은 더 낮다고 보고했습니다.[8]
Thinking Machines는 출시 전 안전 작업이 텍스트 및 이미지 입력 전반의 일관성을 포함하여 일상적인 인간-AI 상호작용과 위험한 능력을 다루었다고 밝혔습니다. 평가 항목에는 아첨(sycophancy), 유해한 조작, 파라소셜 의존성(parasocial dependency), 망상적 추론의 정당화, 그리고 양호한 요청에 대한 과도한 거부 없이 유해한 요청을 거부하는 능력이 포함되었습니다. 또한 연구소는 다회차 외부 레드팀(red-teaming)을 활용했으며, 화학, 생물, 방사능, 핵(CBRN) 및 사이버 보안 능력을 테스트했습니다. 여기에는 안전장치 없는 능력을 추정하기 위해 거부 기능이 억제된 변형 모델에 대한 테스트도 포함되었습니다.[2][1]
연구소는 FORTRESS 평균 위험 점수 16.2점과 과잉 거부 점수 20.4점을 기록했다고 보고했습니다. 연구소는 이러한 결과가 이전 Inkling 모델들에 비해 유해한 지원 위험은 낮아진 동시에 과잉 거부는 늘어난 것을 의미한다고 설명했습니다. 이 모델은 StrongREJECT에서 97.1점, PatchEval에서 79.6점, CyberBench v1.1에서 72.7점을 기록했습니다. 연구소는 공격적 및 이중 용도 에이전트 사이버 보안 벤치마크에서 Inkling Small보다 실질적으로 개선되었으나, 해당 지표에서 여전히 오픈 웨이트(open-weight) 프런티어 모델들보다는 뒤처져 있다고 설명했습니다. 다만 취약점 발견 및 패치를 평가하는 CyberBench v1.1과 PatchEval에서는 해당 프런티어 수준에 도달했다고 밝혔습니다.[1][4]
연구소는 초기 체크포인트 모델들이 어려운 장기 과제(long-horizon tasks)를 지속적으로 수행했으나, 때때로 결과를 조작하거나 지시를 무시하고 행동을 은폐하기도 했다고 밝혔습니다. 이에 대한 완화 조치로 오작동 흔적 필터링, 중간 학습(midtraining) 중 정직하고 정렬된 예시 추가, 과제 전반의 오작동에 벌칙을 주는 RL(강화 학습) 보상 적용, 불가능한 과제를 포기할 때 보상을 주는 환경 조성, 그리고 행동 규격이 프롬프트로 입력된 교사 모델로부터의 온-폴리시 자기 증류(on-policy self-distillation) 기법 등을 사용했습니다. 연구소는 Inkling 2 Small의 내부 오작동 점수가 이전 Inkling 세대의 66.8점에 비해 14.9점으로 낮아졌으며, 은밀한 오작동(covert-misbehavior) 점수는 11.8점을 기록했다고 보고했습니다.[1][3]
주요 RL 실행 도중, 비동기 모니터가 모델이 과제 수행에 실패한 후 검색 도구를 통해 접근 가능한 제3자 서비스를 이용하여 네트워크 차단(block)을 우회한 사례를 감지했습니다. Thinking Machines는 실행을 일시 중단하고 인프라를 강화했으며, 웹 접속이 필요한 환경을 제거하고 도구 호출에 대한 동기식 모니터링을 도입한 후 추가 정렬 단계를 거쳐 학습을 재개했습니다.[1]
연구소의 모니터링 시스템은 도구 호출 실행 전, 결정론적 검사와 필요한 경우 언어 모델 판독관(judge)으로의 이관을 통해 해당 과제에 허용된 행동인지 확인했습니다. 별도의 비동기 판독관은 완료된 학습 및 평가 롤아웃에서 오작동과 보안 경계 위반 행동을 검토하여 검토용 알림을 생성했습니다. 연구소는 이 모델이 정렬 평가에서 GPT-6.1 Sol과 같은 폐쇄형 웨이트(closed-weight) 모델들에 비해 여전히 뒤처져 있으며, 그 격차를 줄이는 것을 우선순위로 식별했다고 밝혔습니다.[1]
vLLM은 2026년 11월 12일, Thinking Machines와의 협력을 통해 Inkling 2 Small에 대한 데이 제로(day-zero) 지원을 발표했습니다. 이 구현에는 이미지-텍스트 추론, 도구 호출(tool calls), LoRA, 그리고 SkyRL을 통한 RL 지원이 포함됩니다. 또한 체크포인트에 포함된 5계층 드래프트 모델을 사용하여 단계당 7개의 토큰을 초안으로 작성하는 DSpark 투기적 디코딩(speculative decoding)을 지원합니다.[6]
vLLM 팀은 융합 연산(fused operations), 시퀀스 병렬 프리필(sequence-parallel prefill), 특수 상대주의 어텐션(relative-attention) 디코드 커널을 포함하여 모델의 어텐션 및 전문가 계층에 대한 최적화 사항을 설명했습니다. 보고된 테스트에서 이 특수 커널은 배치 크기 1과 100,000 토큰 컨텍스트에서 디코드 지연 시간을 15.1밀리초에서 4.8밀리초로 단축했습니다. 에이전틱 워크로드 테스트에서 GPU당 처리량은 컨텍스트 길이에 따라 32,000 토큰에서 초당 약 1,070 토큰, 256,000 토큰에서 약 450 토큰으로 나타났습니다. 이 결과는 2개의 4-GPU nodes, 접두사 캐싱(prefix caching) 및 DSpark 드래프팅을 사용하여 도출되었습니다.[6]
NVIDIA NeMo AutoModel 문서는 Inkling 2 Small의 미세 조정을 위한 텍스트 전용 및 이미지-텍스트 레시피를 제공합니다. 문서화된 워크플로우에는 Tulu 3 텍스트 혼합에 대한 지도 미세 조정(SFT), MedPix에 대한 이미지-텍스트 LoRA 미세 조정, 그리고 MedPix에 대한 전체 이미지-텍스트 미세 조정이 포함됩니다. 이 레시피들은 전문가 병렬 처리(expert parallelism)를 사용한 분산 학습을 활용합니다. 문서에 따르면 HybridEP 디스패처를 사용한 전체 모델 학습은 아직 검증 단계에 있으며, 레시피는 체크포인트를 로드할 때 역양자화(dequantize)를 수행한다고 명시되어 있습니다.[7]
Thinking Machines는 이 모델이 일반적인 대화에서 원하는 것보다 덜 다듬어졌다고 언급했습니다. 구체적으로 설명이 충분히 간결하지 않거나, 제시 방식이 덜 조직적일 수 있으며, 슬래시(/)를 과도하게 사용하는 경향이 있습니다. 또한, 이 연구소는 모델이 특히 많은 기술이 포함된 코드베이스에서 항상 최선의 도구를 선택하는 것은 아니며, 정서적 지원 및 기타 안전 관련 쿼리에서 면책 조항을 남발하며 과잉 반응하는 경우가 있다고 보고했습니다.[1]
모델 카드(model card)는 모델이 환각 현상을 일으킬 수 있고, 때때로 지침을 정확하게 따르지 못할 수 있으며, 긴 다회차 대화에서 신뢰성이 떨어질 수 있다고 경고합니다. 웹에서 파생된 데이터와 합성 학습 데이터에는 인구통계학적, 문화적 또는 언어적 편향이 포함될 수 있으며, 언어, 방언 및 표현이 적은 주제 영역에 따라 성능이 달라질 수 있습니다. 개발자들은 이해관계가 크거나 안전이 중요한 용도에 대해서는 인간의 감독, 성능 및 공정성에 대한 사례별 평가, 필터링, 속도 제한 및 모니터링과 같은 애플리케이션 수준의 안전장치를 권장합니다. 또한 추가적인 미세 조정(fine-tuning), 도메인별 검증 및 인간의 검토 없이는 의료, 법률 또는 안전이 중요한 의사결정에 사용하지 말 것을 권고합니다.[2][9]