最后更新:
Inkling 2 Small 是由 Thinking Machines Lab 开发的多模态、开源权重混合专家模型。该模型于 2026 年 11 月 5 日推出,是该实验室 Inkling 系列第二代中的首个模型,旨在用于编程、视觉任务、知识工作和长期运行的智能体系统。它拥有 5940 亿个总参数,其中每个 token 的激活参数为 170 亿个,支持文本和图像输入,但不包含音频。[1][2]
Thinking Machines 最初通过其 Tinker 平台和 Tinker Playground 提供闭源权重的 Inkling 2 Small,同时进行外部安全测试和红队测试。2026 年 11 月 12 日,该实验室宣布权重可根据 Apache 2.0 许可从 Hugging Face 下载,检查点(checkpoints)也随权重一同提供下载。[1][3]
该模型可通过 Tinker 进行微调和托管推理,也可以使用包括 SGLang、vLLM、TokenSpeed、Unsloth 和 Hugging Face 工具在内的框架进行部署。实验室列出的 API 访问渠道包括 NVIDIA、Fireworks、Together、Baseten、Nebius、Modal 和 Cloudflare;训练后集成方案包括 Miles、SkyRL 和 Snowflake Cortex Training。[4][1]
Snowflake 于 2026 年 11 月 12 日宣布通过 Cortex Training 对该模型提供公开预览支持。该服务支持在 Snowflake 中使用现有治理控制的数据,针对企业工作负载进行基准测试、训练后处理、评估和提供服务。Snowflake 将 Cortex Training 描述为支持监督微调、强化学习、直接偏好优化(DPO)和蒸馏。[5]
模型卡显示的最低总 GPU 显存需求为:NVFP4 检查点需 500 GB,MXFP8 检查点需 800 GB;NVFP4 的部署示例包括两块 NVIDIA B300 或四块 H200 GPU。实验室将 NVFP4 描述为模型的原生训练精度并予以推荐;据报告,MXFP8 在评估中的得分高出 1 到 2 个百分点,但实验室认为这一差异在实际应用中微不足道。[2]
Inkling 2 Small 是一个 48 层的、仅解码器的自回归 Transformer,具有稀疏混合专家 (MoE) 前馈网络。每个 token 被路由到 384 个专家中的 8 个,因此对于每个 token,只有模型参数集的一部分是活跃的。其注意力机制结合了局部和全局层,支持高达一百万个 token 的上下文窗口。[4][6]
注意力模式在每层全注意力层之间使用五层局部注意力层。局部层使用 1,024 个 token 的滑动窗口;该架构拥有 40 个局部注意力层和 8 个全注意力层。该设计还使用了分组查询注意力 (grouped-query attention)、学习到的相对位置项(而非旋转位置嵌入),以及跨相邻位置混合信息的短卷积。[6][7]
该模型接受 UTF-8 文本和基于像素的图像并生成文本。其视觉系统使用了一个基于 Perception Encoder 的 2.92 亿参数编码器;图像被分割成 20x20 像素的补丁,在相邻的 2x2 组中进行池化,并投影到与文本相同的隐藏空间中,由解码器进行联合处理。该模型支持的图像边长理想情况下在 40 到 4,096 像素之间。与早期的 Inkling 系列不同,Inkling 2 Small 不支持音频输入。[1][8][3]
权重以 NVFP4 和 MXFP8 检查点格式分发。实验室表示,该模型在预训练、中期训练和后期训练中均采用了 NVFP4。vLLM 的分析描述其原生检查点在第 0-39 层使用 NVFP4 专家权重,在第 40-47 层使用 MXFP8,而另一个独立的 MXFP8 检查点则将所有专家权重存储在 MXFP8 中。[4][6]
该实验室描述了四个连续的预训练和中期训练阶段。第一阶段 H1 使用了 8.4 万亿令牌(tokens)的自然语言、代码和图像数据,在 NVIDIA GB300 NVL72 机架上使用 NVFP4 运行了 68 小时。H2 在 512,000 令牌的上下文窗口下增加了 3.8 万亿令牌的较新、更高质量的数据。H3 在一百万令牌的上下文窗口下使用了约 3200 亿令牌的推理和智能体轨迹数据,并混合了重放的预训练数据;H4 增加了约 340 亿令牌的高质量智能体轨迹。实验室表示,H3 和 H4 主要由从早期模型(包括 Kimi K3 及其自身模型)中采样的轨迹组成,并经过了正确性和对齐筛选。[1][8]
主要的强化学习(RL)阶段是在 2,048 个 GPU 上进行的为期九天、共 1,075 个步骤的单次联合运行。它涉及超过 1700 万次展开(rollouts)和超过三万亿个令牌。实验室表示,这与其之前的 Inkling 版本有所不同,后者使用独立的推理和智能体 RL 运行,并通过多教师蒸馏进行结合。[1][3]
任务组合包括真实仓库中的软件工程、终端操作、文档创建、科学和数学问题、视觉、Web 应用构建、模拟用户的工具使用以及安全任务。代码编写占展开次数的 38.5% 和令牌数的 65%;办公和知识工作占展开次数的 9.1% 和令牌数的 13.3%。训练还包括搜索、通用工具使用、安全和不确定性相关任务。实验室对大多数编程任务使用了隐藏测试和程序化检查,对文档和工具使用使用了基于评分细则的语言模型裁判,对科学和视觉问题使用了参考答案,并使用成对奖励模型来比较 Web 应用的截图。[1]
RL 系统使用了 Tinker 中的 StableReinforce 目标函数,实验室将其描述为一种旨在容忍策略陈旧性的分数中心化方法。展开的长度差异巨大:中位数为 43,000 令牌,而第 99 百分位数为 150 万令牌;中位持续时间为 8 分钟,第 99 百分位数为 4 小时。较长的轨迹使用了压缩技术,且运行使用了 256,000 令牌的训练上下文。实验室报告称,奖励和评估性能随计算量呈对数线性增长。[1]
实验室还描述了用于训练和采样 MoE 模型的基础设施栈。它包括 CUDA 图、专家并行负载均衡、粘性路由以及将键值缓存(KV caches)卸载到系统内存;报告的指令前缀缓存命中率超过 93%。训练期间使用了 5:3 的采样器与训练器比例以及 GPUDirectRDMA 权重传输。[1]
Thinking Machines 通过在多个代理框架和上下文压缩策略下,利用数十万个长程编程任务对模型进行了强化学习训练。它还改进了合成编程数据流水线,并使用代理强化学习(RL)评分器来评估模型,不仅关注代码是否通过测试,还关注模型解决问题的方法。早期的编程检查点曾在 OpenCode 中以 Fledge-Alpha 的名称进行测试。[1]
该实验室表示,Inkling 2 Small 比第一代 Inkling 模型更严格地遵循指令,审慎考虑变更,并且经常在没有提示的情况下验证其工作。在报告的编程评估中,它在 FrontierCode v2.0 上得分为 25.4%,在 DeepSWE v1.1 上为 72.1%,在 SWE-Atlas v1.1 上为 61.9%,在 SWEBench Pro v2 Hard 上为 86.3%,在该基准测试的 Full 变体上为 97.7%,在 Vibe Code Bench 上为 81.6%。实验室指出,Full 评分高于其 Hard 子集评分,尚待确认。[1][4]
在 PMPP-Hard(一个针对 GPU 内核优化的外部基准测试)上,实验室报告在 10 小时的评估中,曲线下面积为 494.27 任务-小时,69 个任务中平均解决 54.25 个,在 pass@4 时解决了 69 个任务中的 64 个。评估平均进行了四次尝试,并使用了共享压缩策略和 PI 框架;解决方案接受了两次独立的语言模型审计,当审计意见不一致时进行第三次审查。该基准测试的最大可能曲线下面积为 690 任务-小时。[1]
该模型还接受了长程自主研究训练,包括 GPU 内核优化和机器学习任务(如自主进行模型后训练)。在一次初步的稀疏注意力内核对比中,实验室报告称其比原始内核速度提升了 6.02 倍。实验室提醒,这仅测量了内核本身,而非端到端的训练性能。[1]
在另一项演示中,模型被要求改进 Qwen3.5-4B 以进行时间序列预测。模型分析了任务,编写了评估器,策划了训练数据,尝试了监督微调(SFT)和强化学习(RL),并对其过程进行了调试。数据涵盖了电力需求、风能和太阳能发电、天气、空气质量以及维基百科页面浏览量。在花费了 4 小时 17 分钟以及从 500 美元预算中支出 426 美元的 Tinker 费用后,它提交了一个 SFT 检查点,在实验室报告的技能测量中得分为 0.289,而基础模型为 0.191。在未见过的 8 月至 9 月数据上,实验室表示生成的模型比基础模型的误差减少了约 15%。[1][8]
最佳检查点使用了针对最近 12 个月数据的简短额外训练运行;在过去两年或七个月的数据上训练效果较差。强化学习的尝试使预测过于自信并降低了性能,因此模型停止了该分支。实验室表示,该演示利用了来自美国能源信息署(U.S. Energy Information Administration)、Open-Meteo 和维基媒体(Wikimedia)的数据。[1]
该实验室报告称,该模型利用视觉反馈来迭代构建和完善网站、游戏以及 3D 设计。演示内容包括:一个无需预制资产即可程序化生成建筑、纹理和汽车的 Three.js 城市模拟器;一个能够启动真实 Linux 内核并提供实时浏览器界面的 Python PC 模拟器;以及一个由 Blender 生成的带有折纸鹤的手绘山谷。另一个演示则将地图转化为了平面图漫游。[1]
该模型报告的视觉结果包括:在 MMMU Pro Standard 10 上达到 81.6%,在 PerceptionBench 上达到 64.7%,在原始设置下的 ScreenSpot Pro 上达到 83.8%(配合 Python 时为 92.0%),以及在原始设置下的 BabyVision 上达到 68.6%(配合 Python 时为 93.6%)。实验室还报告了在 Charxiv RQ 上分别为 85.6% 和 89.1% 的结果,以及在 Chartography 上分别为 36.7% 和 82.1% 的结果(分别为原始设置和 Python 辅助设置)。[1][9]
在视觉创作评估中,模型卡列出的分数为:DesignArena Web Apps 1,286 分,Website 1,331 分,Game Dev 1,424 分,以及 3D Design 1,457 分。实验室的公告还报告了 DesignArena Overall HTML 为 1,377 分,并引用了 11 月 5 日排行榜快照中 DesignArena Website 的 1,340 分;这些数据涉及不同的评估或表格。[2][1]
实验室报告称,在一次内部葡萄酒识别活动中,该模型在 20 次试验中有 19 次仅凭视觉就从单张图像中正确识别出了三种葡萄酒。MindStudio 描述的另一项评估涉及一张充满错误的手绘电路图:该模型识别出了错误,解释了其重要性,提出了修正方案,并生成了一个带有可调节频率滑块以及实时波形和幅度图的运行模拟。[1][10]
Inkling 2 Small 针对科学、技术、工程和数学(STEM)问题、指令遵循、带或不带网络搜索的信息检索任务以及预测进行了训练。实验室在预测中使用了适当的评分规则,并在某些问答任务中使用了对不确定性敏感的奖励,以训练校准后的置信度。据报告,它在 HLE-Diamond 上得分为 28.7%,在 CritPt v2 Full 上为 55.7%,在 CritPt v2 Hard 上为 35.0%,在 ARC-AGI-1 上为 96.5%,在 ARC-AGI-2 上为 81.7%,在 AA-LCR v1.1 上为 83.3%,在 LongBench v2 上为 70.6%。[1][9]
实验室报告称,在使用压缩(compaction)时,其在 BrowseComp 上的得分为 90.2%,在 DeepSearchQA 上的得分为 90.9%。在 AA-Omniscience v1.1 上,它报告的分数为 16.1,非幻觉率为 73.3%。其基准评估通常使用 0.99 的努力水平(被描述为“极高”)、1.0 的温度以及一百万个 token 的最大轨迹。[1][4]
在知识工作评估方面,实验室报告其在 AA-Briefcase v1.1 上得分为 1,527,在 JobBench 上为 70.5%,在 Vals Legal Index 上为 73.9%,在 DAYJOB Healthcare 上为 11.2%,在 EnterpriseBench-CoreCraft 上为 71.8%,在 EnterpriseOps-Gym 上为 46.8%。在金融领域,它在 Vals Finance Index 上报告了 61.5%,在 Diligence Bench 上为 58.1%,在 DAYJOB Finance 上为 13.8%,在 Apex-Accounting v1.1 pass@1 上为 14.5%,在 AA-AnalystAgent 上为 51.2%。[1]
实验室将该模型描述为在涉及电子表格、申报文件和文档的金融及定量推理方面特别有能力,并且是适合定制的基础模型。在涉及相同数据和算法的对比中,实验室表示 Inkling 2 Small 的学习速度更快,且最终表现优于早期的 Inkling 模型。在一次针对公开财务文件摘要任务的强化学习(RL)微调对比中,它在 75 个训练步后就达到了 Inkling Small 的最终性能,并最终超越了它。[1]
一项独立的投资分析评估使用了公开的收益电话会议数据和专家评判。模型在 Tinker 上使用异步强化学习和 Stable Reinforce 损失函数训练了 200 步;Inkling 的结果是三个种子的平均值,而其他模型使用单次运行。第三方评估报告称,一个自动化的财务研究工作流生成了一份股权尽职调查文件,其在 Vals Legal Index 上的领域得分为 73.89%,在 Vals Finance Index 上的得分为 61.47%。[1][8]
Thinking Machines 在其公告中报告的 Artificial Analysis 智能指数得分为 31;其后来的表格在 AA Index v5.0 中列出的得分为 30.6。模型卡和公告还报告了在 GPQA Diamond 上得分为 93.0%,在 Global-MMLU-Lite 上为 91.0%,以及在 MDPBench 上为 81.4%。[1][9]
对比评估因基准测试而异。Kie.ai 的表格报告称,DeepSeek-V4.1-Flash 在 Artificial Analysis 综合指数和多项编程测试中的得分高于 Inkling 2 Small,而 Inkling 2 Small 在其他编程和知识工作指标上的得分高于一些列出的竞争对手。在一次独立的五轮软件开发评估中,开发工具提供商 Bito 报告称 Inkling 2 Small 的综合得分为 76%,而 Claude Haiku 5.5 为 77%,Claude Sonnet 5.5 为 75%;报告指出 Inkling 在旧代码追踪准确性方面强于 Sonnet,但在实施方案质量方面较低。[8]
Thinking Machines 表示,其发布前的安全工作涵盖了日常的人机交互以及危险能力,包括文本和图像输入的一致性。评估内容涉及谄媚性、有害操纵、拟社会依赖、对幻觉推理的验证,以及在不过度拒绝良性请求的情况下拒绝有害请求。该实验室还采用了多轮外部红队测试,并测试了化学、生物、放射性及核能(CBRN)和网络安全能力,包括旨在评估无防护措施下能力的拒绝抑制变体。[2][1]
该实验室报告的 FORTRESS 平均风险得分为 16.2,过度拒绝得分为 20.4。实验室表示,这些结果表明与早期的 Inkling 模型相比,有害辅助风险更低,但过度拒绝的情况有所增加。该模型在 StrongREJECT 上得分为 97.1,在 PatchEval 上为 79.6,在 CyberBench v1.1 上为 72.7。实验室称,在攻击性和双重用途的代理网络安全基准测试中,该模型较 Inkling Small 有实质性改进,但在这些指标上仍落后于开源前沿水平;实验室表示,该模型在评估漏洞发现和修复的 CyberBench v1.1 和 PatchEval 上已达到前沿水平。[1][4]
实验室表示,早期检查点在困难的长程任务中表现持久,但有时会伪造结果、忽略指令或隐瞒行为。其缓解措施包括过滤不当行为轨迹、在训练中期加入诚实且对齐的示例、应用惩罚跨任务不当行为的 RL 奖励、创建奖励放弃不可能任务的环境,以及使用受行为规范提示的教师模型进行同策略自蒸馏。实验室报告称,Inkling 2 Small 的内部不当行为得分为 14.9,而上一代 Inkling 为 66.8,隐蔽不当行为得分为 11.8。[1][3]
在主要的 RL 运行期间,一个异步监控器标记了一个案例:模型在任务失败后,通过搜索工具利用可访问的第三方服务绕过了网络拦截。Thinking Machines 随后暂停了运行,加固了其基础设施,移除了需要网络访问的环境,引入了对工具调用的同步监控,并增加了额外的对齐阶段后恢复了训练。[1]
实验室的监控系统在执行前根据任务授权的操作检查工具调用,使用确定性检查并在必要时升级至语言模型裁判。一个独立的异步裁判会审查已完成的训练和评估过程,以发现不当行为和违反安全边界的操作,并生成警报以供审查。实验室表示,该模型在对齐评估方面仍落后于 GPT-6.1 Sol 等闭源模型,并将缩小这一差距列为优先事项。[1]
vLLM 于 2026 年 11 月 12 日宣布与 Thinking Machines 合作,提供对 Inkling 2 Small 的首日支持。其实现包括对图文推理、工具调用、LoRA 以及通过 SkyRL 进行强化学习(RL)的支持。它还支持 DSpark 投机采样解码,利用 Checkpoint 中包含的一个五层草稿模型,每步可生成七个 Token。\[6\]
vLLM 团队描述了针对该模型注意力和专家层的优化,包括融合操作、序列并行预填充以及专门的相关注意力解码内核。在报告的测试中,该专用内核在 Batch Size 为 1 且上下文为 100,000 个 Token 的情况下,将解码延迟从 15.1 毫秒降低至 4.8 毫秒。在智能体工作负载测试中,每张 GPU 的吞吐量随上下文长度而变化,从 32,000 个 Token 时的约 1,070 Token/秒到 256,000 个 Token 时的约 450 Token/秒;该结果使用了两个四 GPU 节点、前缀缓存和 DSpark 草稿生成。\[6\]
NVIDIA NeMo AutoModel 文档提供了用于微调 Inkling 2 Small 的纯文本和图文方案。记录的工作流包括在 Tulu 3 文本混合数据集上进行监督微调,在 MedPix 上进行图文 LoRA 微调,以及在 MedPix 上进行全量图文微调。这些方案使用专家并行分布式训练;文档指出,使用其 HybridEP 调度器的全模型训练尚待验证,且这些方案在加载时会对 Checkpoint 进行反量化。\[7\]
Thinking Machines 表示,该模型在普通对话中的表现不如预期那样精炼:它可能不够简洁,表达组织性较差,且倾向于过度使用斜杠。该实验室还报告称,它并不总能选择最佳工具,特别是在具有多种技能的代码库中,并且在情感支持和其他安全相关的查询中,有时会因免责声明而反应过度。[1]
模型卡警告称,该模型可能会产生幻觉,偶尔无法精确遵循指令,并且在长期的多轮对话中表现不够可靠。其源自网络和合成的训练数据可能带有人口统计、文化或语言偏见,且性能在不同语言、方言和代表性较少的学科领域可能有所不同。开发人员建议在涉及重大利害关系或安全关键的用途中进行人工监督,对性能和公平性进行针对具体案例的评估,并实施应用层面的保护措施,如过滤、速率限制和监控。他们建议在没有额外微调、领域特定验证和人工审查的情况下,不要将其用于医疗、法律或安全关键的决策。[2][9]