Inkling-Small 开源多模态 AI 模型详解

**如果你想要一个能够处理长输入、同时成本低于许多顶级系统的开放模型，Inkling-Small 正是重点。**在 2026 年七月 30 日，Thinking Machines 发布了一款拥有 276 billion 参数的多模态 MoE 模型，每次请求仅激活 12 billion 参数，并配备 1 million-token 上下文窗口和 Apache 2.0 许可证。

以下是简要概览：

• 我可以用它处理文本、图像和音频
• 我可以获得文本、代码和 JSON输出
• 我可以在 0.2 到 0.99 之间调整思考强度，平衡成本与推理深度
• 我可以自托管模型，以使用完整的 1,000,000-token 上下文窗口
• 如果想使用托管服务，我可以选择 Tinker，但其上下文上限为 256,000-token
• 我可以从 Hugging Face 下载开放权重
• 我可以在 NVIDIA GPU 上使用 4-bit NVFP4 版本
• 我可以使用私有数据进行微调，并在自己的环境中运行模型

有几个数字非常突出。Inkling-Small 在 SWE-bench Verified 上获得 77.6%，在 Terminal Bench 2.1 上以约三分之一的 token 成本追平 Nemotron 3 Ultra，并在 StrongREJECT 上取得 98.6%。因此，尽管名称中有 Small，这款模型面向的仍是严肃的编程、文档处理、支持流程和代理任务。

Inkling-Small 一点也不小：实测这款 276B 模型

快速对比

**我的结论：**这次发布为美国团队提供了一个明确选择，可以用更低成本完成私有部署和长上下文多模态工作，同时不必受制于封闭 API。

Inkling-Small 概览：架构、规模与能力

Inkling-Small 是一款仅解码器的混合专家（MoE）Transformer，拥有 276 billion 总参数，每个 token 大约激活 12 billion 参数。相比之下，旗舰模型拥有 975 billion 总参数，每个 token 激活 41 billion 参数 ^[2][1][3]。这一差距很重要，它有助于解释为什么 Inkling-Small 用起来更轻量，同时仍能处理高要求任务。这一点在多模态输入支持和长上下文窗口上表现得最为明显。

多模态输入、文本输出与长上下文支持

Inkling-Small 接受文本、图像和音频输入，并返回文本输出，包括自然语言、代码和 JSON ^[2][1]。它使用涵盖文本、图像、音频和视频的 45 trillion tokens 多模态数据进行预训练 ^[1][3]。

它还支持最高 1 million tokens 的上下文窗口 ^[1]。对于处理大型代码库、长文档或超长转录内容的团队来说，这一点非常重要。团队无需把材料切成很小的片段，再祈祷关键信息不会丢失，而是可以一次向模型提供更完整的全貌。当你在评估自托管、微调或通过工具使用模型时，这项能力往往至关重要。

基准测试表现以及“Small”的真正含义

基准测试结果有助于正确理解 Small 这个名称。

在 SWE-bench Verified 上，Inkling-Small 得分为 77.6%，超过 Nvidia Nemotron 3 的 71.9% ^[2]。在 Terminal Bench 2.1 上，它以约三分之一的 token 成本追平 Nemotron 3 Ultra ^[1][3]。它还在 StrongREJECT 上取得 98.6%，表明其拒绝处理能力很强 ^[2]。

简单来说，Small 并不意味着弱。在实际使用中，MoE 架构和长上下文支持能直接体现在团队关心的工作上，例如代码审查、文档分析和代理工作流。

如何使用 Inkling-Small：权重、工具与集成选项

开放权重、模型卡与可下载文件

Inkling-Small 的权重已在 Hugging Face 的 thinkingmachines 组织下公开提供 ^[2][6]。

本次发布包含大多数团队期待的核心文件：权重、模型卡、分词器、配置文件和模态编码器 ^[4][2]。因此，你无需从零开始，也不必手动拼凑各个组件。

如果你在 NVIDIA GPU 上部署，还可以使用名为 Inkling-Small-NVFP4 的 4-bit 量化版本，以便在该环境中获得更好性能 ^[4][5]。如果团队想先试用模型，再承担自托管工作，Tinker 是最快的入口。

自托管、托管 API 与微调：对比分析

Thinking Machines 提供 Tinker 测试与微调 API，开发者可以借此试用模型、限制响应长度、启用网页搜索并进行企业级微调 ^[2][1]。

Tinker 还从发布首日便支持主流推理和部署工具的集成 ^[6][1]。这一点很重要，因为模型本身只是工作的一部分。你还需要一条无需大量配置工作即可将其接入实际技术栈的路径。

取舍非常简单：

• 自托管让你拥有完全控制权，并可以使用 1 million-token 上下文窗口 ^[6][1]。
• Tinker 可以减少运维工作，但上下文上限为 256,000 tokens ^[6][1]。

因此，选择取决于速度与控制权之间的平衡。如果你希望使用托管服务并减少基础设施工作，Tinker 是更轻松的方案。如果你需要完整上下文窗口，并希望更严格地控制部署，那么自托管更为合适。

APIMart 在多模态生产工作流中的作用

团队选定访问路径后，仍要面对生产中的实际问题：如何让多模态请求通过一套简洁工作流流转。

对于需要在同一流程中完成分析和生成的团队，APIMart 为多模态 API 提供统一集成层。

美国团队的应用场景与高性价比部署

编程助手、代理、支持工具与文档分析

了解访问方式后，下一步很简单：**Inkling-Small 最能在哪些方面发挥价值？**其 MoE 设计有助于让高流量生产任务保持精简推理 ^[1]。

对于软件团队来说，这让它非常适合仓库级错误修复、PR 审查，以及需要跨大型代码库工作的多步骤编程代理 ^[2]。

同样的配置也适用于需要快速分类和长上下文阅读的任务。例如，支持型副驾驶可以处理工单分类、回答政策问题，并将升级事项发送到正确位置。在规模化使用中，这些在延迟和算力上的小幅改进会迅速积累成明显收益。

它也适合大型文档分析，包括合同、政策文件和技术手册 ^[1]。如果团队每天都要处理高密度文档，这类工作负载正是长上下文阅读开始展现价值的场景。

对于教育平台，Inkling-Small 可以通过可调思考强度提供数学和逻辑辅导 ^[2]。团队因而可以让模型投入与任务相匹配的推理资源，而不是每次都支付相同的计算成本。

典型应用包括：

• 编程代理
• 支持型副驾驶
• 文档分析
• 辅导教学
• 多模态标注

美国团队的成本、延迟与预算规划

这里最主要的成本杠杆是 MoE 设计，它有助于降低重复请求的推理成本和延迟 ^[1]。

开发者还可以在代码中调整思考强度，从适合简单任务的 0.2 到适合复杂推理的 0.99 ^[2]。简单来说，团队可以为高流量、低复杂度工作使用较少算力，把更多思考时间留给真正需要的情况。

在规划美国团队的支出时，这种控制能力非常重要。每天处理数千个常规请求的支持流程，不需要采用与处理棘手边缘情况的编程代理相同的设置。一款模型、不同强度级别，以及更清晰的预算管理方式。

由于模型依据 Apache 2.0 许可证发布，当数据控制是首要任务时，美国团队还可以在本地或 VPC 内运行它 ^[2][1]。

这些部署选项为下一节的研究结论奠定了基础。

研究要点与最终总结

开放权重发布为何对测试和定制意义重大

在介绍完访问与部署之后，研究层面的核心问题归结为：开放权重究竟能让团队在实践中做什么。

由于权重开放，研究人员可以直接检查架构和推理控制机制，也可以使用内部数据测试模型，而无需通过外部 API 发送这些数据。这种可见性也有利于安全测试。组织无需直接接受公开声明，而是可以在自己的基础设施上验证结果。

领域适配是另一项重要优势。金融分析或软件工程等领域的团队可以使用专有数据微调模型，而不必依赖通用系统 ^[2]。同样的开放性也支持本地部署和领域专用适配，因此团队能够按照自己的要求开展独立审计。

需要记住的关键要点

以下几点最为重要：

• 开放权重让团队能够在自己的基础设施上测试、微调和评测模型。
• 权重可从 Hugging Face 获取，Tinker 则为团队提供了一种在进入生产环境前对配置进行压力测试的方式 ^[2][1]。
• Inkling-Small 面向可控且成本敏感的部署场景，其开放权重支持测试、微调和独立评测。

对于需要控制权、定制能力和独立验证的团队而言，这种配置让 Inkling-Small 成为实用选择。

常见问题

自托管 Inkling-Small 需要什么硬件？

Inkling-Small 基于 276-billion-parameter 架构构建，并为 NVIDIA Blackwell 系统提供原生 NVFP4 量化检查点。

你的环境还应支持 SGLang、vLLM、TokenSpeed 或 llama.cpp 等开源推理库。虽然 Thinking Machines 在开发过程中使用了 GB300 NVL72 系统，但 Small 版本旨在成为更具成本效益、延迟更低的本地部署选择。

什么时候应该选择自托管而不是 Tinker？

当组织需要完全控制代理式 AI 工作负载时，应选择自托管。这可能意味着在本地或虚拟私有云中运行模型，并由团队负责配置和日常运维。

对于希望管理自身基础设施、降低持续 token 成本或满足特定数据隐私要求的团队，它同样很合适。

如果你希望以便捷、低摩擦的方式开展研究和微调，Tinker 是更好的选择。自托管则让你有更大空间，可以围绕自己的硬件优化性能与成本。

思考强度如何影响成本与响应质量？

Inkling 可控的思考强度让开发者能以简单方式在 0.2 到 0.99 之间调整模型的推理预算。较高设置会为复杂的多步骤推理使用更多算力，较低设置则会在简单任务中减少 token 用量和延迟。

由于 Inkling 会压缩思维链推理，因此往往能用更少 token 得到准确结果。这让用户可以根据部署需求，更灵活地控制成本与性能。