Magnitude：给编码智能体接上本地模型的开源推理引擎

面向想把编码智能体（coding agent）切到本地大模型上的开发者：出于成本、隐私或离线需求，不想再按 token 付费，但被"我的机器到底能跑什么模型"劝退过。前置知识：知道智能体客户端（Claude Code、OpenCode、Cline 这类）与模型推理后端的分工。

版本提示：本文写于 2026-09-08，当时 Magnitude 是纯命令行形态（npm 安装、magnitude setup）；2026 年 9 月底官方已转为桌面应用优先，并改称"推理引擎"。文中以文章发表时点的 README（commit f4163b74，2026-09-07）为基准做机制解读，同时标注截至 2026-10-03 的现状——两套信息都在，读者按现状操作即可。

读完本文你能判断：Magnitude 和"让智能体自己装 Ollama"差在哪；它的硬件画像与模型推荐怎么工作；当前的上手路径；以及哪些场景它不适用。

一句话判断

Magnitude 的定位是**“先懂你的硬件，再谈模型"的本地推理引擎**：它评估你的芯片、内存、带宽，从模型目录里挑出这台机器真正跑得动的模型，给出预估 tok/s，下载后按机器调好投机解码（speculative decoding）与并发，再接进你正在用的智能体。文章发表时官方自称 inference server（推理服务器），通过 npm 分发 CLI；2026 年 9 月底改为桌面应用形态，自称 inference engine，卖点也从"帮你选模型"扩展到"在你的设备上编译并调优内核（kernel），开源模型最高比 llama.cpp 快 2 倍”。

与"让智能体自己装 Ollama"的本质区别在于：智能体装 Ollama 时在猜——不知道哪个量化版本合适、跑多快。官方 FAQ 的原话是"Your agent would be guessing"。Magnitude 把"猜"换成了"按这台机器算好的推荐目录 + 写好 harness 配置的引导流程 + 面向智能体负载的推理调度（按需加载、空闲或内存吃紧时卸载）"。

核心能力：从硬件画像到自动调优

发表时 README 列出的能力可以归成一条链：

硬件评估 → 模型推荐（含预估 tok/s）→ 下载
   → 端到端调优（投机解码/并发）→ 接入 harness → 按需加载/卸载

这条链上有三个设计点决定它和裸用推理引擎的差别：

• 按需加载（load on demand）：模型在智能体请求时加载进内存，空闲或内存吃紧时卸载。本地跑大模型最常见的困境是内存被多个常驻模型占满，这个策略是冲着它去的。当前文档保留了这个行为，并提醒一个副作用：放置一段时间后的第一次响应会更慢，因为要重新加载。
• 智能体优先的接入面：支持直接接入的 harness——Pi、OpenCode、Hermes、OpenClaw、Codex、Claude Code、Oh My Pi、Cline。发文章时接入动作发生在 setup 阶段，由你的智能体（或交互式 CLI）把所选模型的端点写进 harness 配置；现在改成了桌面应用里的 Connections 面板一键连接，命令行等价物是 magnitude connections add <harness>。
• 离线与私有：模型、提示词、文件全部留在本机，下载完成后可完全断网运行。支持从 Hugging Face 下载目录外的兼容 GGUF 模型（发表时 README 明确写入 FAQ；当前文档改为引导在 Catalog 内搜索，不再单独强调这条路，用法以现场文档为准）。

性能是 9 月底转型后新增的主轴，引用数字时要把口径还原全：官方对比 llama.cpp 的基准用的是 Qwen 3.6 35B A3B（4-bit，64k 上下文，关闭投机解码），Metal 侧跑在 Mac M4 Pro 48GB 上——decode 快 92%（Magnitude 读数 57 tok/s，约为 llama.cpp 的 1.9 倍），prefill 快 9%（507 tok/s）；CUDA 侧跑在 DGX Spark 上——decode 快 19%（58 tok/s），prefill 快 23%（2,507 tok/s）。“最高 2 倍"由 Metal decode 那一项支撑，不能外推到所有硬件和模型；README 同时说明内存侧收益是"每个智能体省 27% 内存，智能体停止即释放”，并发会话靠共享前缀缓存（prefix cache）避免互相拖慢。

价值主张对应的是三类真实痛点：token 成本与限流、代码隐私外流、断网环境。如果你一条都不占，本地模型的推理质量目前仍普遍弱于顶级云端模型，强行切换不划算。

一次请求如何流过这套系统

按当前的桌面应用形态走一遍（OpenCode 为例）：

1. 安装并打开 Magnitude 桌面应用，在 Discover 页看到针对本机的推荐，默认 Balanced 档，滑杆可偏向 Fastest 或 Smartest。每条推荐带本机预估吞吐、预估运行内存和投机解码方案（官方称之为 MTP、DFlash 或 DSpark，由 Magnitude 自动配置）。
2. 选一个模型点 Download。下载落在 ~/.magnitude/models。下载和加载是两步：下载只占磁盘，加载才占推理内存。
3. 打开 Connections，找到 OpenCode，点 Connect。重启 OpenCode 后，模型选择器里就会出现 Magnitude 的模型。
4. 照常写代码。智能体发起请求时，Magnitude 按需把模型加载进内存处理；请求结束空闲或内存吃紧，就把它卸下。想绕开图形界面，也可以让服务在前台跑 magnitude serve，再从 http://127.0.0.1:10100 调 OpenAI 或 Anthropic 两种格式的补全路由——这让任何支持这两家 API 的客户端都能接。

第 4 步正是它和"装好 Ollama 后什么都不管"的分水岭：模型加载/卸载由 Magnitude 按请求驱动，而不是常驻占内存。

上手：当前走桌面应用，旧的 npm 路径已移除

当前路径（2026-10 验证）：从 magnitude.dev/download 下载桌面应用（macOS、Windows、Linux 原生安装），按 Discover → Download → Connections 三步走完。桌面应用自带 magnitude CLI，官方文档明确"No npm installation is required"。常用的命令族：

magnitude status                  # 服务与模型状态
magnitude catalog recommendations # 推荐列表，可用 --preference 与 --limit
magnitude catalog pull <model-id> # 下载模型
magnitude connections add <harness>  # 接入智能体，可加 --set-model
magnitude update                  # 检查并安装更新

配置存在 ~/.magnitude/config.json，完整命令见 CLI reference。

文章发表时的路径（已失效，存档备查）：npm i -g @magnitudedev/cli 后跑 magnitude setup，或把一段官方提示词丢给智能体让它自己完成"装 CLI → 评估硬件 → 选模型 → 自切换"。npm 包 @magnitudedev/cli 仍在发版（latest 0.0.15），但当前 CLI 文档已不再收录 setup 与 docs onboarding 命令，新用户请走桌面应用。

平台与硬件边界：Apple Silicon 走 Metal GPU 加速，Intel Mac 只有 CPU；Windows 与 Linux 支持 CPU、NVIDIA CUDA（Ampere 架构及更新）和 Vulkan GPU；AMD 显卡走 Vulkan——官方明确没有 ROCm 后端。没有固定最低硬件门槛，评估结果决定推荐；内存越大可跑的模型越大。

与 Ollama 的差异边界

差异不在"能不能跑本地模型"（都能），而在谁替你做决策。裸用 Ollama 时，量化版本、上下文长度、并发参数的选择落在用户或智能体的常识上；Magnitude 把这些决策编码进了推荐目录（按机器计算的推荐 + 预估吞吐）和默认调优里。9 月底转型后论据又多了一条：Ollama、LM Studio 出厂的是为一大类硬件预编译的通用内核，Magnitude 在模型运行前于你的设备上编译调优内核——前面的 benchmark 口径就是这条主张的官方证据。代价是引入了一层新的服务依赖，你对推理栈的掌控少了一层直接性，换来的是少踩配置坑。

适用边界

• 适合：有隐私/离线/成本硬约束的智能体用户；机器规格明确但不知道模型选型的开发者；想在 Intel Mac 或无独立显卡的机器上勉强跑小模型的人（CPU 推理可用，但内存够不代表速度够）。
• 不适合：追求最前沿推理质量的场景（本地模型仍有差距）；AMD 显卡想用 ROCm 的用户（当前只有 Vulkan）；纯 API 调用、无智能体 harness 的用法（技术上可以打 10100 端口的 OpenAI/Anthropic 兼容路由，但产品围绕智能体负载设计）。
• 观察项：项目 stars 6,263、Apache 2.0、Rust 为主（仓库代码约三分之二是 Rust，TypeScript 是 CLI 与界面层），2026-06 创建、仍在快速迭代期；一个月内就完成了 CLI 到桌面应用的形态切换，生产环境依赖前先看 issue 区的活跃信号。

本文不覆盖：内核编译与调优的底层实现、具体模型推荐列表（随版本与机器变化，以 Discover 现场输出为准）、Magnitude 与 LM Studio 的直接对比（仓库未提供可比证据，benchmark 只对 llama.cpp）。

仓库信息

• 仓库：https://github.com/magnitudedev/magnitude （6,263 stars，2026-10-03 读数，Apache 2.0，主语言 Rust）
• 文档：https://docs.magnitude.dev
• 主页与下载：https://magnitude.dev
• 模型目录：https://magnitude.dev/models