过去两年，「在手机上跑大模型」这件事一直卡在一个尴尬的位置：能跑的模型小到没什么用，有用的模型大到跑不动。10 月 13 日，面壁智能发布 MiniCPM-V 4.7，给出了一个反直觉的答案——总参数 350 亿的 MoE 模型，只占约 3GB 内存，就能在手机上流畅对话；10 月 21 日，官方又公布了背后的调度细节：在 iPhone 18 Pro Max 上，解码速度达到 20.51 token/s（腾讯新闻、OpenBMB 官方技术文档）。

这组数字背后，是一次对端侧推理老问题的正面拆解。

端侧 MoE 的两难：不是激活多少，而是要存多少

MoE（混合专家）架构的卖点是「用小代价换大能力」：模型内部有大量专家，每次生成一个 token 只激活其中少数几个。MiniCPM-V 4.7 的 35B-A3B 版本总参数 350 亿、每次推理仅激活约 30 亿（PR Newswire 发布稿）——听起来正是端侧想要的形态。

但端侧的麻烦恰恰在这里：激活参数决定算力开销，总参数决定存储开销。不同 token 在不同层会选中不同专家，设备内存往往装不下全部专家权重。于是就有了两条都不太好走的路：

  • 权重放在闪存里，用到再搬：内存装不下不是问题，问题是「搬完再算、搬一停」——频繁的加载等待会把生成速度拖到无法实时交互的水平；
  • 固定一小撮专家给整段对话用：加载次数是少了，但模型被迫放弃本该选中的专家，能力出现隐性退化。

换句话说，以前端侧跑 MoE 是一道二选一的选择题：要么卡，要么钝。

LES：用「预测」把搬运时间藏进计算里

面壁智能给出的解法叫 LES（Lookahead Expert Scheduling，前瞻专家调度），核心思路很像接力赛里的接棒动作——接棒人提前起跑，棒到手时已是全速：

  • 跨层路由预测预取：根据当前层的路由结果，预测下一层可能用到的专家并提前加载；已命中的专家优先计算，没命中的并行补载。关键设计在于，预测只用于调度，不改变模型本身的 token 级路由——输出与不开预测时完全一致，也不需要额外训练。官方称多数场景下能提前准备好 80% 以上的所需专家（PR Newswire）。
  • 分层细粒度量化：压缩专家权重的存储占用和内存流量，让加载量匹配端侧带宽；
  • DSpark 投机采样：配套训练的小草稿模型抢跑生成，再由大模型验证，进一步抬升解码吞吐。

三项叠加的实测效果（均为厂商自测口径）：iPad Pro M4 上从 SSD 加载的基线 2.97 token/s 提升到 17.39 token/s，约 5.86 倍；iPhone 18 Pro Max（12GB）从 3.38 提升到 20.51 token/s，约 6.07 倍；iPhone 17 Pro Max 用约 3GB 内存达到 13+ token/s（LES 技术文档、LLMs Blog 梳理）。模型本体提供 35B-A3B 与 1B 两个尺寸，Apache 2.0 协议开源，支持 iOS、安卓、鸿蒙，并提供瑞芯微、Intel、AMD、Arm 等平台的适配（GitHub 官方 README）。

怎么看这波「端侧提速」：三个冷静的判断

第一，评价口径要分清。 20 token/s 是特定机型、特定运行时（OpenBMB 的 llama.cpp-omni 分支）配合全量优化的数字，不同手机、不同推理框架的结果会不一样；截至发稿，公开渠道尚未见第三方独立复测（LLMs Blog）。厂商文档之间也有口径差异——同一款模型在 iPhone 17 Pro Max 是 13+ token/s、在更新机型是 20+ token/s，看到数字先看机型和条件。

第二，速度只是入场券，能力密度才是重点。 模型卡显示 35B-A3B 在 MMBench、OCRBench、OmniDocBench 等多模态基准上高于同尺寸的 Qwen3.6-35B-A3B（厂商口径，见 AICoder 的拆解），但也有部分项目并不领先。对开发者来说，「能在自己关心的任务上自测通过」比榜单总分更可信——端侧模型尤其如此，因为部署后很难再换。

第三，端侧不是替代云端，而是分走一层负载。 10 月初微软与英伟达联合定义的「混合智能」架构（本刊此前已有分析）给出的分工仍然成立：本地负责高频、隐私敏感、离线可用的部分，云端负责前沿能力的按需补充。同在 10 月 21 日，Perplexity 宣布其 Computer 产品可在 Mac 上完全本地运行、无需云端推理与 WiFi（AI 日报 10 月 21 日）——端侧推理的价值不只是省成本，还包括数据不出设备和断网可用。

对开发者意味着什么

这一轮端侧进展落到工程上，有三件事值得记：

  1. 端侧多模态从「演示」走向「可排期」。3GB 内存、13+ token/s 意味着文档、截图、长视频理解这类任务可以在手机上实时完成，不必为每一帧图像往返云端。
  2. MoE 的部署问题被当成一等公民来解。此前端侧优化多针对 dense 小模型，LES 把「专家权重调度」做成开源方案，对任何想在终端跑 MoE 的团队都有参考价值——预测调度、分层量化、投机采样这三件套是可迁移的。
  3. 选型清单里要加一行「运行时」。同样的权重，用哪个推理框架、哪种量化格式，速度可能差数倍。落地前先把目标设备、目标框架、目标精度钉死，再谈模型。

端侧大模型的最后一道坎从来不是「能不能跑」，而是「真正用起来之后值不值得用」。MiniCPM-V 4.7 把这个问题往答案推进了一大步——剩下的那一步，要靠开发者自己的真实任务来验证。