开源模型体系

前面各章分别建立了注意力、位置表示、专家路由与语言建模目标。本章把这些机制放回完整模型，研究结构选择怎样影响训练、缓存、输入协议和部署条件。本章以“开源”为组织线索：所列案例都能取得公开权重，但权重、代码、数据与许可的开放范围差别很大。模型家族的名称只提供来源线索；真正参与计算的是某个具体版本的参数、配置、分词器与运行代码。

本章选用有公开技术报告或模型卡的 DeepSeek-V2/V3/R1 与 V4.1 Flash、Qwen3、Qwen2.5-VL、早期 GLM 与 GLM-4.5、Llama 4、Mistral 7B、Mixtral、Gemma 4、Olmo 3 与 gpt-oss，并以 Kimi K2、MiniMax-01 补充技术路线。它们是解释机制的版本案例，不组成当前产品排行榜。来源查阅于2026年9月12日；新版本应沿用本章的方法重新分析，不能继承同一品牌旧版本的架构或许可结论。

比较模型的基本单位

比较单位是一份可以明确定位的模型制品及其使用协议。品牌相同不保证网络结构相同；结构相同不保证训练数据和行为相同；权重相同也不保证不同模板和运行后端产生完全一致的结果。

表中日期指技术报告首次提交，不等同于模型权重或产品上线日期。带版本号的条目固定本章核对到的 arXiv 修订。Llama 4 没有单独的技术报告，其结构与许可以官方模型卡的固定提交为准，见本章相应小节。各报告的正式文献条目在对应案例中引用。

38.1模型分析对象

结构、训练及产品协议

稠密模型（Dense Model）在一次前向中执行相应层的全部前馈参数，稀疏专家模型（Sparse Mixture-of-Experts Model，MoE）则按路由选择部分专家。二者属于计算结构。Base、Instruct、Reasoning 等名称主要描述训练阶段或预期行为，不能仅凭后缀反推注意力形式。一个推理蒸馏检查点可以保留学生模型的普通 GQA，而不继承教师的潜在注意力或专家结构。

输入和输出模态又是另一维度。文本检查点、视觉语言检查点和语音模型即使属于同一家族，也需要分别判断编码器、连接器和处理器。外部 API 可以把多个模型和工具包装为一个产品入口，因此产品能力不等于某一个公开权重文件的能力。

开放程度分层

“开源”在日常讨论中常被当成二值属性，工程上却至少包含四个可以分别核对的维度：能否取得权重、能否取得运行与训练代码、能否取得数据与训练配方、以及在什么许可下使用。四者互不蕴含，需要分别取证。

开放权重（Open Weights）只承诺可以取得参数文件。Olmo 3 一类制品同时公开权重、代码、数据与训练过程，使预训练链路可以被外部复现和审计(Team Olmo 2025)；gpt-oss、Qwen3 与 Gemma 4 采用宽松开源许可(OpenAI 2025; Yang 等 2025; Gemma Team 2026)；Llama 4 使用社区许可并附带可接受使用政策，其条款不符合通常意义上的开源许可定义(Meta 不详)；DeepSeek 的部分制品使用自定义模型许可。同一品牌的不同代际也可能改变许可，Gemma 与 Kimi 都出现过这种变化。

开放代码、开放训练数据与托管服务可用同样需要独立证据。权重下载权限不自动说明所有用途均获许可，许可判断应绑定精确版本的条文和实际使用方式，本章不按品牌给出统一商业授权结论。¹

统一结构描述

记层数为 \(L\)，隐藏宽度为 \(d\)，查询头数为 \(h_q\)，键值头数为 \(h_{kv}\)，每头宽度为 \(d_h\)。专家数为 \(E\)，每词元激活数为 \(k\)，共享专家数为 \(E_s\)。缓存精度每元素占 \(b_c\) 字节，总权重和激活权重参数量分别为 \(P_{\mathrm{total}}\) 与 \(P_{\mathrm{active}}\)。

同一组字段并不能覆盖所有结构。例如潜在注意力需要压缩维数，状态空间模型需要状态形状，混合架构需要逐层类型表。遇到不适用字段应解释原因，不能强行把所有模型还原为普通 MHA。

模型制品比较

为把比较方法落到实物，下面选择三个文本制品。表中B表示十亿参数，参数量采用发布者口径；每参数两字节仅用于计算统一精度下的逻辑权重体积，不是下载文件大小或可运行显存。对稠密模型不另报稀疏意义的激活参数，因为嵌入查表与全部矩阵乘法的参与口径不同。

配置与模型卡分别固定于官方权重仓库的以下提交：DeepSeek-V3为e815299，Qwen3-8B为b968826，GLM-4.5-Air为a24ceef；完整定位见脚注。² 该DeepSeek制品声明FP8块量化，表中的1342 GB因而只表示把报告参数按两字节展开的统一估算；实际存储还要按量化块、尺度、未量化层和附加预测模块核算。GLM的查询宽度 \(96\times128=12288\) 不等于隐藏宽度4096，投影仍可合法地从4096映射到12288，不能套用 \(d=h_qd_h\) 的默认等式。

发布时点也必须与配置快照分开。Qwen官方发布公告日期为2025年4月29日，早于本章表中的报告提交；GLM-4.5V模型卡明确记录2025年8月11日发布。³对其余本章案例，模型发布日未在此形成同等粒度的原始公告记录，故保留为未核定字段，不用报告日期冒充。后续制品清单应同时保留发布事件、报告版本和权重提交三个时间维度。

表中能力栏是训练定位而非统一分数。DeepSeek报告的生成基准、Qwen的思考模式评估与GLM的工具环境有不同预算和评判条件；若要形成能力比较，应固定同一任务集、模板、生成总长度、工具调用次数与失败口径后再实验。开放权重使本地测量成为可能，并不把发布者的基准自动变成当前部署的结果。

38.2DeepSeek 模型体系

潜在注意力的低秩表示

DeepSeek-V2 把多头潜在注意力（Multi-head Latent Attention，MLA）与专家前馈结构结合，前者主要改变键值状态的表示，后者改变前馈计算的参与参数(DeepSeek-AI 2024a)。下面用独立记号分析 MLA 的低秩内容路径，位置分量随后加入。

设单个位置隐藏向量为列向量 \(h_t\in\Real^d\)，压缩矩阵 \(D\in\Real^{r\times d}\)，得到潜在状态 \(c_t=Dh_t\in\Real^r\)。第 \(i\) 个头的内容键和值写为

查询内容向量为 \(q_{t,i}\in\Real^{d_k}\)。利用矩阵乘法结合律，某个历史位置 \(j\) 的内容分数为

因此可先把当前查询映射到 \(r\) 维，再与缓存中的 \(c_j\) 相乘，而不逐一重建全部历史键。注意力权重 \(a_{tj,i}\) 确定后，值的加权和同样满足

这一步把逐历史位置的上投影移到加权求和之后。若再与输出投影组合，可以继续吸收线性矩阵；非线性、位置相关变换或不相容的量化布局则会改变可融合条件。

上述恒等式对给定低秩参数化精确成立，却不证明任意已经训练好的 MHA 都能无损压成同一个 \(r\)。低秩结构需要在训练中学习；把一个满秩映射事后截断，属于另一个可能引入近似误差的问题。

位置旋转分离

若直接在完整键上施加旋转矩阵 \(R_j\)，分数变成

中间的相对旋转依赖历史位置 \(j\)，通常不能与 \(U_i\) 任意交换，从而不能只预计算一个与 \(j\) 无关的变换查询。相关位置代数见第7章《位置表示》。

MLA 采用独立的位置分量来保留旋转信息：将内容分数与位置分数相加。若共享旋转键为 \(k_j^R\in\Real^{d_R}\)，每头旋转查询为 \(q_{t,i}^R\)，则可写为

内容状态与位置状态分别缓存。该分工保留低秩内容路径的结合律，又给位置关系留下明确通道；具体查询压缩与投影布局仍应按所选模型版本读取。

缓存压缩率

在所有层同构、键和值等宽、忽略元数据和分页冗余时，普通 MHA 每序列的缓存字节数为 \(2LT h_qd_hb_c\)，GQA 为 \(2LT h_{kv}d_hb_c\)，上述潜在形式为 \(LT(r+d_R)b_c\)。这些式子描述状态存储，尚未包含权重、临时工作区和运行时保留空间。

取构造配置 \(h_q=16\)、\(h_{kv}=4\)、\(d_h=64\)、\(r=128\)、\(d_R=32\)。每层每词元分别存储 \(2048\)、\(512\)、\(160\) 个元素。潜在形式相对于 MHA 的存储比例为 \(\frac{160}{2048}=7.8125\%\)，相对于 GQA 为 \(31.25\%\)。这些数字来自给定配置，不能作为某个实际产品的实测节省率。

再取二维内容例题 \(U=\begin{bmatrix}1&2\\0&1\end{bmatrix}\)、\(q=(1,3)^{\mathsf T}\)、\(c=(2,-1)^{\mathsf T}\)。显式键为 \(Uc=(0,-1)^{\mathsf T}\)，点积为 \(-3\)；变换查询为 \(U^{\mathsf T}q=(1,5)^{\mathsf T}\)，与 \(c\) 的点积仍为 \(-3\)。例题核对的是结合律路径，不包括训练质量或内核效率。

V3 及 R1 的训练职责

DeepSeek-V3 报告讨论专家负载控制、多词元预测及训练数值效率(DeepSeek-AI 2024b)。其中多词元预测（Multi-Token Prediction，MTP）是在训练中增加未来词元的预测约束，不应直接等同于服务端已经实现了某一种推测解码。训练目标、辅助模块是否保留、部署如何利用它们，需要分别说明。

V3的无辅助损失负载均衡（Auxiliary-Loss-Free Load Balancing）把用于选专家的分数与用于混合输出的权重分开。设亲和度 \(s_{ti}=\sigma(u_t^{\mathsf T}e_i)\)，令

偏置 \(b_i\) 只改变选择集合；训练步结束后，对过载专家降低偏置，对欠载专家提高偏置。它不是乘入专家输出的概率，也不同于直接用均衡损失梯度修改路由器。报告仍保留很小的序列级辅助均衡项，因此名称不能解释为训练中完全没有任何均衡损失(DeepSeek-AI 2024b)。实际配置还含节点分组限制和输出缩放，上式只展开选择与加权的关键分工；通用梯度与容量机制见第36章《混合专家模型》。

DeepSeek-R1 则把重点放在推理行为的后训练与强化学习(DeepSeek-AI 2025)。基础网络结构、奖励构造和推断时允许的计算预算是三个不同因素。更长的推理轨迹会增加生成成本，并不自动保证答案正确；奖励与验证器的机制在第24章至第26章展开。蒸馏到其他基座的 R1 系列检查点应按学生架构计算资源，不能因名称含 DeepSeek 就套用 MLA 缓存公式。

V4.1 Flash 混合注意力

DeepSeek-V4.1-Flash将图像与文本作为输入，自回归地产生文本，支持百万词元上下文。以下依据2026年9月10日核查的官方技术报告，固定模型仓库提交为df42c109；报告分别列出552B主干参数与196B条件记忆参数，预填充与解码阶段每词元激活参数分别为8B和16B(DeepSeek-AI 2026)。这些量分别描述模型容量和计算路径，部署仍须另计权重精度、分片、缓存与工作区。

因果编码器—解码器（Causal Encoder-Decoder，CED）把40层主干分为20层因果编码器和20层解码器。编码器按序列前缀生成表示，解码器的全局缓存由编码器末层表示投影得到；局部滑动窗口注意力仍使用各层自身的状态。因果约束在两个部分中都成立，历史位置的表示不能读取未来待生成词元。

令序列长度为 \(N\)、主干宽度为 \(d\)，编码器输出为 \(H^E\in\Real^{N\times d}\)。对解码器层 \(\ell\)，报告中的全局缓存投影可以写成

这里 \(C_\ell\in\Real^{N\times d_c}\) 为压缩前缓存条目，\(Z_\ell\in\Real^{N\times d_z}\) 为相应压缩权重表示，后续按压缩规则聚合；跨层复用还会减少实际独立缓存组。由于生成全局缓存不要求先算出每个解码器层的历史隐藏状态，大部分提示词元可以跳过完整的解码器计算。

局部缓存仍需补齐。模型采用有界重放，只在解码器重算提示末尾的 \(w\) 个词元以近似恢复滑动窗口状态。若按每个词元经过一层的工作量计数，层数为 \(L\)，则预填充工作量由 \(NL\) 变为近似

该估算用于 \(N\gg w\) 的长输入，忽略投影、通信和不同注意力算子的成本差异；例如 \(N=64w\) 时比例为 \(\frac{65}{128}\)，不能直接解释为端到端时延比例。生成新词元时仍需经过编码器与解码器。多层局部注意力的理论感受野会随层数扩大，重放一个窗口属于近似恢复，报告中的小幅质量损失结论依赖其评测条件(DeepSeek-AI 2026)。

Engram 条件记忆

条件记忆（Conditional Memory）通过输入相关的稀疏读取扩大可用表示容量。Engram以局部 \(N\)-gram 为地址线索，从可训练嵌入表读取向量，再由当前隐藏状态决定这些向量的贡献；MoE则根据路由选择要执行的专家网络。两者可以同时存在，分别增加查表容量与条件计算容量(Cheng 等 2026)。

为说明信息流，令 \(x_t\) 为当前词元，\(g_{t,n}\) 为截至位置 \(t\) 的长度 \(n\) 的规范化词元片段，\(h_{n,k}\) 为第 \(k\) 个哈希函数，\(E_{n,k}\in\Real^{M_{n,k}\times d_e}\) 为对应嵌入表。查表与融合的教学抽象为

其中 \(h_t,\widetilde h_t\in\Real^d\)，若拼接宽度为 \(D\)，则 \(V\in\Real^{d\times D}\)；门控 \(\alpha_t\) 由上下文状态与所读记忆共同计算，并按形状广播。该式只抽象寻址、投影和门控的职责，具体模型还包含归一化和多分支融合。固定片段阶数与哈希头数后，每词元访问的表项数不随表容量增长；这不意味着访存延迟为零。哈希碰撞、低频片段覆盖、分词方式和门控质量都会影响记忆是否有用。

V4.1 Flash采用两个Engram模块，分别位于从零计数的第1层和第14层，合计196B参数。每个模块使用2、3、4阶片段，每阶8个哈希头、合计2048维嵌入，每头表容量约1600万项，取不同素数；嵌入表及键值投影采用FP8。相较原始Engram，该版本省去短因果卷积，并调整嵌入优化方法。因此解释该制品时应以V4.1报告为准，不能逐项套用早期论文结构(DeepSeek-AI 2026)。

表地址由词元确定，可以提前计算，并从主机内存预取，使传输与网络计算重叠；收益取决于带宽、批量与调度。仅按196B表参数每参数一字节估算，存储已约为196GB，另需尺度和运行状态。Engram保存训练得到的参数化记忆，RAG访问外部文档，KV缓存保存本次前缀的中间状态；三者的更新方式、来源可追溯性和存储生命周期各不相同。

CSA2 及缓存精度

压缩稀疏注意力第二代（Compressed Sparse Attention 2，CSA2）进一步沿层维度复用全局缓存和稀疏位置选择。Full模式生成缓存并执行索引；Reindex模式复用先前的缓存，以本层索引查询重新选择位置；Reuse模式连同已选位置一起复用。各层仍保留自己的全局查询与局部窗口缓存。解码器的分层稀疏索引还把后续索引的搜索范围限制在较早层产生的候选池中(DeepSeek-AI 2026)。

报告给出的全局缓存为每词元890字节，结合CSA2与FP4主缓存约为V4-Flash的四分之一；有界重放避免把局部窗口缓存持久化至SSD，使持久缓存约为前代的八分之一。全局缓存、运行期全部缓存和持久缓存具有不同统计口径，不能把两个缩减比例相乘。按一百万词元计算，全局缓存项约为890MB，实际服务还需局部缓存、权重、临时张量、分配器及并发请求空间。以上为发布者报告中的结构与资源结果，不能替代指定硬件、后端和任务上的容量测试。

V4.1 Flash还采用Single-Pass mHC残差混合和DSpark推测解码，并从预训练阶段联合处理视觉与文本。各机制解决的成本不同：CED减少长输入的主干计算，CSA2减少全局缓存及重复索引，Engram扩大条件记忆容量，推测解码减少串行生成等待。能力变化还受预训练数据、后训练与推理预算影响，不能仅凭综合基准的提高推断某一模块的独立收益。

38.3Qwen 模型体系

稠密模型及专家模型

Qwen3 技术报告同时给出稠密与 MoE 模型。其文本主干使用 GQA、RoPE、预归一化与门控前馈层，并在查询和键上引入归一化；报告中的 MoE 版本采用细粒度专家且不设共享专家(Yang 等 2025)。这些细节说明，不能把另一个 MoE 家族的共享专家公式直接移植过来。

同一家族内也存在具体配置差异。例如该报告列出的 Qwen3-4B 与 Qwen3-8B 都具有36层和32个查询头、8个键值头，但嵌入权重是否共享不同。即使注意力缓存的主要形状相同，参数存储与输出投影布局仍可能不同。读取家族综述后，还必须定位具体检查点的配置。

从机制上看，GQA 改变每个键值头服务多少查询头；查询键归一化约束相应向量尺度；专家层改变前馈参数的选择。这三者作用在不同位置，不能用“采用某优化架构”概括为一个无法核算的收益。

推理模式及输出预算

推理模式和直接回答模式改变模型的交互协议及生成过程，可能使用控制词元、模板开关或不同检查点。给 API 传入一个名称相似的参数，不足以说明目标服务已经实现相同语义；必须核对序列化后的实际输入和返回协议。

设每个请求的隐藏推理或中间输出长度为 \(T_r\)，最终答案长度为 \(T_a\)。若两者均由同一个解码器生成，生成步数约为 \(T_r+T_a\)，容量规划不能只统计用户可见答案。比较两个模式时，应分别记录正确率、有效完成率、总生成词元、延迟和失败类型。推理预算是实验条件，而不是无成本的能力开关。

视觉语言分支的额外路径

Qwen2.5-VL 是另一个明确的版本案例，其报告讨论视觉输入处理以及与语言主干的结合(Bai 等 2025)。视觉语言制品必须同时固定图像或视频预处理、视觉编码器、连接模块和语言分词器。文本主干的上下文上限不直接等于可输入的图片数量，因为每幅图像可能转化为不同数量的视觉位置。

对图片 \(I\)，可以抽象写为 \(Z_I=C(F_v(I;\psi);\omega)\)，其中 \(F_v\) 是视觉编码器，\(C\) 将视觉特征映射到语言模型使用的表示空间。若分辨率策略使视觉位置数从 \(N_v\) 增至 \(4N_v\)，即使文本不变，后续序列长度和跨模态计算也会变化。详细融合方法见多模态篇；本章强调它们是制品身份和资源模型的一部分。

代码模型分支

Qwen2.5-Coder-7B-Instruct提供一个任务专用案例：固定配置仍是因果Transformer，28层、隐藏宽度3584、28个查询头和4个键值头，具有QKV偏置，输入输出嵌入不共享。它的专用性主要来自代码相关语料、任务构造和后训练，不能从“Coder”后缀推导出一种新的注意力算子。⁴

代码生成的条件可以是自然语言需求，也可以是已有程序的前缀和后缀。对缺失中段 \(m\)，目标为 \(p_\theta(m\mid c_{\mathrm{pre}},c_{\mathrm{suf}})\)；只要把已知两侧放入模型规定的序列协议，因果解码器仍能逐步生成中段。这里的“因果”约束是序列化后的生成顺序，不要求条件只能来自源文件左侧。代码能否编译、测试能否通过以及是否满足需求则是不同评价层次，不能用自然语言流畅度替代。

配置还说明长上下文条件不能只读宣传数字：该快照的直接位置上限是32768，模型卡讨论借助YaRN处理更长输入。扩展配置、后端支持和短长任务评估必须一起保留，相关相位条件见第37章《长上下文建模》。

38.4Llama 及 Mistral 模型体系

Llama 与 Mistral 是英文社区中使用最广的两条开放权重路线。它们与前述模型家族在结构上有重叠，也有明确差异；与 DeepSeek、Qwen 并列分析可以看出，“开放权重”并不对应单一架构。

Llama 架构演进

Llama 系列早期检查点确立了开放权重解码器的常见配方：预归一化的 RMSNorm、旋转位置编码、门控前馈与分组查询注意力。这一组合并非首次出现，但被大量派生模型复现，成为比较其他结构的基线。因此，遇到一个使用分组查询注意力的开放模型时，注意力形式本身不构成家族识别依据，仍需读取逐层配置。

Llama 4 是原生多模态模型，采用专家混合架构与早期融合，把图像与文本在输入阶段接入同一主干(Meta 不详)。该系列公开两个检查点：Scout 每词元激活约 \(17\) 十亿参数、含16个专家，Maverick 每词元激活约 \(17\) 十亿参数、含128个专家，二者上下文窗口均为128K。同代内专家数与计算量已经不同，前代稠密模型的部署经验因此不能直接外推：状态缓存、处理器依赖和模态预算都已改变。

该系列使用社区许可与可接受使用政策，而不是宽松开源许可；规模、分发、衍生训练与地域条款需要按精确版本的许可文本审查，品牌名本身不构成授权。⁵

Mistral 架构特征

Mistral 7B 用滑动窗口注意力限制每个查询可见的历史范围(Jiang 等 2023)。设窗口宽度为 \(W\)，第 \(\ell\) 层的有效感受野 \(R_\ell\) 满足

可见范围随层数线性增长，而每层缓存不再随序列总长度增长：

窗口是一种结构先验：超出窗口的依赖只能逐层传播，信息在传递中可能衰减。若 \(W=4096\)、\(L=32\)，则 \(R_L=1+32\times4095=131041\)，覆盖范围超过十万词元；这个数字是层数与窗口的算术结果，不代表该模型在所有长距离任务上的有效能力，相关评估条件见第37章《长上下文建模》。

Mixtral 8x7B 把门控前馈替换为每个词元选择 2 个专家的稀疏前馈，报告的总参数约 \(46.7\) 十亿，每词元激活约 \(12.9\) 十亿(Jiang 等 2024)。这正是第36章《混合专家模型》讨论的容量与计算分离：激活参数量描述单次前向涉及的参数，权重驻留仍按总参数量核算。

值得注意，Mixtral 8x7B 的公开配置把滑动窗口设为空值，注意力仍是完整因果形式；滑动窗口属于 Mistral 7B 的该版本选择，不能被外推到同家族的专家型号。同一家族的注意力与位置设置需要逐检查点读取，这正与前面反复强调的方法一致。两个制品均以宽松开源许可发布，但其后续型号的许可与开放范围需要另行核对。⁶

38.5GLM 模型体系

自回归空白填充的早期目标

早期 GLM 研究自回归空白填充（Autoregressive Blank Infilling），将部分文本片段挖空，再按指定次序生成缺失片段(Du 等 2021)。设保留上下文为 \(c\)，缺失片段为 \(s_1,\ldots,s_m\)，每个片段序列均包含最后的结束片段标记，其长度也计入该标记；生成顺序为排列 \(\pi\)。这样结束事件与内容词元一起参与概率分解：

已知上下文与已经生成的内容可以作为条件，当前片段尚未生成的后缀不能提前泄漏。这与同时独立预测多个 MASK 位置的 MLM 不同，也与只把原文从左到右生成的单一顺序不同。

以文本“甲去乙，然后返回丙”为例，若挖去“乙”和“丙”，保留上下文可以同时提供两侧约束，但两个待填片段的生成仍具有明确次序。模型需要知道当前生成的是哪一个空白、空白内部已生成到何处；不能只给一个没有位置含义的 MASK 列表。

现代推理及工具能力的训练

GLM-4.5 报告采用 MoE，并围绕智能体、推理和代码任务组织训练，提供推理与非推理模式(GLM-4.5 Team 2025)。它是现代模型案例，不能仅凭 GLM 家族名就推断沿用早期论文的全部注意力掩码和空白填充协议。

工具调用能力至少涉及三层：网络输出调用意图，序列协议编码工具名与参数，外部执行器检查权限并产生观察。模型输出形式合法，不代表参数符合工具语义；模型希望执行某动作，也不构成用户授权。训练集中的调用与观察必须保持关联，相关系统设计在智能体架构与应用开发章展开。

评估智能体能力时，工具环境、任务终止条件、重试预算与评判器都属于实验定义。同一模型在不同环境中可能得到不同完成率，因此技术报告中的智能体分数不能脱离其环境作为通用性能常数。

视觉分支的结构及输入边界

GLM-4.5V是独立的视觉语言制品，其模型卡指向GLM-4.5-Air基座，而不是把任意GLM-4.5权重直接接收图像。固定配置中，视觉编码器深度24、宽度1536，输出映射到4096维语言空间；空间patch宽度14、空间合并因子2，另有时间patch宽度2。⁷

视觉网格的空间合并

若处理后的网格为 \((T_v,H_v,W_v)\) 且空间维可被二整除，二乘二的空间合并把视觉位置数从 \(T_vH_vW_v\) 变为 \(\frac{T_vH_vW_v}{4}\)。例如单时间网格的 \(24\times24\) 个patch对应576个合并前位置、144个合并后位置。该算例只说明给定网格的序列缩减，不把任意原图强行缩成同一大小；边界标记和文本还要额外计入长度。

该制品为图像、视频分别设置标记，并配置多维位置分配。即使语言层数与Air相同，视觉处理器、位置协议和停止编号也成为新的兼容条件。其图像推理、文档理解和界面操作能力应在相应输入及工具环境中评估；视觉表示学到对象，不等于外部执行器已获得操作权限。多模态融合及视觉序列推导分别见第39章《视觉 Transformer》和多模态篇。

38.6其他开源模型提供的技术比较

（选修） 同一套比较方法可以覆盖不同地区与不同开放程度的制品。下面选取机制上互不重复的补充案例。

Kimi K2 智能体环境

Kimi K2 的技术报告以稀疏模型及智能体能力为重要研究对象(Kimi Team 2025)。作为比较案例，它提示读者把参数效率与交互任务共同分析：一次用户任务可能需要多轮模型调用和工具反馈，单次生成速度无法直接推导任务完成时延。

设一次任务经过 \(J\) 轮，每轮模型耗时为 \(t_j^m\)，工具耗时为 \(t_j^u\)，串行情况下总时间近似为 \(\sum_j(t_j^m+t_j^u)\)；并行工具调用、重试和缓存则改变这个表达。即使某个模型单轮稍慢，若完成任务所需轮数更少，总时延也可能下降。反过来，较高的单轮吞吐不能补偿大量无效工具调用。

MiniMax-01 混合注意力

MiniMax-01 报告研究 Lightning Attention 与混合结构(MiniMax 2025)，可用于理解为何某些模型不在所有层保存完整的逐词元键值。为说明一般线性状态机制，考虑独立的外积累积模型

其状态大小不随历史长度增长，但有限矩阵将历史压缩进共同状态，不能逐项访问任意过去词元。该简化式只说明线性累积原理，不等同于 MiniMax 的完整门控、归一化或实现公式。

将部分层保留为完整注意力，另一部分采用递推状态，会形成不同的容量与信息访问折中。若完整注意力层数为 \(L_a\)，状态层数为 \(L_s\)，缓存近似为

其中暂按每个状态层只有一个上述矩阵计算；多头和附加状态需再乘相应系数。只要 \(L_a>0\)，整体缓存仍有随 \(T\) 线性增长的部分，不能把混合模型称为“任意长度零增长”。

开放许可模型

开放程度不同，能够支持的工程结论也不同。Olmo 3 在7B与32B两个尺度上发布，除权重外还公开完整模型流程，包括构建该家族所用的每个阶段、检查点、数据点与依赖，训练数据为 Dolma 3(Team Olmo 2025)。这种完全开放适合作为方法对照：外部可以复现预训练链条并审计数据来源，但它并不因此成为能力上限。

Gemma 4 采用宽松开源许可(Gemma Team 2026)，而该家族早期版本使用自有条款。这说明同一品牌的不同代际必须分别取证：一个模型的宽松许可不能回溯适用于旧检查点，反之亦然。该系列同时提供稠密与专家版本，注意力在局部滑动窗口与全局之间交替，并规定末层为全局层；以26B A4B为例，它含128个专家、每词元选择8个并另有1个共享专家，激活参数远小于总参数。窗口宽度在不同尺寸上取512或1024，因此部署参数必须按选定检查点读取。

gpt-oss 以宽松开源许可发布文本开放权重模型，并以固定的响应格式描述推理强度与工具调用(OpenAI 2025)。此时协议属于模型行为的一部分：模型卡明确要求按该格式使用，绕过它直接拼接提示可能得到语法合法但语义不同的结果。开放权重也不降低对工具执行权限与运行环境的控制要求。Phi-4 则说明数据质量导向的配方与合成数据可以让一个约14B的模型在限定任务上具备竞争力(Abdin 等 2024)；许可宽松与体积小都不减少评测义务，知识截止、语言覆盖与长上下文边界仍需按实际任务测量。

三个制品都允许自由使用与再分发，但结构差异很大：Olmo 3 用稠密前馈配混合注意力，Gemma 4 与 gpt-oss 都使用细粒度专家，而专家数、选择数与注意力交替比例各不相同。许可宽松不意味着结构相近，也不意味着权重驻留量可以由激活参数量推算。固定提交见脚注。⁸

按机制扩展比较对象

Falcon、Pythia、InternLM、ERNIE 及其他开放权重模型可以沿同一方法纳入研究：先选择具体报告和检查点，再确定它带来的新增比较维度，例如领域语料、训练目标、异构专家或模态处理。没有足够来源时应保留为待研究对象，不补写推测规格。

表格不列统一能力排名。表38.2以三个固定制品示范结构、训练、协议与许可字段的填法；未列入其中的制品仍须分别建立记录，各技术报告的基准数字也不能被拼成未经同条件评估的总榜。

38.7模型结构还原

制品层次及一致性

模型卡提供发布者声明；配置提供机器可读结构；权重张量提供实际存储事实；模型代码定义如何执行这些张量。四者相互补充，任何单一文件都不足以证明整套制品可用。

例如配置声明嵌入为 \(V\times d\)，实际权重却为 \((V+8)\times d\)，可能是新增控制词元，也可能是版本错配。应同时读取分词器的有效编号范围和输出投影，而不直接把差异判成错误或默认为无害。对于连续编号，最大词元编号必须小于实际嵌入行数；存在填充词表行时，行数又可能大于有效词元数。

权重分片索引需要把张量映射到实际文件，文件头中的形状、数据类型与偏移必须相容。普通未量化矩阵的参数数为各维长度之积；量化打包张量还包含尺度和其他状态，其存储元素数不能直接当成原网络参数量。

格式、适配器及远程代码

模型适配器（Model Adapter）依赖基座参数和目标模块，不能作为完整模型独立解释。低秩增量、量化权重、多模态处理器和派生容器都需要保留来源关系。修改基座版本或模块命名后，即使加载程序没有立刻报错，数学组合也可能已改变。

Safetensors 的元数据读取与需要通用对象反序列化的格式不同，但文件格式本身不证明来源可信。静态解析仍需限制头部大小、验证偏移范围和文件完整性。未知模型仓库要求执行自定义代码时，应把代码纳入明确的依赖与审阅范围，而不因自动加载接口提供一个开关就视为已经获得信任。

身份清单的伪代码

算法38.1　建立模型结构与协议清单

输入：固定来源和版本的模型文件、声明文档、允许读取的格式与结构规则。输出：证据清单、确定冲突、仍不可判定的项目。

1. 记录来源版本与文件路径；按字节流计算摘要，保留原始文档及获取时间，不执行模型代码。

2. 读取配置，提取逐层类型、维度、头数、专家布局、位置机制、量化声明和处理器依赖。

3. 读取分词器与模板，记录实际编号范围、控制词元和生成终止规则；多模态制品还记录媒体处理参数。

4. 在限定大小与偏移边界下读取权重元数据，将配置声明与张量形状、索引和分片逐项关联。

5. 将明确相容项记为已观察一致，明确矛盾记为冲突，不能判断项记为未知；不得把没有报错当作一致证据。

6. 输出不可变清单及后续运行待验项。量化、质量、实际内核与工具执行行为由后续受控评估负责。

若文件总字节数为 \(S\)，完整摘要至少需要读取 \(O(S)\) 字节；只读头部不能提供完整权重摘要。身份清单不等于运行或任务质量证明。

38.8模型选型条件

硬约束及同条件比较

先明确输入模态、部署地点、允许用途、可用显存与时延上限，再在可行候选中比较质量。开放范围与许可在这一步就是准入条件，而不是上线前才补做的合规检查。资源模型至少写成

其中峰值工作区随批量、上下文和后端变化。MoE 没有卸载或分片时，权重项仍按总参数计算，不能按激活参数量估算全部驻留显存。

许可与开放范围同样构成硬约束。候选准入应固定仓库标识、许可证文本与文件摘要，再分别判断权重、代码和数据各自允许的用途。完全开放的制品允许复现训练链路，便于定位数据与配方问题；只开放权重的制品可以做权重级实验，但数据来源与训练细节的可核查范围有限。两者都能形成可用系统，差别在于出现质量或合规问题时能够追溯到哪一层。

任务比较应固定评测数据与版本、模板、采样、思考预算、工具环境、后端和硬件；每一项不能固定时，就把它作为比较条件而非隐藏变量。报告中的分数属于来源证据，自己执行得到的数字属于实测证据；二者须明确标注。

适配过程中保留语义边界

统一业务消息格式有助于上层应用维护，但不同模型仍需要各自的序列化适配。适配器应负责消息角色、工具参数结构、媒体位置、结束标记和错误恢复，而不对所有模型强行使用同一串提示文本。共同业务语义不等于相同词元序列。

评估时还应分开模型错误、模板错误、解析错误和工具执行失败。某次任务未完成，既可能是模型推理错误，也可能是输出已正确但协议解析丢失字段。只有按系统层次定位，才能判断更换模型是否真的解决问题。