除非局部另行声明，本书以大写字母表示矩阵，小写字母表示向量、标量或索引。形状中的轴顺序具有语义，交换轴必须同时改变后续运算。同一字母在不同学科中可能有不同含义，章内符号表与紧邻公式的定义优先；局部复用不代表对象相同。批量计算通常采用行向量约定；低秩适配等局部推导使用列向量时会明确说明，不能只按矩阵名称判断是否需要转置。
| 符号 | 约定含义 |
|---|---|
| \(B,T,S\) | 批量大小、目标或当前序列长度、源序列长度；有效长度可以因样本而异。 |
| \(d,d_k,d_v\) | 模型隐藏维数、单头查询与键维数、单头值维数。 |
| \(H,H_q,H_{kv}\) | 注意力头数、查询头数、键值头数；视觉章节中的 \(H,W\) 局部表示图像高宽。 |
| \(L,d_f\) | 网络层数、前馈网络中间维数；训练损失通常写为 \(\mathcal L\)，业务损失等局部记号另行定义。 |
| \(V,\mathcal V\) | 词表大小、词表集合；注意力中 \(V\) 表示值矩阵时，词表大小另加下标。 |
| \(\theta,\eta\) | 模型参数、学习率；采样温度通常用 \(\tau\)。 |
| \(x_{<t},x_{\le t}\) | 位置 \(t\) 之前、不晚于位置 \(t\) 的序列前缀。 |
| \(\Real^{m\times n}\) | 由 \(m\) 行 \(n\) 列实数矩阵构成的空间。 |
| \(X^\mathsf T,\odot\) | 转置、逐元素乘法；普通并置表示矩阵乘法或标量乘法。 |
| \(\mathbf1[\cdot]\) | 条件成立时取一、否则取零的指示函数；\(\mathbf1\) 也可表示同维全一向量，依上下文区分。 |
| \(\mathbb E,\operatorname{Var}\) | 期望与方差；所有统计结论均依赖所声明的采样分布。 |
| \(\|x\|_2,\|W\|_F\) | 向量欧氏范数、矩阵 Frobenius 范数；矩阵 \(\|W\|_2\) 表示谱范数。 |
| \(\nabla_\theta,\dif x\) | 对参数的梯度、积分或微分中的微分记号。 |
| \(\pi(a\mid s),V^\pi,Q^\pi\) | 强化学习中的策略、状态价值与动作价值；与注意力矩阵 \(Q,V\) 分属不同语境。 |
| \(\gamma,\lambda\) | 强化学习中常表示折扣与迹衰减；排队中的 \(\lambda\) 表示到达率，依章内定义。 |
| \(\beta_t,\alpha_t,\bar\alpha_t\) | 离散扩散中的噪声方差、单步信号保留量与累计保留量。 |
| \(t,\tau\) | 时间、位置或采样温度的局部记号；离散步与连续路径时间不能直接互换。 |
| \(q_\phi(z\mid x),p_\theta(x)\) | 变分近似后验与生成分布；下标指出可学习参数。 |
| \(\widehat x,\widehat p\) | 估计、预测或有限样本统计量，具体性质由构造方式决定。 |
| \(\varnothing\) | 空集合或协议定义的空条件；空条件并不总是零向量。 |
| \(\operatorname{stopgrad}(x)\) | 前向保留数值、反向阻断该路径梯度的运算。 |
概率质量用于离散取值，概率密度用于连续变量。离散分布满足 \(\sum_xp(x)=1\)；密度满足 \(\int f(x)\dif x=1\)，单点密度值不是单点概率。Logit 指归一化之前的实数分数，Softmax 指沿指定轴进行的归一化指数变换。
本书使用自然对数。Kullback–Leibler 散度（KL 散度）定义为 \[D_{\mathrm{KL}}(p\|q)=\sum_xp(x)\log\frac{p(x)}{q(x)}.\] 约定 \(p(x)=0\) 的项为零；若某处 \(p(x)>0\) 而 \(q(x)=0\)，散度为正无穷。该量一般不对称，也不满足距离所需的全部性质。连续分布使用相应密度积分。
公式中的 \(O(\cdot)\) 描述在给定假设下的渐近增长阶，不等于实际运行时间。资源公式明确区分参数数量、元素数量、字节数与时间；GB 采用十进制，GiB 采用二进制。示例中的代数计算不作为设备实测结果。
形状说明默认省略广播前后的隐式复制，不代表内存中实际复制。概率公式中的求和或积分范围以局部定义为准；条件分布需要说明条件事件和支持集。边界值可能导致零分母、退化分布或未定义指标，不能仅为得到一个数而代入一般情形公式。