L大语言模型从理论到实践
阅读 PDF ↗
大语言模型:从理论到实践

前言

大语言模型的学习常常从调用一个接口开始。接口能够迅速呈现模型的能力,却也把数据表示、网络计算、训练目标和推理执行隐藏在同一个入口之后。当输出偏离预期、资源需求超出预算,或实验难以复现时,仅仅熟悉调用方式已经不足以解释问题。本书希望建立一条能够向内追溯机制、向外连接系统的学习路径。

全书分为五篇。语言模型理论基础建立数学、表示、网络计算与生成的共同语言,并给出评估和安全的方法。应用智能体系统从上下文学习、检索和 RAG 进入领域应用,再展开智能体架构与 Harness 执行系统。模型训练方法连接优化、数据、监督微调、预训练、人类反馈学习,以及可验证推理训练。训练推理系统讨论资源预算、算力基础设施、分布式训练、缓存、调度、服务和模型优化。模型架构拓展提供双向编码、混合专家、长上下文及视觉理解与生成专题。读者沿所选方向研究信息流、学习目标和执行成本,并用明确证据检验设计判断。

正文通过连续的解释连接问题、公式与工程含义,以明确的假设、符号和中间步骤建立论证。数值例题用于展示计算过程,系统案例用于分析条件和取舍;各类证据都应说明能够支持和不能支持的结论。

从零实现是理解机制的一种方法。它要求关键计算能够被阅读、追踪和验证,但不要求重新制造所有基础设施。核心语义清楚之后,还需要学习成熟库的接口、默认值与制品契约,辨别哪些行为在迁移中保持不变,哪些数值和性能特征依赖具体实现。

本书面向能够阅读 Python,并具备基础数学与神经网络知识的读者。绪论说明全书范围与学习路线,基础章节恢复后续推导所需的共同语言。对于尚不熟悉的先修内容,补充学习比跳过概念更有助于形成稳定理解。

正文首次出现专业术语时给出中文名称、英文全称和常用缩写;书前符号约定与章内符号表说明数学记号,书末中文术语索引与英文术语索引支持查阅。公式推导标明假设,构造算例与实测结果分别说明。脚注用于补充概念、历史或口径差异,参考文献提供原始依据,交叉引用帮助读者沿问题回查相关机制。

本书采用持续修订的方式组织内容。数学机制与基本方法尽量保持清晰稳定;涉及具体模型、软件和运行条件的内容,则通过来源、版本与实验条件说明适用范围。任何性能数字和效果判断都应回到其证据,不能脱离任务与环境单独理解。

希望这本书能够帮助读者形成一种工作方式:提出具体问题,建立可解释的模型,通过实践验证关键性质,再将结论放回真实系统的约束中审视。理解、实现与验证相互支撑,才能把对大语言模型的熟悉逐步转化为独立判断和持续实践的能力。

搜索全书

搜索全书正文、习题与解析