LLM 核心原理深度解析

从基础到前沿的系统化大模型原理解析 — 六章覆盖 Transformer / 预训练 / 人类对齐 / MoE / RoPE / 推理优化。

→ 打开完整笔记（独立窗口推荐）

章节概览

• 第一章 Transformer 基础与变体 — 自注意力机制、位置编码、关键变体
• 第二章 预训练与微调 — LoRA / QLoRA / PEFT 完整推导
• 第三章 人类对齐与强化学习 — 策略梯度推导、PPO、DPO、GRPO
• 第四章 混合专家模型（MoE） — 门控、Top-k 路由、负载均衡、专家坍缩
• 第五章 旋转位置编码（RoPE） — 频率分布、长度外推
• 第六章 推理优化与部署 — KV Cache、FlashAttention、量化、推理框架

阅读说明

笔记为独立 HTML，包含 KaTeX 公式渲染、Mermaid 架构图、左侧目录导航、明暗主题切换。文档较大（约 800 KB），首次打开后续加载滚动后是按章节懒渲染的，体验比较顺畅。