模型训练
模型部署
数据集训练
[人类对齐](modelscope-classroom/LLM-tutorial/M.人类偏好对齐训练.md at main · modelscope/modelscope-classroom) [大模型训练与推理](Swift DOCUMENTATION — swift 4.5.0.dev0 文档)
transformer
GitHub [系统学习](系统学习 (6 小时) | minimind 从零理解 llm 训练 | minimind 从零理解 llm 训练) [深度掌握](深度掌握 (30+小时) | minimind 从零理解 llm 训练 | minimind 从零理解 llm 训练)
核心机制一：自注意力（Self-Attention）
核心机制二：多头注意力（Multi-Head Attention）
核心机制三：位置编码（Positional Encoding）
核心机制四：前馈网络（Feed-Forward Network, FFN）
核心机制五：残差连接与层归一化
技术论文
三大架构变体
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
- Language Models are Unsupervised Multitask Learners
- Language Models are Few-Shot Learners
- Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
位置编码的演进
- RoFormer: Enhanced Transformer with Rotary Position Embedding
- YaRN: Efficient Context Window Extension of Large Language Models
FFN 与激活函数的演进
同时这里补充关于激活函数的理论视角
信号传播理论(Mean Field Theory) 神经正切核（NTK）理论 表达能力的深度-宽度权衡 信息瓶颈理论
这里 ai 补充了另一种视角叫梯度景观与优化动力学
这个视角最直接地解释”为什么模型能训得动”。 激活函数通过其导数形状决定了反向传播时梯度的行为：
- ReLU：导数在正半轴恒为 1（梯度传播好），负半轴恒为 0（神经元可能永久死亡）。
- GELU：负半轴有非零梯度，避免了死亡问题，但在 x ≈ 0 附近梯度变化剧烈，可能导致优化不稳定。
- Swish（x · σ(βx)）：负半轴有非零且有界的值（不会死亡），在 x ≈ 0 处光滑（优化稳定），且导数值域更宽（梯度信号更丰富）。当 β 可学习时，网络甚至可以自适应调整激活函数的”硬度”。 门控机制（GLU 系列）在此基础上叠加了输入相关的动态调制——对于每个输入，门控分支产生不同的梯度缩放因子。这等价于让优化器在每一步都有更好的”方向指引”，降低了陷入鞍点或平坦区域的概率。