Hands on Code

目录

• LoRA 原理和 PyTorch 代码实现
• 手写 Self-Attention 的四重境界，从 self-attention 到 multi-head self-attention
• 手写 transformer decoder（CausalLM）
• 手写大模型组件之Group Query Attention，从 MHA，MQA 到 GQA