Llms Zero to Hero

目录

• LLM activate function激活函数的进化之路，从 ReLU，GELU 到 SwiGLU(swishGLU)
• LLM MOE的进化之路，从普通简化 MOE，到 sparse moe，再到 deepseek 使用的 share_expert sparse moe