混合专家模型 (MoE) 笔记 2024-03-06·2438 字·5 分钟 MoE 大模型 AI 论文阅读 论文笔记 本文主要梳理了混合专家模型 (MoE) 的相关概念，并介绍了几种开源 MoE 模型的架构和优化方法，如 GShard、Switch Transformers、DeepSeek-MoE 和 LLaMA-MoE 等模型的特点和优化方法。
