MoE并行

MoE，全称 Mixture of Experts，混合专家模型。有很多人猜测 GPT-4 就是使用了 MoE 模型，让很多模型并行起来，加速了推理。阿里巴巴的通义千问大模型（Qw…

一、MoE介绍 二、MoE出现的背景 三、有哪些MoE模型 四、介绍稀疏 MoE 层 五、介绍门控网络或路由 六、为什么门控网络要引入噪声呢 七、如何均衡专家间的负载 八、“专家”…