深圳购物网站建设公司四川大学毕业设计网站

深圳购物网站建设公司,四川大学毕业设计网站,舟山做网站公司,漂亮网站欣赏#x1f34b;#x1f34b;AI学习#x1f34b;#x1f34b;#x1f525;系列专栏#xff1a; #x1f451;哲学语录: 用力所能及#xff0c;改变世界。 #x1f496;如果觉得博主的文章还不错的话#xff0c;请点赞#x1f44d;收藏⭐️留言#x1f4dd;支持一下博主…AI学习系列专栏 哲学语录: 用力所能及改变世界。如果觉得博主的文章还不错的话请点赞收藏⭐️留言支持一下博主哦一、Decoder-only原始架构在MoE中decoder-only就是改造的前馈神经网络层。二、MoE图解三、前向传播过程以Top-k (k1 或 2)为例1、计算路由权重2、选择专家取权重最大的 k 个专家得到索引集合 S(x)。3、专家前向对选中的每个专家 e4、加权合并五、MoE的优势1、参数量大计算量可控1普通 Transformer每次前向传播都要用到所有参数想增加容量就必须增加计算量。2MoE可以把参数拆分成 N 个“专家”每个 token 只激活Top-k个专家常见 k1 或 2。3计算量 ≈ k/N × 总参数量总参数可以做到数百亿甚至上万亿而实际每步计算只相当于几十亿。2、表达能力更强不同专家可以学习不同的子任务/语义模式例如语法、数学、代码、图像描述等。通过 gating 机制每个 token 动态选择专家 →条件计算 (conditional computation) 类似于“如果输入属于某类特征就让某些专家专门处理”3、训练与扩展灵活易于扩展只需增加专家数量即可增加模型容量而计算成本几乎不变。模块化训练专家可以并行分布到不同 GPU/节点方便大规模分布式训练。局部更新理论上可以只更新某些专家以实现增量学习或领域适配。4、更好的多样性与鲁棒性由于专家学习到不同的特征空间模型在面对分布外数据时往往更有鲁棒性。对长尾任务更友好稀有任务可能被特定专家捕获而不会被主流任务“淹没”。六、常见变体Switch TransformerTop-1 路由最简单高效。GShardTop-2 路由 负载均衡 loss。Mixtral、DeepSeek-MoE更大规模专家、改进 gating、共享路由策略。Shared MoE / Residual MoE增加共享专家或残差稳定训练。七、总结MoE 的前馈网络内部仍然是“升维→激活→降维”的 FFN 区别在于不止一个 FFN而是多个专家并存由门控网络为每个 token 动态选择少数专家执行 这样可以在保持计算成本可控的同时显著扩大模型容量与表示能力。