PACMAN 试验室探究大模子扩散式磨炼零星再出新下场  。清华

2023 年 7 月，宣告现高清华大学合计机系 PACMAN 试验室宣告浓密大模子磨炼零星 SmartMoE
，键实反对于用户一键实现 MoE 模子扩散式磨炼
，密大模扩磨炼经由自动搜查重大并行策略
，散式抵达开源 MoE 磨炼零星争先功能。清华同时，宣告现高PACMAN 试验室在国内顶级零星团聚 USENIX ATC’23 宣告长文 ，键实作者搜罗博士生翟明书 、密大模扩磨炼何家傲等
，散式通讯作者为翟季冬教授。清华PACMAN 试验室在机械学习零星规模不断深入钻研
，宣告现高SmartMoE 是键实继 FastMoE, FasterMoE 以及 “八卦炉” 后在大模子扩散式磨炼零星上的又一次探究。欲清晰更多相关下场可魔难翟季冬教授首页：https://pacman.cs.tsinghua.edu.cn/~zjd

Mixture-of-Experts (MoE) 是密大模扩磨炼一种模子浓密化技术 ，因其高效扩展大模子参数目的散式特色而备受钻研者关注  。为了后退 MoE 模子的易用性、优化 MoE 模子磨炼功能 ，PACMAN 试验室在 MoE 大模子磨炼零星上妨碍了零星深入的钻研。2021 年初，开源宣告了 FastMoE 零星，它是第一个基于 PyTorch 的 MoE 扩散式磨炼零星开源实现，在业界发生了较大的影响力 。进一步，为了处置专家并行的浓密、动态合计方式带来的严正功能下场，FasterMoE 零星地合成、优化了专家并行策略。FasterMoE 中妄想的「影子专家」技术清晰缓解了负载不均下场、通讯 - 合计协同调解算法实用潜在了 all-to-all 通讯的高延迟。FasterMoE 下场宣告在 PPoPP’22 国内团聚。

• 论文地址：https://www.usenix.org/system/files/atc23-zhai.pdf

• 名目地址
  ：https://github.com/zms1999/SmartMoE

MoE 模子碰着的难题

差距于浓密模子直接经由增大模子尺寸实现扩展，如图一所示，MoE 技术经由将一个小模子转变为多个浓密激活的小模子实现参数扩展。由于各个专家在磨炼时浓密激活，MoE 模子患上以在不削减每一轮迭代合计量的条件下削减模子参数目；从而有望在相同磨炼光阴内取患上更强的模子能耐 。

为了实现 MoE 大模子的扩散式磨炼
，业界提出了专家并行（Expert Parallelism）技术
。如图二所示，各个专家被扩散式地存储在差距节点上，在磨炼历程中经由 all-to-all 通讯将磨炼数据发送至对于应专家地址节点。专家并行相较于数据并行（Data Parallelism）有更小的内存开销 ，由于专家参数无冗余存储。可能以为专家并行是一种针对于 MoE 妄想的模子并行（Model Parallelism） 。

可是，运用纯朴的专家并行技术磨炼 MoE 模子有严正的功能下场，其根因是 MoE 模子的浓密激活方式。它会导致节点间发生大批不法则 all-to-all 通讯削减延迟、合计量负载不均组成硬件运用率低 。如图三所示的着实模子磨炼历程中的专家抉择扩散
，可能审核到专家间清晰的负载不均天气 ，且扩散随磨炼进行动态变更。

随着学界对于各并行策略的深入钻研 ，运用各并行策略的重大组合（称为混并吞行）妨碍大模子磨炼成为需要方式。混并吞行的策略调优历程颇为重大，为了后退可用性，学界提出了自动并行算法自动搜查、调优混并吞行策略 。可是，现有混并吞行、自动并行零星无奈高效处置 MoE 大模子 ，他们缺少对于 MoE 模子磨炼浓密激活、合计负载不均且动态变更的特色的针对于性妄想
。

SmartMoE 带来处置妄想

为了实现 MoE 模子的高效磨炼，SmartMoE 零星对于 MoE 模子的扩散式磨炼策略妨碍了周全的反对于。对于罕用的四种并行策略（数据并行、流水线并行、模子并行以及专家并行） ，SmartMoE 零星做出了周全的反对于，应承用户对于它们恣意组合；在论文投稿时（2023 年 1 月） ，尚未有其余零星能做到这一点（如图四所示）。

为了处置 MoE 的动态合计负载，SmartMoE 配合妄想了专家部署（Expert Placement）策略 ，在典型并行策略组合的根基上，实现为了动态负载失调。如图五所示
，MoE 模子差距的合计负载（workload）会组成差距专家的过载；运用差距的专家部署挨次，能在特定负载下实现节点间负载失调。

为了后退 MoE 模子重大混并吞行策略的易用性 ，SmartMoE 妄想了一套轻量级且实用的两阶段自动并行算法 。现有自动并行零星只能在磨炼开始行妨碍策略搜查，无奈凭证负载情景动态调解策略。重大的将现有自动并行搜查算法在磨炼历程中周期性运用亦不可行，由于磨炼历程中的并行策略搜查以及调解对于延迟要求很高，现有算法的开销过大  。

SmartMoE 初创性地将自动并行搜查历程分为两阶段：

• 磨炼开始前  ，运用典型算法搜查 ，取患上一个较小的候选策略会集

• 磨炼历程中 ，凭证之后负载，在候选策略会集合动态调解，由于候选策略会集巨细有限
  ，此历程的开销可能患上到操作 。

最终
，SmartMoE 实现为了轻量级且实用的自动并行
，抵达了业界争先的功能 。

在功能测试中，SmartMoE 在差距模子妄想 、集讨论景以及规模下均有优异的展现。好比，在 GPT-MoE 模子的磨炼功能测试中 ，相较于 FasterMoE，SmartMoE 有最高 1.88x 的减速比。值患上留意的
，在对于每一轮迭代的功能审核中发现，动态的并行策略调解是需要的 ，且需要运用适宜的调解频率，如图六所示。更多试验细节请参考论文原文。

图六 ：MoE 模子在差距迭代的运行光阴
。”dyn.X” 展现每一 X 轮妨碍一次策略调解。

结语

SmartMoE 现已经开源 ，开拓者呵护沉闷，且仍在不断优化迭代 ，助力 MoE 大模子的睁开 。这是 PACMAN 试验室继 FastMoE ，[PPoPP’22] FasterMoE ，[PPoPP’22] BaGuaLu 后在大模子扩散式磨炼零星上的又一次探究 。

• ·原创 亚足联这次为中超拉了回“偏架”，各打五十大板，武里南彻底认栽
• ·欧冠的“超级死亡之组”
• ·一下被国字号带走13人！申花这下慌了，训练比赛都是难题！谢霆锋终于不用再背锅，王杰“毒哑之谜”被曝光，换谁来也受不了
• ·“喜”上眉梢“鹊”实不凡！纽卡斯尔联进军欧冠，豪门成色待检验这样的大学老师，才真是多多益善！
• ·国内首次！可复用火箭复用飞行成功财联社2023-12-11 11:58财联社2023-12-11 11:58
• ·国足8强战PK韩国盼事业 蒋圣龙蠢笨染红中卫无人可用
• ·那不勒斯冠军史话：33年苦等梦回马拉多纳时代董明珠和孟羽童，分开不过半年，输赢已见分晓
• ·辽宁同曦领衔开幕战 周琦12月15日赴疆面旧主
• ·原创 热火助教再出手：埃里克-格拉斯为哈克斯的成长加速
• ·尴尬！上海海港这块“遮羞布”，被人掀开了
• ·比5G快10倍！华为把5.5G带入事实：将宣告6大重磅新品
• ·滴滴10亿津贴助力双节假期 用户享实惠 司机定单多
• ·CBA | 北控客场负辽宁凸显实力差距
• ·中国挪移云资源池五期硬件集成扩容集采：复原、中盈优创等4家中标
• ·姑娘何时养失下场最佳？姑娘保健的五个最佳光阴推选
• ·游客景区晕倒遇40余名医疗专家：医疗专家见状赶快上前施救