篇章二 · 2.3
宽度维度 · Stable LatentMoE
896 个专家，怎么不乱套
896 个路由专家每次激活 16 个，是 56 倍稀疏度。专家池越大，通信、权重读取、负载均衡都变难——LatentMoE 和 QB 各解一难。
主干：7168 下投影到 3584 路由、再上投影回 7168。旁路：Shared 直通负责通用。两个难题分别由 LatentMoE（省路由成本）和 QB（均衡负载）解。
详解 Kimi K3 › 三维度架构 › 2.3 · 宽度维度 LatentMoE