篇章二 · 2.2
深度维度 · AttnRes
深层不该把所有信息糊在一起
93 层，信息从第 1 层传到第 93 层。普通残差一路等权累加，深了早期信息就被淹没；AttnRes 让当前层用查询按相关性检索前面任何一层。
普通残差等权累加 · 全一样粗
→ AttnRes按需检索 · 粗细不同
左：所有层等权累加（箭头一样粗）。右：当前层按相关性检索（箭头粗细不同）。配 RMSNorm 防大值层夺权，Block 分块控成本见 4.1。
详解 Kimi K3 › 三维度架构 › 2.2 · 深度维度 AttnRes