篇章三 · 3.3
逐通道遗忘门
记忆不该一刀切——每个维度有自己的寿命
遗忘门控制旧信息留多少忘多少。K3 把它从整个状态共用一个速度(标量门),细化到每个维度各自一个速度(逐通道门)。信息寿命由一个数决定:α,每一步都乘它。
0.88遗忘门 α
5.4 步半衰期 t½ = ln0.5 / lnα
2.6%30 步后剩余 α³⁰
α 每步都乘一次:曲线越陡忘得越快。拖到两端对比一下
探索式演示 · 没有「播完」,拖滑杆自己发现规律
为什么更灵活。 长上下文里既要长期记住(人名、主题),又只用一次(当前细节)。标量门一刀切必然顾此失彼——保留多了近期糊成一团,遗忘多了远期关键信息丢光。逐通道门让不同信息有不同寿命,长期和近期各得其所。