篇章三 · 3.5
Sigmoid 改造
换个函数，把数值关回 BF16
负 Softplus 生成的衰减率负值没有下界，累积后倒数爆炸。换成有下界的 Sigmoid，累积稳在 BF16，所有 Tile 跑 Tensor Core。
Tile 是 Chunk 内部 16 token 一组的小分块。Sigmoid 偏置固定 −5，每步保留率有下限。
小改动，大工程。 一个函数级的改动，累积值从穿出范围变成稳在范围，对角和非对角 Tile 都能用 Tensor Core 跑稠密矩阵乘，整条计算链路跑满硬件。篇章三 KDA 炼成记到此完成。