Vous auriez pu inventer Kimi Delta Attention

L'article propose une reconstruction pédagogique du raisonnement ayant mené à Kimi Delta Attention, mécanisme d'attention linéaire utilisé dans les modèles Kimi. L'auteur détaille les motivations techniques et les étapes intermédiaires qui rendent cette architecture compréhensible sans prérequis avancés.