Rang spectral et profondeur : comment l'architecture des Transformers évite l'effondrement

L'article analyse comment chaque composant du bloc feedforward d'un Transformer influence la survie du rang à l'initialisation. Les skip connections et la normalisation, habituellement vues comme des régulateurs de magnitude, sont réinterprétées comme des mécanismes de préservation du rang du gradient à travers la profondeur. Les auteurs expliquent notamment pourquoi le rang s'effondre en Post-Norm mais se stabilise en Pre-Norm, et comment la structure à deux matrices du MLP prévient l'effondrement de la représentation résiduelle.