Effondrement en mode commun et récupération dans le Direct Feedback Alignment

Les chercheurs montrent que l'entraînement par Direct Feedback Alignment peut stagner à cause d'une composante d'erreur partagée entre les entrées, qui pousse les unités tanh vers la saturation. Une décomposition moyenne-covariance exacte permet de prédire ce phénomène sur 48 configurations. Calibrer la baseline de lecture ou soustraire la moyenne du signal par batch supprime l'effondrement et accélère l'apprentissage, y compris sur MNIST et CIFAR-10.