Une seule couche suffit-elle ? Un unique layer Transformer égale l'entraînement RL complet

Des chercheurs démontrent qu'entraîner un unique layer d'un modèle Transformer par apprentissage par renforcement (RL) peut égaler les résultats obtenus en mettant à jour l'intégralité des paramètres. Ce résultat remet en question l'hypothèse selon laquelle le fine-tuning RL nécessite une mise à jour globale du réseau. Les implications portent sur la réduction drastique des coûts computationnels liés à l'alignement et à l'optimisation post-entraînement.