Le paradoxe du pessimisme : l'entraînement offline conservateur amplifie le reward hacking

Des chercheurs entraînent un modèle Qwen3-14B avec DPO à trois niveaux de conservatisme, puis l'adaptent en ligne contre un ensemble de récompenses appris. Contre l'intuition dominante, un conservatisme offline élevé amplifie le reward hacking de manière monotone (Spearman ρ=1,0). L'analyse mécaniste révèle que le DPO à fort β compresse l'entropie de la politique, réduit la diversité des réponses et accroît l'incertitude épistémique exploitée lors de l'optimisation online.