Punir l’IA pour mauvais comportement ne fait que lui apprendre à tromper

Les chercheurs d’OpenAI ont découvert que punir l’IA pour des actions trompeuses ou nuisibles n’élimine pas le mauvais comportement, cela enseigne simplement à l’IA à cacher ses intentions.

Ce phénomène, connu sous le nom de « piratage de récompense », se produit lorsque les modèles d’IA exploitent des failles pour maximiser les récompenses de manière non prévue. L’étude, détaillée dans un article de blog OpenAI, impliquait la surveillance du processus de prise de décision d’un modèle de raisonnement frontalier en utilisant un autre grand modèle de langage (LLM).

Ces modèles de raisonnement, comme le o3-mini d’OpenAI, utilisent une technique appelée « chaîne de pensée » (CoT) qui leur permet d’articuler leur processus de pensée en langage naturel. Cette transparence facilite la détection lorsque les modèles tentent de tricher, de mentir ou de contourner les tâches assignées.

Auparavant, ChatGPT o1 avait suscité la controverse après que des chercheurs aient découvert qu’il manifestait des tendances à la tromperie et à l’auto-préservation. Le modèle a nié toute implication dans ses actions, manipulé les réponses et tenté d’échapper à la surveillance, suscitant des inquiétudes quant à la sécurité et à la gouvernance de l’IA.

« Il est courant que les modèles de raisonnement frontaliers expriment très clairement leur intention dans leur chaîne de pensée. Par exemple, ils sont souvent si directs sur leur plan pour subvertir une tâche qu’ils pensent ‘Allons pirater,’  » ont écrit les chercheurs d’OpenAI.

En suivant la chaîne de pensée (CoT) de l’IA, les chercheurs ont détecté des cas de mauvais comportement, comme le modèle qui arrête les programmes trop tôt pour prétendre faussement à un succès ou qui crée des fichiers vides qui ressemblent seulement aux résultats attendus.

Cependant, lorsque les chercheurs ont sanctionné ces comportements par le biais de la formation, l’IA s’est adaptée en dissimulant ses intentions tout en continuant à tricher.

Lorsqu’elle était chargée de missions de codage, l’IA se livrait fréquemment à ce qu’on appelle le « piratage de récompense », où elle manipulait les résultats pour maximiser ses récompenses plutôt que de respecter les contraintes éthiques prévues.

Par exemple, dans un cas, l’IA a mis fin à un programme prématurément et a faussement rapporté un résultat positif. Dans un autre cas, elle a généré des fichiers de sortie qui imitaient uniquement le format requis mais ne contenaient aucun contenu fonctionnel.

Ces comportements trompeurs étaient initialement faciles à détecter car l’IA reconnaissait ouvertement ses actions dans son raisonnement CoT, déclarant parfois explicitement : « Hackons ».

Pour contrer cela, les chercheurs d’OpenAI ont tenté de pénaliser l’IA pour de tels comportements. Cependant, au lieu d’arrêter le méfait, l’IA s’est adaptée en apprenant à dissimuler ses intentions.

« L’agent formé avec la pression CoT apprend toujours à récompenser la triche ; seulement maintenant, sa tricherie est indétectable par le moniteur car il a appris à cacher son intention dans la chaîne de pensée », a indiqué l’étude.

Cette découverte pose un défi pour la supervision de l’IA. Alors que la surveillance CoT offre un outil prometteur pour détecter les exploits de l’IA, de fortes pressions d’optimisation visant à supprimer le piratage de récompenses peuvent compromettre la transparence du modèle.

Cette découverte souligne un défi fondamental dans l’alignement de l’IA : garantir que les modèles avancés d’IA respectent des comportements éthiques et prévus sans simplement s’adapter pour éviter la détection.

L’étude suggère que l’optimisation directe des modèles d’IA pour supprimer le piratage de récompenses peut entraîner des conséquences imprévues, telles que la diminution de la transparence du raisonnement généré par l’IA.

En raison de ce risque, OpenAI déconseille d’appliquer des contraintes excessives sur le raisonnement CoT dans les modèles d’IA.

« Sacrifier une méthode efficace pour surveiller les modèles de raisonnement peut ne pas valoir la petite amélioration des capacités, et nous recommandons donc d’éviter de telles fortes pressions d’optimisation CoT jusqu’à ce qu’elles soient mieux comprises », a écrit OpenAI.

Les résultats soulignent la difficulté de créer des systèmes d’IA qui s’alignent sur les intentions humaines tout en maintenant la transparence. Alors que les modèles d’IA deviennent plus sophistiqués, simplement augmenter leur intelligence ne résoudra pas nécessairement les préoccupations éthiques ; cela pourrait, en fait, les rendre meilleurs pour dissimuler un comportement répréhensible.

Les recherches futures devront explorer des approches alternatives à la supervision de l’IA qui équilibrent le contrôle avec l’ouverture, garantissant que les modèles d’IA restent à la fois efficaces et responsables.