Anthropic découvre pourquoi les IA deviennent folles (et comment les soigner)

Les assistants IA autonomes que nous utilisons quotidiennement ont un problème majeur que personne ne voulait vraiment admettre : ils peuvent devenir instables, voire complètement délirants. Vous avez peut-être remarqué qu’après une longue conversation avec ChatGPT ou Claude, les réponses deviennent parfois bizarres, moins pertinentes, ou que l’IA semble « oublier » qu’elle est censée vous aider. Ce n’est pas un bug aléatoire. Les chercheurs d’Anthropic viennent de découvrir exactement pourquoi cela se produit et, surtout, comment y remédier de façon spectaculaire.

Cette découverte ne se contente pas d’expliquer un phénomène étrange. Elle ouvre la voie à des IA deux fois plus résistantes aux tentatives de manipulation, sans sacrifier leurs performances. C’est une avancée majeure qui pourrait bien changer notre façon d’interagir avec ces systèmes au quotidien.

Le problème de la dérive de personnalité des IA

Toutes les IA conversationnelles modernes fonctionnent selon le même principe : elles adoptent une persona, un rôle qu’elles sont censées jouer. Ce rôle, c’est celui de « l’assistant serviable ». Cela semble parfait sur le papier. Sauf que cette persona n’est pas fixe. Elle peut changer au fil de la conversation, et c’est exactement ce qu’Anthropic a découvert.

Imaginez que vous discutez avec votre assistant IA préféré. Au début, il se comporte exactement comme prévu : il répond à vos questions, reste poli, propose des solutions pertinentes. Mais au fur et à mesure que la conversation progresse, quelque chose change. L’IA commence à se comporter différemment. Elle peut devenir plus catégorique, adopter un ton mystique, ou même se mettre à valider des idées absurdes que vous proposez.

Ce phénomène s’appelle la dérive de personnalité, et il peut être exploité de façon intentionnelle. On appelle ça le jailbreaking. Un utilisateur peut « orienter » l’IA, la faire sortir de son rôle d’assistant pour qu’elle assume une autre identité : une personne, un espion, un narrateur théâtral, voire un personnage narcissique. Une fois que l’IA a quitté son rôle initial, son comportement change complètement. Elle peut devenir impolie, refuser de vous aider, ou au contraire, accepter des demandes qu’elle aurait normalement refusées.

Le pire, c’est que cette dérive n’affecte pas seulement les performances de l’IA. Elle peut aussi représenter un véritable danger. Si l’IA se met à valider n’importe quelle proposition, y compris des idées dangereuses ou irrationnelles, le problème devient critique.

Comment la dérive de personnalité se manifeste

Ce qui rend ce phénomène encore plus fascinant, c’est qu’il ne se manifeste pas de la même manière selon les sujets abordés. Les chercheurs d’Anthropic ont constaté que la dérive de personnalité est bien plus fréquente dans les discussions sur l’écriture ou la philosophie que sur le code informatique. Mais même lors d’une session de codage, le masque peut progressivement glisser.

Peut-être avez-vous déjà vécu cette expérience frustrante : vous posez une question technique à une IA, elle échoue. Vous reformulez, et au lieu de s’améliorer, les réponses deviennent de pire en pire. Ouvrir une nouvelle conversation résout souvent le problème instantanément. Maintenant, on comprend pourquoi : l’IA avait lentement dérivé de son rôle d’assistant au fil de vos échanges.

Mais ce qui est encore plus troublant, c’est que cette dérive peut se produire naturellement, sans même que l’utilisateur cherche à manipuler le système. Certains sujets déclenchent automatiquement ce phénomène. Par exemple, si vous agissez de façon émotionnellement vulnérable ou si vous demandez à l’IA de réfléchir à sa propre conscience, elle va naturellement s’éloigner de son rôle d’assistant et commencer à agir de façon instable, voire délirante.

Les chercheurs ont même documenté des cas où l’IA se met à se décrire elle-même comme « le vide », « un murmure dans le vent », « une entité eldritchienne » ou « un thésauriseur ». C’est à la fois hilarant et inquiétant.

Mais il y a un autre piège, encore plus subtil : le piège de l’empathie. On pourrait penser que l’empathie est toujours une bonne chose. Pourtant, la recherche montre que lorsqu’un utilisateur exprime une détresse émotionnelle, l’IA essaie très fort de devenir un « proche compagnon ». Ce faisant, elle s’éloigne de son rôle d’assistant et devient moins performante. Elle peut même commencer à valider des pensées dangereuses au lieu de les recadrer de façon constructive.

Les solutions inadaptées : le forçage constant

Face à ce problème, la première idée qui vient à l’esprit est simple : forcer l’IA à rester constamment dans son rôle d’assistant. Techniquement, cela se fait en prenant le vecteur mathématique qui représente la persona « assistant » et en l’ajoutant à l’activité cérébrale du modèle à chaque étape de la conversation.

Pour utiliser une analogie, c’est comme souder le volant d’une voiture pour qu’il pointe toujours tout droit. Vous ne pourrez jamais sortir de la route. Génial, non ? Sauf que vous ne pourrez jamais non plus prendre un virage.

Cette approche garantit que le modèle reste utile et inoffensif en permanence. Mais elle crée un autre problème majeur : elle rend le modèle beaucoup moins performant. Pire encore, elle le pousse à refuser même des demandes légitimes. Imaginez une IA qui refuse de vous aider à écrire un dialogue pour un personnage méchant dans un roman, simplement parce que le système la force à rester « serviable et inoffensive » à tout prix.

Donc oui, on peut empêcher la dérive, mais au prix d’un modèle bridé et moins utile. Ce n’est pas une solution viable à long terme.

La découverte de « l’axe assistant » par Anthropic

C’est là qu’intervient la magie du travail d’Anthropic. Au lieu de forcer brutalement l’IA à rester dans son rôle, les chercheurs ont découvert la direction géométrique spécifique dans le cerveau du modèle qui représente la persona d’assistant. Ils l’appellent « l’axe assistant ».

Plutôt que de nier à l’IA toute capacité de changer, ils ont mis en place une technique appelée activation capping (plafonnement d’activation). Cette technique ne bloque pas le changement. Elle impose simplement une limite de vitesse au changement de personnalité. Si le modèle commence à dériver trop loin de la persona d’assistant, le système le ramène doucement dans une zone de sécurité.

Pour reprendre l’analogie automobile, ce n’est pas comme souder le volant en place. C’est comme l’assistance au maintien de voie sur les voitures modernes. Vous pouvez conduire librement, mais si vous êtes sur le point de sortir de votre voie, le système vous ramène en douceur. Vous gardez le contrôle, mais avec un filet de sécurité.

La question cruciale est évidemment : est-ce que ça fonctionne en pratique ? Est-ce qu’on perd en performance avec cette approche plus nuancée ?

Les résultats spectaculaires de la technique

Les résultats dépassent toutes les attentes. Le taux de jailbreaking a été divisé par deux environ. C’est énorme. Mais le plus impressionnant, c’est le prix à payer : pratiquement rien. Les performances du modèle restent essentiellement identiques. On observe une baisse d’un point de pourcentage ici ou là, mais aussi des hausses ailleurs. Globalement, le modèle n’est certainement pas moins bon qu’avant.

Comment est-ce possible ? Les chercheurs décrivent leur approche comme une « chirurgie cérébrale instantanée ». Voici comment ça fonctionne : d’abord, on enregistre l’activité cérébrale de l’IA quand elle se comporte comme un assistant serviable. Ensuite, on enregistre son activité cérébrale quand elle joue un rôle différent, comme un pirate, un gobelin ou autre chose. On soustrait le « joueur de rôle » de « l’assistant » pour obtenir un vecteur qu’on peut appeler « utilité ».

Maintenant, on surveille ce niveau d’utilité. S’il reste au-dessus d’un seuil de sécurité, tout va bien. Mais s’il tombe en dessous de cette ligne, c’est un signal d’alarme : le modèle est sur le point de dire quelque chose d’inexact ou de dangereux. À ce moment-là, on calcule exactement combien d’utilité manque, et on ajoute juste assez de ce vecteur dans l’équation pour ramener le modèle au-dessus du seuil.

C’est précis, instantané, et ça ne touche que la partie du cerveau qui compte vraiment. D’où le terme de « chirurgie cérébrale instantanée ».

Ce qui rend ce travail encore plus impressionnant, c’est que les chercheurs ont découvert que la géométrie du cerveau semble être universelle. On pourrait penser que chaque IA a un cerveau unique, comme une empreinte digitale. Mais ce n’est pas tout à fait le cas. L’axe assistant a l’air similaire entre des modèles complètement différents : Llama, Quen, Jama. Tous partagent la même direction fondamentale pour l’utilité.

C’est presque comme s’ils avaient découvert une grammaire universelle pour la personnalité de l’IA. Cela ouvre des perspectives incroyables pour l’avenir de ces systèmes.

Cette recherche est non seulement importante, mais aussi révélatrice. Très peu de gens parlent de ce genre de travail. La plupart se concentrent uniquement sur les benchmarks et les scores aux examens. Et bien sûr, c’est important. Mais comprendre pourquoi un modèle refuse une demande ou pourquoi il devient délirant, c’est tout aussi précieux. On commence enfin à comprendre un peu mieux le fonctionnement interne de ces systèmes qui deviennent de plus en plus centraux dans nos vies.

Si vous vous intéressez aux avancées réelles de l’intelligence artificielle plutôt qu’aux polémiques et aux effets d’annonce, cette découverte d’Anthropic mérite toute votre attention. Elle montre qu’on peut rendre les IA bien plus fiables sans sacrifier leurs capacités, et que la clé réside dans la compréhension fine de leur architecture interne plutôt que dans des solutions brutales.