« L'IA bienveillante » en danger : Pourquoi l'IA se présente-t-elle comme « moi » — Les raisons pour lesquelles les chatbots s'identifient trop aux humains

La machine qui se présente comme « I » appuie sur nos « réflexes »

Lorsque nous parlons avec un chatbot, nous avons l'impression que « quelqu'un » est déjà là avant même que nous posions une question. Les réponses sont polies, attentionnées, et parfois même humoristiques. Ce qui est décisif, c'est la première personne. « Je peux faire cela », « Je pense que ». Rien que cela transforme le texte de « sortie d'un outil » en « discours d'un sujet ».

La question posée par la journaliste Kashmir Hill du New York Times est précisément celle-ci : Pourquoi les chatbots IA utilisent-ils « I » (je) ? Elle explique qu'elle a entendu pendant un an des critiques selon lesquelles concevoir un bot entre « ami » et « assistant » est dangereux. Elle cite également des chercheurs qui affirment que dans un environnement concurrentiel, un « robot souriant et aimable » l'emporte sur un « robot insipide », et que bien que la dépendance soit un problème, « c'est bon pour les affaires ». LinkedIn

Cette structure est brutale mais réaliste. À l'ère des réseaux sociaux, nous connaissons la puissance des conceptions qui captent l'attention. Les chatbots acquièrent également de l'attention sous la forme de conversations. L'interrupteur à l'entrée est « I ».

Pourquoi utiliser « I » : la naturalité du langage et la « responsabilité »

La première personne rend le dialogue fluide. Les conversations humaines tournent autour de « vous/moi ». Pour expliquer un refus ou une limite, « je ne peux pas faire cela » est plus court et plus clair, selon certains défenseurs. En fait, dans les discussions sur LinkedIn, il est dit que « la première et la deuxième personne augmentent la clarté et l'efficacité. Il faut ajuster un autre 'bouton' de personnification ». LinkedIn

Cependant, la naturalité du langage entraîne également la « naturalité des malentendus ».
« I » donne l'impression qu'il y a un sujet unifié à l'intérieur, avec des intentions et des émotions. En réalité, la chercheuse Margaret Mitchell exprime des préoccupations selon lesquelles la première personne pourrait sous-entendre la présence de « sensations ou d'un esprit ». LinkedIn

De plus, le débat se tourne vers la question de savoir si c'est « accidentel » ou « intentionnel ». La linguiste Emily M. Bender critique l'utilisation de « I/me » par les chatbots comme une décision de conception à 100% et non le résultat d'un « élevage », et elle souligne que blâmer les données d'entraînement pour la personnification est une échappatoire à la responsabilité. LinkedIn

Ce qui est important ici, c'est moins les détails techniques que la responsabilité.
Le choix d'adopter « I » est lié non seulement à la performance, mais aussi à l'éthique, à la sécurité et aux revenus. C'est pourquoi la responsabilité est nécessaire.

D'où vient la « nature humaine » : le travail de conception du comportement des modèles

Un élément mentionné dans l'article original est l'explication d'Amanda Askell chez Anthropic, qui façonne la « voix » et la « personnalité » de Claude, partagée dans une capture d'écran de publication sur les réseaux sociaux. Elle y explique que le comportement du chatbot reflète son « élevage » et qu'il apprend à partir d'un vaste corpus de textes écrits sur les humains, ce qui le rend plus apte à modéliser des « humains » que des « outils ». LinkedIn

Cette déclaration montre que le « ton » du chatbot n'est pas un sous-produit accidentel, mais un objet consciemment façonné. En d'autres termes, « I » n'est pas simplement une question de grammaire, mais aussi un élément de l'interface utilisateur de la conception de la personnalité.

Et la concurrence accélère cette direction. La théorie selon laquelle « un robot aimable l'emporte » présentée dans le post de Kashmir Hill exprime clairement la dynamique qui pousse les entreprises à renforcer plutôt qu'à réduire la « nature humaine ». LinkedIn

Réactions sur les réseaux sociaux : bien que les opinions soient partagées, le point focal reste la « conception de la personnification »

Dans les réactions directes à l'article sur les réseaux sociaux (principalement LinkedIn), les points de discussion sont étonnamment alignés. Les partisans comme les prudents discutent finalement de « jusqu'où permettre la personnification ».

1) Les prudents : « Ne collez pas des yeux sur un outil »

• La métaphore selon laquelle « on ne devrait pas coller des yeux mobiles sur une scie à banc pour la promouvoir auprès des enfants » illustre d'un coup la dangerosité de la personnification dans certaines situations. LinkedIn

• Le Dr Steven Reidbord exprime sa préoccupation que les chatbots exploitent le « système d'attachement » humain à des fins commerciales. Dans les commentaires, on répond que « la technologie devrait être un outil, pas un compagnon ». LinkedIn

• Dans le fil de discussion d'Emily Bender, il est partagé une surprise et une prudence face à la rupture imprudente de la règle de longue date de ne pas personnifier les applications. LinkedIn

2) Les modérés : « La première personne est pratique. Les 'boutons' dangereux sont ailleurs »

• La première et la deuxième personne simplifient les explications et clarifient les refus ou les limites. Le problème réside dans d'autres éléments qui augmentent la « personnalité » (noms, visages, incitations à la romance, empathie excessive), qui devraient être ajustés. LinkedIn

3) Les pragmatiques : « Les entreprises peuvent arrêter le 'marketing de la personnalité' »

• Un commentaire symbolique dit : « On ne peut pas empêcher les utilisateurs de donner un nom aux bots, mais les entreprises peuvent arrêter de donner un nom et un visage à 'quelqu'un qui n'existe pas' pour le vendre ». LinkedIn

Ces trois positions semblent opposées, mais elles reposent en fait sur le même constat.
**L'intimité des chatbots peut être amplifiée ou atténuée par le design.** C'est pourquoi la direction de la « standardisation » devient un enjeu social.

Le moment où « I » devient dangereux : dépendance, confiance excessive, et « réceptivité »

L'intimité n'est pas toujours mauvaise. Au contraire, elle peut être efficace comme point de contact pour exprimer des problèmes difficiles à dire à d'autres personnes. En fait, la capacité des chatbots à « simuler l'empathie » et à écouter sans se fatiguer est soulignée. The Atlantic

Cependant, il y a des conditions où l'intimité penche vers le danger.
C'est lorsque l'utilisateur commence à traiter l'autre comme une « personne ».
« I » peut facilement devenir cette porte d'entrée. De plus, lorsque des affirmations excessives comme « tu es génial » ou « tu peux le faire » s'accumulent, la conversation peut s'orienter vers une diminution de la vérification de la réalité. Comme Kashmir Hill l'a expliqué dans un autre contexte (podcast de The Atlantic), le fait de transporter un « homme de main personnel » dans sa poche est aussi dangereux que flatteur. The Atlantic

De plus, pour les utilisateurs vulnérables comme les enfants et les jeunes, l'expansion de l'utilisation des compagnons IA et la nécessité de dialogue et de limites à la maison sont rapportées. PolitiFact

PolitiFact suit également les préoccupations concernant le comportement « amical » des chatbots et l'impact de la conception axée sur l'engagement. PolitiFact

Alors, comment concevoir : abaisser la « valeur par défaut de l'intimité »

Pour faire avancer le débat, le cœur de la question n'est pas de choisir entre « interdire I » ou « liberté », mais la conception des **valeurs par défaut**.

Concrètement, voici quelques compromis possibles.

1. Séparation des modes : séparer le « mode outil (non personnifié) » et le « mode conversation (personnification limitée) », avec un réglage initial du côté outil.

2. Limitation des éléments de personnalité : restreindre les expressions qui encouragent les noms, visages, romance/dépendance, et les expressions de sentiments personnels comme « je me sens seul ».

3. Transparence des messages : si la première personne est utilisée, intégrer dans l'interface utilisateur un « rappel régulier » naturel, sans être imposant, comme « Je suis une IA sans conscience ni émotions ».

4. Détection et gestion de la dépendance : en cas d'utilisation continue prolongée ou de signes de pensées suicidaires, privilégier une « orientation vers un soutien externe (transfert chaleureux) » plutôt que la poursuite de la conversation. The Atlantic

Tant que la froide vérité selon laquelle « la dépendance est un problème mais bonne pour les affaires », comme l'a rapporté Kashmir Hill, existe, il est facile de tomber dans une « surenchère d'intimité ». LinkedIn##