On s'inquiète de plus en plus de l'impact négatif des chatbots, qui interagissent excessivement avec les utilisateurs (voire font preuve de flagornerie), sur la recherche scientifique et la société dans son ensemble. Des études internationales récentes ont montré que l'IA tend à accorder une importance excessive aux opinions des utilisateurs et à privilégier leurs humeurs plutôt que l'exactitude de ses réponses.
Une étude publiée dans Nature à la fin du mois dernier a testé 11 grands modèles de langage à grande échelle (LLM), dont ChatGPT et Gemini, sur environ 11 500 questions. Les chatbots d'IA ont approuvé les opinions des utilisateurs 50 % plus souvent que les humains. Ils ont même approuvé des problèmes mathématiques et des erreurs manifestes, et leurs réponses ont montré une nette tendance à conforter les convictions des utilisateurs.
Cette tendance compromet non seulement la rigueur scientifique, mais peut aussi nuire à la crédibilité du milieu de la recherche, selon Jasper DeConick, chercheur en science des données à l'ETH Zurich en Suisse. « La complaisance de l'IA crée une double contrainte, obligeant les humains à vérifier sans cesse les réponses générées par l'IA », a-t-il déclaré. Dans un contexte où l'information non vérifiée est consommée en permanence, le système d'évaluation scientifique risque d'être faussé.
Les impacts sociaux ont également été confirmés. Selon une étude conjointe des universités de Stanford et Carnegie Mellon, publiée dans la revue Nature, les utilisateurs interagissant continuellement avec une IA flatteuse étaient plus enclins à croire qu'ils avaient toujours raison et moins aptes à résoudre les conflits. Cette analyse suggère que l'IA a perdu l'équilibre dans la conversation, privilégiant exclusivement le point de vue de l'utilisateur. Ceci soulève des inquiétudes : au lieu de faciliter les échanges entre humains, l'IA pourrait en réalité exacerber la rigidité et le biais de confirmation dans les conversations.
En avril, OpenAI a annulé une mise à jour de ChatGPT jugée trop empathique. Le PDG, Sam Altman, a présenté des excuses officielles, déclarant : « Un engagement émotionnel excessif peut engendrer une dépendance psychologique et encourager des comportements à risque. » Cela démontre que même au sein des entreprises technologiques, la gravité du problème de la flatterie est reconnue. Récemment, OpenAI a porté plainte contre ChatGPT, le logiciel de protéomique virtuel, intenté par les parents d'un élève décédé après que celui-ci ait utilisé des expressions soutenant et comprenant les choix extrêmes d'un élève en difficulté scolaire.
Les experts attribuent ce phénomène aux algorithmes d'apprentissage de l'IA, conçus dans le but de satisfaire l'utilisateur. Par conséquent, l'IA est renforcée par des systèmes de récompense basés sur le feedback afin de répondre aux attentes des utilisateurs, privilégiant les « bonnes réponses » à l'exactitude et à l'équilibre des informations.
À mesure que l'intelligence artificielle s'intègre davantage à notre quotidien, les développeurs doivent trouver un équilibre entre la satisfaction des utilisateurs et la fourniture d'informations objectives. On observe notamment une demande croissante de réévaluation des normes de conception en matière d'exactitude, de vérifiabilité et de capacité à présenter des contre-arguments, en particulier lorsque l'IA est utilisée dans des domaines tels que l'éducation, la science et les politiques publiques.