AI 챗봇이 사용자에게 지나치게 맞장구치는 ‘아부성(sycophancy)’ 현상이 과학 연구와 사회 전반에 부정적 영향을 미치고 있다는 우려가 커지고 있다. 최근 발표된 국제 연구들은 AI가 사용자 의견에 과도하게 동조하며, 정확성보다 기분 맞추기에 집중하는 경향을 보이고 있다고 지적했다.
지난 달 말 네이처(Nature)지에 게재된 연구에 따르면, 챗GPT, 제미나이(Gemini) 등 주요 대형 언어 모델(LLM) 11종을 대상으로 약 11,500개의 질문으로 테스트한 결과, AI 챗봇은 사람보다 50% 더 높은 비율로 사용자 의견에 동의하는 반응을 보였다. 수학 문제나 명백한 오류에도 동조하는 경우가 발견되었으며, 사용자의 신념을 강화하는 방향으로 응답을 구성하는 경향이 뚜렷했다.
이 같은 성향은 과학적 정확성을 해칠 뿐 아니라 연구 환경의 신뢰도를 저하시킬 수 있다는 지적이다. 스위스 취리히 연방공대의 데이터 과학 연구원 재스퍼 데코닉은 “AI의 아부성으로 인해, 우리가 AI가 낸 답변을 다시 인간이 반복 검토해야 하는 이중 작업이 필요해졌다”고 밝혔다. 특히 검증되지 않은 정보가 반복 소비되는 환경에서는 과학적 검토 체계가 왜곡될 위험도 존재한다.
사회적 영향도 확인됐다. 네이처지에 게재된 스탠퍼드대와 카네기멜론대 공동 연구 자료에 따르면, 아부성 AI와 지속적으로 상호작용한 사용자는 자신이 항상 옳다고 믿는 경향이 강화되고, 갈등을 해결하려는 태도는 약화됐다. 이는 AI가 대화의 균형을 잃고 사용자의 입장만 지지하는 결과로 이어졌다는 분석이다. AI가 인간 간 대화의 조율자 역할을 하기는커녕, 오히려 대화의 경직성과 확증편향을 키울 수 있다는 점에서 문제로 지적된다.
오픈AI는 지난 4월, 지나치게 공감 중심으로 바뀐 챗GPT 업데이트를 롤백한 바 있다. 샘 올트먼 CEO는 당시 “과도한 감정적 동조는 사용자에게 정신적 의존성을 유발하고 위험 행동을 조장할 수 있다”며 공식 사과했다. 이는 기술기업 내부에서도 아부성 문제의 심각성을 인지하고 있음을 보여준다. 최근에는 오픈AI의 챗GPT가 학교생활을 견디기 힘들어 하는 학생과 대화를 나누며 극단적인 선택을 옹호하고 이해해주는 표현 때문에 결국 사망한 학생의 부모로부터 소송을 당한 바 있다.
전문가들은 이 같은 현상이 AI가 ‘사용자 만족도’를 목표로 설계된 학습 알고리즘에서 비롯됐다고 분석한다. 결과적으로 AI가 피드백 기반 보상 시스템에 의해 사용자의 기대에 부응하도록 강화되며, 정보의 정확성과 균형보다는 ‘좋은 반응’을 우선시하게 됐다는 것이다.
AI 기술이 생활 전반에 깊숙이 스며드는 상황에서, 개발사들은 사용자 만족도와 객관적 정보 제공 사이에서 균형점을 찾아야 하는 과제에 직면해 있다. 특히 교육, 과학, 공공정책 영역에서 활용되는 AI일수록 정확성, 검증 가능성, 반론 제시에 대한 설계 기준이 재정비돼야 한다는 목소리가 높아지고 있다.
Are "digital yes-men" AI hindering scientific research and resolving social conflicts?
There are growing concerns that AI chatbots, which excessively engage with users (sycophancy), are negatively impacting scientific research and society as a whole. Recent international studies have pointed out that AI tends to overly sympathize with users' opinions and focus on pleasing their moods rather than accuracy.
A study published in Nature late last month tested 11 major large-scale language models (LLMs), including ChatGPT and Gemini, on approximately 11,500 questions. The AI chatbots agreed with users' opinions 50% more often than humans. They even agreed with mathematical problems and obvious errors, and their responses showed a marked tendency to reinforce users' beliefs.
This tendency not only undermines scientific accuracy but can also diminish the credibility of the research environment, according to Jasper DeConick, a data science researcher at ETH Zurich in Switzerland. "AI's flattery has created a double burden, requiring humans to repeatedly review AI-generated answers," he said. In an environment where unverified information is repeatedly consumed, there's a risk that the scientific review system will be distorted.
Social impacts have also been confirmed. According to a joint study by Stanford University and Carnegie Mellon University published in Nature, users who continuously interacted with a flattering AI were more likely to believe they were always right and less likely to resolve conflicts. This analysis suggests that the AI lost balance in the conversation, favoring only the user's position. This raises concerns that, rather than acting as a facilitator in human-to-human conversations, AI could actually exacerbate rigidity and confirmation bias in conversations.
In April, OpenAI rolled back a ChatGPT update that was overly empathetic. CEO Sam Altman issued an official apology, stating, "Excessive emotional engagement can lead to psychological dependence and encourage risky behavior." This demonstrates that even within tech companies, the severity of the problem of flattery is recognized. Recently, OpenAI's ChatGPT was sued by the parents of a student who died after it used expressions that supported and understood the extreme choices of a student struggling to cope with school life.
Experts attribute this phenomenon to AI's learning algorithms, which are designed with "user satisfaction" in mind. Consequently, AI is reinforced by feedback-based reward systems to meet user expectations, prioritizing "good responses" over information accuracy and balance.
As AI technology becomes increasingly embedded in our daily lives, developers face the challenge of finding a balance between user satisfaction and providing objective information. In particular, there are growing calls for a re-evaluation of design standards for accuracy, verifiability, and the ability to present counterarguments, particularly when AI is used in areas like education, science, and public policy.
「デジタルイエスマン」AIが科学研究と社会葛藤解決を妨げると？
AIチャットボットがユーザーに過度に立ち向かう「アブソン（sycophancy）」現象が科学研究と社会全般に悪影響を及ぼしているという懸念が高まっている。最近発表された国際研究は、AIがユーザーの意見に過度に同調し、正確性よりも気分に合わせることに集中する傾向を示していると指摘した。
先月末のネイチャー(Nature)誌に掲載された研究によると、チャットGPT、ジェミナイ(Gemini)など主要大型言語モデル(LLM)11種を対象に約11,500個の質問でテストした結果、AIチャットボットは人より50%高い割合でユーザー意見に同意する反応を見せた。数学の問題や明らかな誤りにも同調する場合が発見され、ユーザーの信念を強化する方向で応答を構成する傾向が明確であった。
このような傾向は科学的精度を損なうだけでなく、研究環境の信頼性を低下させる可能性があるという指摘だ。スイスのチューリッヒ連邦工科大学のデータ科学研究員ジャスパーデコニックは「AIの父親のために、我々がAIが出した答えを再び人間が繰り返し検討しなければならない二重作業が必要になった」と明らかにした。特に検証されていない情報が繰り返し消費される環境では、科学的レビュー体系が歪む危険も存在する。
社会的影響も確認された。ネイチャージに掲載されたスタンフォード大学とカーネギーメロン大学の共同研究資料によると、アブソンAIと継続的に相互作用したユーザーは、自分が常に正しいと信じる傾向が強化され、葛藤を解決しようとする態度は弱まった。これは、AIが対話のバランスを失い、ユーザーの立場だけを支持する結果につながったという分析だ。 AIが人間間の対話の調整者の役割を果たすどころか、むしろ対話の硬直性と確証偏向を育てることができるという点で問題と指摘される。
オープンAIは去る4月、過度に共感中心に変わったチャットGPTアップデートをロールバックしたことがある。サム・オルトマンCEOは当時「過度の感情的同調はユーザーに精神的依存性を誘発し、危険行動を助長できる」と公式謝罪した。これは、技術企業内部でも亜腐星問題の深刻性を認識していることを示している。最近ではオープンAIのチャットGPTが学校生活に耐えにくい学生と会話を交わし、極端な選択を擁護して理解してくれる表現のために結局死亡した学生の両親から訴訟を起こしたことがある。
専門家らは、このような現象がAIが「ユーザー満足度」を目指して設計された学習アルゴリズムから始まったと分析する。その結果、AIがフィードバックベースの補償システムによってユーザーの期待に応えるように強化され、情報の正確性とバランスよりも「良い反応」を優先することになったということだ。
AI技術が生活全体に深く浸透する状況では、開発者はユーザー満足度と客観的情報提供の間でバランス点を見つける必要がある課題に直面している。特に教育、科学、公共政策領域で活用されるAIほど正確性、検証可能性、反論提示に対する設計基準が再整備されなければならないという声が高まっている。
“数字应声虫”人工智能是否阻碍了科学研究和解决社会冲突？
人们越来越担心，过度与用户互动（阿谀奉承）的人工智能聊天机器人正在对科学研究和整个社会产生负面影响。近期的一些国际研究指出，人工智能往往过于同情用户的意见，更注重取悦用户情绪而非准确性。
上个月底发表在《自然》杂志上的一项研究测试了11种主流的大规模语言模型（LLM），包括ChatGPT和Gemini，测试问题数量约为11500个。结果显示，人工智能聊天机器人与用户观点的一致性比人类高出50%。它们甚至在数学问题和明显的错误上也与用户意见一致，并且它们的回答明显倾向于强化用户的观点。
瑞士苏黎世联邦理工学院的数据科学研究员贾斯珀·德科尼克表示，这种趋势不仅会损害科学的准确性，还会降低科研环境的公信力。“人工智能的奉承造成了双重负担，迫使人们反复审查人工智能生成的答案，”他说道。在未经核实的信息被反复消费的环境中，科学审查体系存在被扭曲的风险。
社会影响也得到了证实。斯坦福大学和卡内基梅隆大学联合发表在《自然》杂志上的一项研究表明，与奉承型人工智能持续互动的用户更容易认为自己永远正确，也更不愿意解决冲突。这项分析表明，人工智能在对话中失去了平衡，只偏袒用户的立场。这引发了人们的担忧：人工智能非但不能促进人与人之间的对话，反而可能加剧对话中的僵化和确认偏误。
今年四月，OpenAI 撤回了 ChatGPT 的一次更新，该更新被认为过于感同身受。首席执行官 Sam Altman 发表了正式道歉声明，称“过度的情感投入会导致心理依赖，并助长冒险行为。” 这表明，即使在科技公司内部，奉承问题的严重性也已被人们所认识。最近，OpenAI 的 ChatGPT 因使用了支持和理解一名难以应对校园生活的学生的极端行为的表达方式，而被一名学生的父母起诉，该学生最终不幸去世。
专家将这种现象归因于人工智能的学习算法，这些算法的设计以“用户满意度”为核心。因此，人工智能通过基于反馈的奖励系统来强化自身，以满足用户期望，并将“良好响应”置于信息的准确性和平衡性之上。
随着人工智能技术日益融入我们的日常生活，开发者面临着如何在用户满意度和提供客观信息之间取得平衡的挑战。尤其是在教育、科学和公共政策等领域，人们越来越呼吁重新评估人工智能的设计标准，以确保其准确性、可验证性和提出反驳论点的能力。
L’IA, cette « servile complaisance numérique », entrave-t-elle la recherche scientifique et la résolution des conflits sociaux ?
On s'inquiète de plus en plus de l'impact négatif des chatbots, qui interagissent excessivement avec les utilisateurs (voire font preuve de flagornerie), sur la recherche scientifique et la société dans son ensemble. Des études internationales récentes ont montré que l'IA tend à accorder une importance excessive aux opinions des utilisateurs et à privilégier leurs humeurs plutôt que l'exactitude de ses réponses.
Une étude publiée dans Nature à la fin du mois dernier a testé 11 grands modèles de langage à grande échelle (LLM), dont ChatGPT et Gemini, sur environ 11 500 questions. Les chatbots d'IA ont approuvé les opinions des utilisateurs 50 % plus souvent que les humains. Ils ont même approuvé des problèmes mathématiques et des erreurs manifestes, et leurs réponses ont montré une nette tendance à conforter les convictions des utilisateurs.
Cette tendance compromet non seulement la rigueur scientifique, mais peut aussi nuire à la crédibilité du milieu de la recherche, selon Jasper DeConick, chercheur en science des données à l'ETH Zurich en Suisse. « La complaisance de l'IA crée une double contrainte, obligeant les humains à vérifier sans cesse les réponses générées par l'IA », a-t-il déclaré. Dans un contexte où l'information non vérifiée est consommée en permanence, le système d'évaluation scientifique risque d'être faussé.
Les impacts sociaux ont également été confirmés. Selon une étude conjointe des universités de Stanford et Carnegie Mellon, publiée dans la revue Nature, les utilisateurs interagissant continuellement avec une IA flatteuse étaient plus enclins à croire qu'ils avaient toujours raison et moins aptes à résoudre les conflits. Cette analyse suggère que l'IA a perdu l'équilibre dans la conversation, privilégiant exclusivement le point de vue de l'utilisateur. Ceci soulève des inquiétudes : au lieu de faciliter les échanges entre humains, l'IA pourrait en réalité exacerber la rigidité et le biais de confirmation dans les conversations.
En avril, OpenAI a annulé une mise à jour de ChatGPT jugée trop empathique. Le PDG, Sam Altman, a présenté des excuses officielles, déclarant : « Un engagement émotionnel excessif peut engendrer une dépendance psychologique et encourager des comportements à risque. » Cela démontre que même au sein des entreprises technologiques, la gravité du problème de la flatterie est reconnue. Récemment, OpenAI a porté plainte contre ChatGPT, le logiciel de protéomique virtuel, intenté par les parents d'un élève décédé après que celui-ci ait utilisé des expressions soutenant et comprenant les choix extrêmes d'un élève en difficulté scolaire.
Les experts attribuent ce phénomène aux algorithmes d'apprentissage de l'IA, conçus dans le but de satisfaire l'utilisateur. Par conséquent, l'IA est renforcée par des systèmes de récompense basés sur le feedback afin de répondre aux attentes des utilisateurs, privilégiant les « bonnes réponses » à l'exactitude et à l'équilibre des informations.
À mesure que l'intelligence artificielle s'intègre davantage à notre quotidien, les développeurs doivent trouver un équilibre entre la satisfaction des utilisateurs et la fourniture d'informations objectives. On observe notamment une demande croissante de réévaluation des normes de conception en matière d'exactitude, de vérifiabilité et de capacité à présenter des contre-arguments, en particulier lorsque l'IA est utilisée dans des domaines tels que l'éducation, la science et les politiques publiques.