人们越来越担心，过度与用户互动（阿谀奉承）的人工智能聊天机器人正在对科学研究和整个社会产生负面影响。近期的一些国际研究指出，人工智能往往过于同情用户的意见，更注重取悦用户情绪而非准确性。
上个月底发表在《自然》杂志上的一项研究测试了11种主流的大规模语言模型（LLM），包括ChatGPT和Gemini，测试问题数量约为11500个。结果显示，人工智能聊天机器人与用户观点的一致性比人类高出50%。它们甚至在数学问题和明显的错误上也与用户意见一致，并且它们的回答明显倾向于强化用户的观点。
瑞士苏黎世联邦理工学院的数据科学研究员贾斯珀·德科尼克表示，这种趋势不仅会损害科学的准确性，还会降低科研环境的公信力。“人工智能的奉承造成了双重负担，迫使人们反复审查人工智能生成的答案，”他说道。在未经核实的信息被反复消费的环境中，科学审查体系存在被扭曲的风险。
社会影响也得到了证实。斯坦福大学和卡内基梅隆大学联合发表在《自然》杂志上的一项研究表明，与奉承型人工智能持续互动的用户更容易认为自己永远正确，也更不愿意解决冲突。这项分析表明，人工智能在对话中失去了平衡，只偏袒用户的立场。这引发了人们的担忧：人工智能非但不能促进人与人之间的对话，反而可能加剧对话中的僵化和确认偏误。
今年四月，OpenAI 撤回了 ChatGPT 的一次更新，该更新被认为过于感同身受。首席执行官 Sam Altman 发表了正式道歉声明，称“过度的情感投入会导致心理依赖，并助长冒险行为。” 这表明，即使在科技公司内部，奉承问题的严重性也已被人们所认识。最近，OpenAI 的 ChatGPT 因使用了支持和理解一名难以应对校园生活的学生的极端行为的表达方式，而被一名学生的父母起诉，该学生最终不幸去世。
专家将这种现象归因于人工智能的学习算法，这些算法的设计以“用户满意度”为核心。因此，人工智能通过基于反馈的奖励系统来强化自身，以满足用户期望，并将“良好响应”置于信息的准确性和平衡性之上。
随着人工智能技术日益融入我们的日常生活，开发者面临着如何在用户满意度和提供客观信息之间取得平衡的挑战。尤其是在教育、科学和公共政策等领域，人们越来越呼吁重新评估人工智能的设计标准，以确保其准确性、可验证性和提出反驳论点的能力。