Ich glaube, das Problem ist einfach, dass die Teile schlauer wirken, wenn sie das bestätigen, was man sagt. Ähnlich zum Confirmation Bias interpretiert man sehr gerne weitere Infos in die hohlen Phrasen hinein, wenn es eben zu dem passt, was man selbst glaubt. Wenn das LLM widersprechen würde, dann müsste man sehr viel genauer darüber nachdenken, wie die Argumentation schlüssig ist, und würde dann eben auch recht schnell entdecken, dass keine logische Überlegung hinter der Aussage steht.

Aber ja, ich glaube auch, dass das langfristig eher die Beliebtheit der LLMs schmälern wird. Bei Menschen hört man ja auch früher oder später auf, die Ja-Sager zu fragen, weil die einem einfach nichts neues sagen.