Avec l’essor fulgurant de l’intelligence artificielle (IA) générative, les chatbots comme ChatGPT, Gemini ou Claude sont devenus des outils essentiels dans le quotidien de nombreux professionnels et curieux. Cependant, une nouvelle étude universitaire soulève une alerte préoccupante : les modèles de langage ont tendance à commettre davantage d’erreurs lorsqu’on leur demande de produire des réponses courtes.
Cette découverte, issue d’une analyse systématique menée par des chercheurs de l’Université de Washington, de l’Université Carnegie Mellon et de l’Allen Institute for AI (AI2), révèle un paradoxe intrigant dans la conception et l’utilisation de ces systèmes. Plus on leur demande de “résumer” ou “faire court”, plus la probabilité d’“hallucinations” – c’est-à-dire de réponses incorrectes – augmente.
L’étude : pourquoi les réponses brèves induisent plus d’erreurs
L’étude s’est basée sur l’analyse de plus de 250 000 réponses générées par divers modèles d’IA (dont GPT-3.5, GPT-4, Claude et Gemini) dans plusieurs tâches de questions-réponses. La méthode était simple mais efficace : comparer le taux d’erreurs entre les réponses complètes et les réponses volontairement abrégées, soit via une limite de mots, soit par des instructions de concision.
Les résultats sont sans appel. Pour les modèles les plus récents et les plus puissants, le taux d’erreurs augmentait significativement dans les versions courtes. Dans certains cas, le nombre d’erreurs doublait. La raison ? En cherchant à “condensationner” l’information, les modèles finissent par omettre des nuances cruciales ou extrapoler des faits absents de leurs données d’entraînement.
Un exemple cité par les chercheurs concerne une question de sciences : “Qu’est-ce que l’électrolyse ?”. Lorsqu’on a demandé au modèle d’être bref, il a donné une définition erronée, confondant des concepts et omettant des éléments clés de l’explication scientifique.
Pourquoi cela se produit-il ? Les limites structurelles des LLMs
Les modèles de langage de grande taille (LLMs) ne possèdent ni conscience ni compréhension réelle. Ils prédisent des mots sur la base de motifs statistiques appris à partir d’énormes corpus de textes. Lorsqu’on leur laisse de l’espace pour développer une réponse complète, ils peuvent contextualiser davantage. Mais quand on leur demande d’être concis, le modèle se retrouve face à un dilemme : couper sans perdre la vérité — une tâche qui requiert un jugement que l’IA ne possède pas.
Être concis, c’est sélectionner l’essentiel. Or, pour un modèle qui ne comprend pas ce qui est “essentiel” dans un sens humain ou conceptuel, cet exercice devient risqué. Il peut supprimer précisément l’élément qui justifiait une affirmation ou combiner des morceaux de phrases mal assortis.
De plus, de nombreux modèles sont entraînés pour satisfaire l’utilisateur — autrement dit, produire une réponse qui semble fiable, même si elle est fausse. Cela renforce le risque d’hallucinations, surtout lorsque l’espace de réponse est restreint.
Conséquences pour un usage quotidien et professionnel
Ce phénomène doit être pris au sérieux, surtout par les journalistes, développeurs, étudiants et professionnels qui utilisent l’IA pour obtenir des résumés rapides, des réponses directes ou des explications synthétiques. La tentation de demander “en quelques mots”, “résume en une phrase” ou “sois bref” peut nuire à la fiabilité de l’information.
Pour ceux qui utilisent l’IA comme outil d’aide à l’écriture ou à la recherche, la recommandation est claire : privilégiez les réponses détaillées et, dans la mesure du possible, vérifiez les informations auprès de sources indépendantes. L’IA peut être un excellent point de départ, mais elle ne doit pas être votre seule référence.
Solutions et pistes à explorer
Les chercheurs suggèrent que les développeurs intègrent des alertes dans les modèles, signalant que la précision peut être compromise lorsqu’une réponse est écourtée. Une autre proposition consiste à créer un “mode réponse sûre”, dans lequel l’IA privilégie la précision, même au détriment de la concision.
Côté utilisateur, la prise de conscience est essentielle. Comprendre comment fonctionne l’IA (et où elle échoue) est indispensable pour l’utiliser de manière responsable. On peut également envisager l’usage d’outils complémentaires, comme des vérificateurs de faits ou des systèmes de citation automatique, pour retracer l’origine des informations.
Plus de contexte, moins d’erreurs
La popularité des chatbots d’IA est justifiée, mais elle doit s’accompagner d’un regard critique permanent. Cette étude montre que, malgré les avancées, la façon dont nous formulons nos requêtes à l’IA influence directement la qualité des réponses.
La prochaine fois que vous utilisez un chatbot, pensez à laisser à l’IA un peu plus d’espace pour s’exprimer. Parfois, quelques phrases de plus peuvent faire toute la différence entre une vérité fiable et une hallucination persuasive.
