Authors
Benjamin Vendeville
Liana Ermakova
Pierre De Loor
Jaap Kamps
Date (dd-mm-yyyy)
2026-06-01
Title
MIRAGE : une bibliothèque de métriques pour évaluer les hallucinations dans les textes générés
Publication Year
2026-06-01
Number of pages
1
Publisher
Nantes, FranceAssociation pour le traitement automatique des langues
Document type
Conference contribution
Abstract
Les erreurs dans la génération de langage naturel, appelées hallucinations, restent un défi majeur dans des domaines tels que la santé ou la communication scientifique. Si plusieurs métriques ont été proposées pour les détecter, comme FactCC, QAGS, FEQA et FactAcc, elles sont souvent indisponibles, difficiles à reproduire ou incompatibles avec les workflows modernes. Nous présentons MIRAGE, une bibliothèque Python open-source qui réimplémente ces métriques au sein d'un cadre unifié construit sur Hugging Face, offrant modularité, reproductibilité et entrées/sorties standardisées. En adhérant aux principes FAIR, MIRAGE accélère l'expérimentation et soutient le développement de futures métriques. Nous le validons en réévaluant les métriques existantes sur des jeux de données de référence, démontrant des performances comparables avec une meilleure transparence.
Permalink
https://hdl.handle.net/11245.1/c1148693-f973-4ff7-831a-da10f5c42798