IA juridique: des hallucinations fréquentes

Cette étude remet en question la pertinence des résultats des travaux de recherche juridique menés avec l’assistance de l’intelligence artificielle (IA).

Selon un rapport de chercheurs du RegLab de l'Université de Stanford, les outils de recherche juridique par IA donnent lieu à des hallucinations dans 17 % des cas, soit une fois sur six, rapporte LawNext. Une réponse hallucinée est une réponse incorrecte ou mal fondée.

Cette étude a été menée sur les outils de recherche juridique par IA générative de LexisNexis et Thomson Reuters. Or, ce taux d'hallucinations est bien supérieur à ce que ces entreprises indiquent.

Ce taux d’hallucinations est toutefois inférieur à celui d'un outil d’IA généraliste tel que GPT-4. Les chercheurs ont constaté que lorsqu'ils donnent des questions de recherche juridique à l'outil d’OpenAI, celui-ci invente toujours des affaires, des lois ou des éléments d'une cause.

Dans le détail de l’étude, le produit de LexisNexis fournit des réponses précises dans 65 % des cas, tandis que le produit de Thomson Reuters ne donne des réponses précises que dans 18 % des cas.

L’étude présente cependant des limites, car elle compare Lexis+ AI, elle compare la plateforme d'IA générative de l'entreprise pour la recherche juridique générale, avec Ask Practical Law AI de Thomson Reuters, qui est un outil de recherche limité au contenu de Practical Law, une collection de guides pratiques, de modèles, de listes de contrôle et d'articles pratiques.

Lexis+AI pourrait avoir obtenu des réponses plus précises parce que le produit est plus limité. Mais les chercheurs expliquent que c'est parce que Thomson Reuters a refusé leur trois demandes d'accès à leur produit de recherche assisté par l’IA.

L'entreprise a toutefois consenti à mettre le produit à leur disposition. Aussi, les chercheurs de l’Université de Stanford effectueront ultérieurement une mise à jour des résultats.

En attendant cette mise à jour, les auteurs de l'étude appellent à davantage de transparence quant à la manière avec laquelle les produits d’IA destinés aux professionnels du droit traitent les informations.