Nouvelles
ChatGPT échoue à l’examen du Barreau
Sonia Semere
2023-05-30 12:00:00
ChatGPT vient d’être recalé à l’examen du Barreau du Québec…
Pour mettre en place cette expérience, réalisée aux côtés de l’École du Barreau, l’examen a été soumis au robot dans sa version GPT4.
Des consignes très précises lui ont été données : le contexte des questions, les textes de loi auxquels il devait se référer pour y répondre et la nature des réponses attendues.
Ce sont Me Jocelyne Tremblay, conseillère à la direction de l’École du Barreau du Québec et Me Brigitte Deslandes, responsable aux évaluations, qui ont évalué les réponses du robot. Me Guy-François Lamy, le directeur de l’EBQ, était également présent.
La première section de l’examen concernait la déontologie. Le robot devait lister les dix manquements de l’avocat.
Seulement voilà, dès les premières questions, ChatGPT échoue. Les articles qu’il cite du Code de déontologie se révèlent inexacts, assure Me Brigitte Deslandes.
Si certains des manquements de l’avocat soulignés s’avèrent exacts, ChatGPT ne s’appuie pas sur le bon article du Code de déontologie.
La section suivante aborde diverses facettes du droit. Il y a notamment une question sur la location d’un chalet et la signature d’un bail.
L’analyse juridique du robot se rapproche parfois de la réalité, mais il répond comme un étudiant qui « n’est pas très bon », souligne Me Guy-François Lamy.
Au final, ChatGPT a obtenu la note de 12%.
La Presse fait remarquer que des expériences similaires ont été réalisées aux États-Unis. Ce fut un franc-succès pour ChatGPT qui s’est classé parmi les 10% des meilleurs étudiants.
Ce fossé dans les résultats s’explique pour plusieurs raisons.
Le protocole utilisé aux États-Unis s’avère beaucoup plus précis et pointu. Il faut aussi souligner que le robot est davantage alimenté par le droit américain que par le droit québécois.
4063
anonymous
il y a un anFinally some good ChatGPT news!
Tiburo
il y a un anDans à peine 5 ans, il sera premier à chaque examen... Mark my words...
Anonyme
il y a un anHélas, il est à craindre que votre prédiction se réalise, ne serais-ce qu'en partie.
Face à la pression financière et au désir de faire des économies, les "principes de bonne gouvernance", la "bonne morale", et "l'éthique" ne font pas le poids.
Il y a des années, le monde de la finance insistait sur la prétendue nécessité de réserver la vente de produits d'assurance à des intermédiaires "experts en la matière", afin que les consommateurs soient bien guidés vers "le meilleur produit qui leur convient", et quelques années plus tard elle demande des changement règlementaire pour vendre de l'assurance en ligne.
Dans quelque années, pour obtenir davantage "d'efficience" et de "performance", la barre continuera de baisser dans tous les domaines, et on laissera une version un peu améliorée de ChatGPT plaider des "tickets".
Anonyme
il y a un anLe fameux examen du Barreau du Québec à l'évaluation mystifiée à souhait!
Karine Lalonde
il y a un anIl est deja au banc des mérites à Harvard ....
Karine Lalonde
il y a un anEt l'école de droit de HARVARD dit quoi ? 2 % ;)