Les jeunes ont-ils raison de faire confiance à ChatGPT ?

La réponse d’un vieux

Pour les interlocuteurs du professeur de droit Christophe Jamin, tout est déjà joué en faveur de ChatGPT et les étudiants en droit devraient surtout savoir prompter [1].

Là serait le rêve vendu par les plus extrêmes dans les GAFAMOM [2] et relayé par certaines licornes de la transformation numérique : savoir répondre sans lire, apprendre ni comprendre.

De l’autre côté, on trouve un sondage réalisé sur le campus de Harvard selon lequel 65 % des études ont utilisé ou prévoient d’utiliser des chatbots d’IA générative pour leurs travaux universitaires, même si la plupart des répondants (65 %) ne considèrent pas que leurs résultats sont suffisamment fiables pour des travaux universitaires. Les résultats montrent que les étudiants utilisent activement ces outils, mais qu’ils ont besoin de conseils pour les utiliser efficacement [3].

Alors, les étudiants ont-ils raison de parier sur ChatGPT ?

Mon avis

Je suis l’IA juridique et écris dessus depuis 2017. Voici mon avis — pour ce qu’il vaut.

OK, ChatGPT est un outil de productivité, c’est vrai mais même comme tel, il est aussi limité. Ses résumés, par exemple, ne me sont utiles qu’une fois sur trois, grand maximum.

Si vous ne voulez pas vous faire enfler — euh pardon influencer — il ne faut pas mettre tous vos oeufs dans le même panier. Pareil si vous voulez apprendre à raisonner (pour aller plus loin que l’IA).

Voici pourquoi.

Les (grosses) limites de l’IA générative (ChatGPT etc.)

– Certes, comme tout billet d’humeur, celui du professeur Jamin au JCP G est caricatural. Mais en partie seulement, car comme on va le voir infra, ChatGPT s’est amélioré en droit français en un an.

– Certes, la version de ChatGPT gratuite et par défaut (GPT-3.5 en fait) a visiblement été réentraînée et a progressé en droit français depuis début 2023. Il n’invente plus d’articles de Code. Quand on lui demande les bases légales de sa réponse à la question "Quelles sont les conditions de renonciation à l’exercice d’un droit ?", il répond sans hallucination.

– Certes, il est nécessaire de savoir "prompter" (i.e. donner des instructions avec un LLM) pour augmenter les performances des IAGen et limiter leurs erreurs [4]. Notamment, en droit :

• donner comme à un gosse de 5 ans tous les détails et tout le contexte
• COT (Chain-Of-Thought prompting, i.e. "Réfléchis étape par étape")
• "Avant de répondre, pose-moi toutes les questions utiles pour améliorer ta réponse".

– Mais comparez donc :

• les réponses de ChatGPT
• avec la définition de Renonciation dans le Dictionnaire de droit privé de Serge Braudo.

On constate ainsi, entre autres, que :

• ChatGPT oublie de rappeler qu’on ne peut renoncer qu’à un droit né et actuel
• parmi les bases légales, ChatGPT oublie d’en citer de nombreuses. Quand Braudo oublie de citer juste l’article 16-1. C. civ — mais il cite les anciens numéros des articles du Code civil (pas mis à jour).

C’est là un problème classique des IAG : l’absence d’exhaustivité/complétude, un des deux types d’erreurs principaux des LLM avec l’hallucination (affirmation factuellement fausse).

Et il vaut mieux que je ne fasse pas de test comparatif en droit des affaires ni ne pose de questions d’un certain niveau.

C’est le niveau professionnel qui fait la différence entre d’un coté IAGen et de l’autre plateformes en ligne des éditeurs ou publications en accès libre des professionnels.

– Libre aux jeunes de consulter ChatGPT pour "gagner du temps" — comme ils disent. Mais ils ne retiendront pas grand’ chose dans la matière/question en cause s’ils comptent sur l’IA sans apprendre les bases — ils ne savent généralement même pas comment ces engins fonctionnent. Et surtout, sauf à vraiment apprendre et devenir expert, quand l’engin hallucinera, ils ne le sauront pas. Il ne s’en douteront même pas. S’ils fondent leur savoir sur la seule IA, eux-mêmes en tant que cols blancs n’offriront pas grande supériorité sur l’IA générative. Comment donc alors justifieront-ils leur embauche, leur rémunération ?

Trois questions

– Il y a trois questions dont les réponses permettraient de dire si à long terme les jeunes dont parle Christophe Jamin ont raison d’entièrement faire confiance aux IA et donc mettre leur futur entre leurs mains. Je n’ai évidemment pas ces réponses :

• a. les éditeurs techniques — comme le fait la presse en ce moment — vont-ils à terme vendre ou se faire "voler" (ne pas oublier Sci-Hub) tous leurs contenus aux GAFAMOM ? Si oui, ces jeunes auront eu largement raison in fine.

• b. la propriété intellectuelle et son application vont-elles être renforcées pour empêcher la faillite à terme d’une partie du secteur de l’information et du savoir et la mise au rebut d’une partie des cols blancs — avec les risques de révolte et de soulèvements qu’implique la perte de revenus et de pouvoir d’une élite industrielle et sociale ? En effet, pour citer Mireille Buydens [5] : « Une œuvre est originale si elle reflète la personnalité de son auteur et manifeste sa libre expression. Une définition obsolète face aux IA génératives, qui y échappent. Cependant, l’IA générative n’est pas seule, elle a besoin d’un être humain pour créer. »

• c. un nouveau type d’IA dépassant l’IA générative (LLM / modèles de langage) et son incapacité à raisonner, faire preuve de bon sens et dire non va-t-il émerger d’ici 5 à 10 ans (le temps que ces jeunes finissent leurs études et entrent dans la vie active) ? Si oui, ils auront eu raison à long terme. Et alors je leur souhaite bon courage pour justifier leurs emplois ... et donc leurs rémunérations. Je leur conseillerais donc volontiers de s’engager en politique pour promouvoir le revenu universel (dit aussi revenu de base ou allocation universelle) par exemple dans le MFRB fondé entre autres par Christine Boutin. Et pour faire en sorte que ce revenu universel ne soit pas une aumône humiliante d’abord destinée à (tenter de) faire tenir tranquilles les populations.

Just my 2 cents.

Emmanuel Barthe
documentaliste juridique, vulgarisateur sur l’IA juridique

PS : je m’attends à ce que cette prise de position fasse controverse. Les commentaires sont ouverts. Vous pouvez aussi vous exprimer sur Twitter mais 48h après, c’est oublié. Ici, ça reste.