GPT et les documentalistes - Ou que faire avec ChatGPT, Bing Chat et Perplexity.ai ?
Les fonctionnalités documentaires des IA génératives
Par un article marquant publié en novembre 2021 (Les technologies du faux : un état des lieux), le formateur et consultant en veille stratégique Christophe Deschamps (Outils froids) a été en France un des premiers à informer sur les IA génératives, notamment en nous avertissant des performances des GAN (generative adversarial networks) qui fabriquent des photos de visages de personnes qui n’existent pas.
Christophe a publié depuis 2023 une série de billets sur les utilisations de ChatGPT pour la veille, valables aussi pour la recherche documentaire et intitulée à l’origine Ce que ChatGPT fait à la veille. NB : ce qui suit vaut très largement pour Microsoft Copilot (ex-Bing Chat) aussi.
L’idée avec les IA génératives est : « S’il te plaît, mâche-moi le travail (mais il faudra que je vérifie derrière) ». Infra les idées de Christophe et d’autres, plus les nôtres. Mais lâchez donc les rênes à votre imagination ! On peut demander à peu près tout à ChatGPT (et Bing Chat aussi), comme s’amuse à le mentionner Olivier Ertzscheid, maître de conférences en sciences de l’information et auteur du fameux blog Affordance [1].
ChatGPT peut répondre à des questions, trouver des idées de contenu pour réseaux sociaux, rédiger un mail assez standard [2] ou une dissertation [3], tout le monde le sait, mais le résultat n’est pas fiable à 100 ni même à 99%. De plus, il est souvent non ou mal sourcé. Bref, en documentation / veille / sciences de l’information, ça nous impose pas mal de vigilance.
Avertissement : lâchez les rênes aussi à votre méfiance et vérifiez bien, les erreurs de cette IA sont légion et bien cachées.
NB : la version gratuite de ChatGPT tourne sur sur GPT-4o comme la version payante mais son usage peut être est restreint, elle ne cite pas ses sources et peut être lente. Soyez prêts :
- à sortir 20 dollars US par mois pour la version payante nommée ChatGPT Plus : elle permet d’accéder à des meilleures performances et aux Custon GPTs, et surtout elle permet l’upload de documents et elle cite ses sources
- ou à utiliser Bing Chat (qu’on appelle aussi Bing AI), qui est meilleur que la version gratuite de ChatGPT, notamment parce qu’il a accès à l’Internet actuel (Bing Chat peut donc citer ses sources).
Je ne recommande pas Perplexity : ils pillent la propriété intellectuelle des autres sites, notamment la presse [4], et citent des blogs désinformateurs créés par des IA [5].
Sommaire :
1. Les usages/fonctionnalités de ChatGPT utiles pour les documentalistes :
- utiliser le prompt pour diriger l’IA
- aider une recherche
- résumer / synthétiser
- rechercher remplacer élaboré / pseudonymiser / anonymiser
- expliquer, reformuler
- donner un plan détaillé
- fournir une analyse forces / faiblesses
- fournir mots-clés, champ lexical et listes pour un domaine
- rédiger votre requête booléenne détaillée
- extraire des données de la littérature scientifique
- autres usages : reformatage de données, pensée latérale ...
- outils et plugins pour ChatGPT
2. Perplexity.ai cite ses sources
3. Détecter une production d’IA générative
4. Tester les IA génératives
1. Les usages/fonctionnalités de ChatGPT utiles pour les documentalistes
– Utiliser le prompt pour diriger l’IA
C’est un préalable à notre avis. Il faut d’abord apprendre à "s’adresser" à ChatGPT. Il y a un vocabulaire, une façon d’écrire à adopter, comme pour les IA génératives d’images (Midjourney, DALL.E, Stability.ai ...).
Comme le dit Christophe, « on peut diriger [ChatGPT] en lui indiquant des axes sur lesquels il doit insister. L’ère du prompt, c’est à dire [l’art] de poser efficacement des questions, arrive. » [6]
Le prompt, ce sont les instructions que vous donnez à ChatGPT. Ou autrement dit, à la fois les critères de "recherche" (ce n’est pas une vraie recherche mais une génération) et le paramétrage de celle-ci.
Sur ce sujet clé du prompt, il existe déjà quantité de pages web recensant ou proposant des prompts pour ci, des prompts pour ça. Une simple recherche Google vous donnera des idées, que vous pourrez adapter. C’est particulièrement utile en matière d’image (DALL.E, Midjourney, Stable Diffusion), mais aussi en matière de texte (GPT et ses dérivés).
Pour commencer, vous pouvez utiliser :
- cet article du Blog du Modérateur, court mais bien rédigé : ChatGPT : notre guide pour créer les meilleurs prompts, 17 avril 2023
- ce bref tutoriel très bien fait et qui permet d’être opérationnel quasi-immédiatement : L’art du « Prompt » : Guide 101 pour les personnes enseignantes, par Fabien Maurin, chef du marché canadien chez Wooclap, mentor de startup et enseignant, UQAM, 24 mars 2023
- ce cours gratuit de "promting" : Learn Prompting. Puis lisez Methods of prompt programming. Pour aller (nettement) plus loin, lisez le long billet de Gwern : GPT-3 Creative Fiction, mais attention, il n’est pas orienté vers des buts professionnels.
Ce que j’en retiens :
- OpenAI a énoncé une règle empirique ("rule of thumb") selon laquelle un "token" (jeton) équivaut aux trois quarts d’un mot. Cela permet de convertir rapidement et facilement les limites et coûts des GPT, ceux-ci s’exprimant généralement en tokens. Or, GPT 3.5 limitait la "context window" (les questions et données en entrée des utilisateurs ("input") et les "réponses" de ChatGPT ("output")) à 4 097 tokens. Selon OpenAI, cela équivalait donc à environ 3 000 mots. Toutefois, les tests réalisés par Make Use Of ne leur ont jamais permis d’approcher ces limites [7]. En pratique, ChatGPT semblait en 2023 imposer une limite d’environ 500 mots ou 4 000 caractères — j’ai pu le vérifier par moi-même. Cette limite théorique de 4096 mais réelle de 500 existe toujours fin 2024 [8]. On peut la contourner de deux manières principalement :
- avec un prompt "Continue" ou "Reprend à partir de [mots auxquels il s’est arrêté]"
- demander d’abord à ChatGPT de produire un plan ou une liste de points puis réutiliser chaque partie/point pour demander une rédaction sur celle-ci puis les concaténer
- soyez précis, comme si ChatGPT était un gamin de 5 ans. Donnez lui le contexte, explicitez ce qui vous semble évident. Par exemple, si ChatGPT reçoit pour instruction « Ecris un essai de 10 paragraphes sur les [ou la] lois [loi] de privatisation de 1986 », sa réponse porte sur les privatisations en Grande-Bretagne sous Margaret Thatcher, alors que l’année 1986 et la langue française utilisée aurait dû orienter l’application vers la loi de privatisation du 2 juillet 1986, ce que Google, entre parenthèses, "comprend" sans problème. Singulier ou pluriel (il y eut une seule loi de privatisation en 1986 en France), rien n’y change tant qu’on ne lui précise pas « la loi française ». Et même alors, il fait en réalité référence aux privatisations de Thatcher [9].
Profitez de ce que ChatGPT mémorise ce que vous lui avez dit dans un même fil pour ajouter ce que vous avez oublié de lui demander ou préciser vos besoins de manière progressive - n’en faites pas une tartine pour autant
- si vous voulez un format de sortie, comme une liste à puces ou un tableau, pareil : dites le à ChatGPT, soyez précis et explicite. L’idéal est de lui donner un exemple de ce format
- le "role prompting" ne marche plus aussi facilement ni aussi bien qu’avant. Notamment parce qu’il a été beaucoup trop utilisé dans des hacks de ChatGPT fin 2022, début 2023. Préciser à ChatGPT « Tu es un journaliste sportif spécialisé dans les courses hippiques » ne changera rien à ses réponses et ne vous permettra pas d’accéder à des tuyaux pour quasi-tricher au PMU. On peut à la limite reprendre et adapter les Awesome ChatGPT Prompts listés sur GitHub et qui commencent tous par « I want you to act as a ... »
- définir sa cible/son public et son canal de communication. On n’écrit pas pareil pour des enfants, pour le grand public ou pour de sprofessionnels
- le prompt de base doit idéalement comporter :
- un rôle ou un contexte (professionnel, sectoriel et géographique)
- une instruction/tâche
- une question
- des exemples au format exact dans lequel l’"output" est désiré. On peut ainsi écrire le début d’un essai et lui demander d’écrire la suite
- la longueur désirée de la réponse
- la présence d’arguments détaillés (ou pas). Evitez de demander des citations, ChatGPT gratuit est mauvais à ça et en invente souvent. Citer ses sources (liens), c’est pour ChatGPT Plus, Copilot ou Perplexity.
– Aider une recherche
J’ai bien écrit : aider, pas faire. L’IA générative peut participer à une recherche documentaire ou d’informations, mais en aucun cas suffire, seule, à remplir la tâche.
Exemple : Martin Winckler, dans son essai Au pays du mépris. Voyage dans l’arrogance "à la française" [10], cite un écrivain/e qui a « carrément changé de maison d’édition en échange d’une somme considérable et du financement d’un film ». De qui s’agit-il ? Si on passe par Google Search, qu’on formule la question à l’identique ou en la limitant à ses mots-clés, aucun résultat n’y répond. Si en revanche on utilise ChatGPT gratuit ou Perplexity, la réponse est Michel Houellebecq [11]. En revanche, ChatGPT et même le RAG qu’est Perplexity se trompent de date et oublient de préciser que l’écrivain est revenu chez l’éditeur qu’il avait quitté ...
Pour des méthodes et des outils IA en recherche documentaire, voir ces excellents travaux publiés en ligne : L’intelligence artificielle et le bibliothécaire [12]. Et dedans, tout particulièrement, ceci : Comment utiliser l’IA pour effectuer une recherche documentaire ? (PDF, 5 pages).
Cette contribution cite en fin de fichier des outils peu connus et néanmoins novateurs :
- Consensus, dont j’ai déjà parlé ici
- Semantic Scholar
- Elicit
- ResearchRabbit
- et Arxiv Sanity Preserver.
Vous trouverez d’autres outils dans le billet de Christophe Deschamps 15 services de recherche web assistée par IA (janvier 2024) et sa carte mentale Kit de démarrage pour une utilisation quotidienne des modèles de langage.
– Résumer / synthétiser
La fonctionnalité « résumer un article » de ChatGPT est potentiellement très utile. On peut aussi parler de synthèse, mais sans aucune personnalité ni angle ni insistance mis dedans.
Cependant, cette fonctionnalité « résumer » a des limites :
- un texte fourmillant de faits et de chiffres ne sera que peu raccourci
- les points saillants ne seront pas soulignés
- un collègue m’a rapporté des cas d’erreurs dans les résumés. Si ce résumé sert à informer des dirigeants, les conséquences peuvent être très gênantes voire graves
- sur son compte Youtube Science Grad School Coach, Alana Rister, ex-chercheuse en chimie et analyste pour une "edtech", recommande d’ailleurs de ne pas utiliser ChatGPT pour résumer des articles scientifiques (« research articles ») [13]
- des limites spécifiques à ChatGPT :
- le texte doit être fourni (copié-collé) à ChatGPT gratuit. ChatGPT gratuit ne peut pas accéder au texte disponible sur une page web/URL ni uploader un document. (Si vous lui fournissez quand même une URL, il cherche à en "deviner" le contenu par les mots-clés présents dans l’URL. Le résultat est alors maigre voire franchement mauvais)
- la version gratuite de ChatGPT ne peut pas résumer un article très long puisqu’il faut copier-coller l’article dans l’interface de ChatGPT et que la limite évoquée supra va donc jouer (500 mots, soit approximativement 7-8 paragraphes maximum) — même si GPT-3 lui le peut [14], ainsi que les applications développées à partir de GPT-3 (Power Automate ou Summarize par exemple, comme l’évoque Christophe).
Autrement dit : si vous utilisez ChatGPT, pour tout ce qui en ligne, il faut copier-coller le texte et espérer qu’il ne dépasse pas 7 à 8 paragraphes, ce qui est rare. Par ailleurs, je ne suis pas certain que les éditeurs apprécient …
Une fonctionnalité relativement fiable de ChatGPT : synthétiser
– Rechercher remplacer élaboré / Pseudonymiser / Anonymiser
Un exemple tiré du tutoriel Learn Prompting : GPT va remplacer tous les noms de personnes physiques par [NOM].
– Expliquer / Reformuler / Permettre de mieux comprendre
Mushtaq Bilal, de l’Université du Danemark du Sud (SDU), montre qu’on peut utiliser ChatGPT pour comprendre un paragraphe d’article universitaire difficile à lire.
Prenez un article ou un ouvrage scientifique et copiez-collez un passage (pas l’ensemble d’un article, attention, voir plus haut) dans ChatGPT.
Non seulement ChatGPT peut résumer le(s) paragraphe(s) en un langage simple et à la portée du lecteur, mais vous pouvez également lui demander d’élaborer/déveloper si un texte est dense. Vous pouvez aussi lui poser des questions complémentaires. Par exemple, M. Bilal lui demande la signification du mot "téléologie". ChatGPT explique la signification du mot — qui plus est, dans le contexte du passage.
M. Bilal rappelle très justement que si vous voulez poser des questions complexes à ChatGPT, il faut commencer par lui en poser des simples. Formez-le, renforcez ses capacités avant de lui poser des questions complexes.
– Donner un plan détaillé, suggérer les (principaux ...) points d’une intervention ou d’une question
ChatGPT peut, notamment sur un sujet auquel vous ne connaissez rien, vous préparer un plan détaillé d’une intervention. Un (pseudo) article entier, non. OpenAI l’a volontairement limité en cela, car c’est une démo gratuite, mais son frère ainé GPT-3 en est parfaitement capable.
Voir par exemple les suggestions de Mushtaq Bilal [15] M. Bilal montre que ChatGPT peut « créer un plan utile avec des sujets et des sous-thèmes. Il donne une *structure*. N’utilisez pas les titres exacts, bien que dans ce cas, certains soient très utiles. Utilisez cette structure pour commencer à rédiger votre document. Modifiez-la en fonction de vos besoins. » J’ajouterai : « Vérifiez les affimations de ChatGPT. »
Par exemple, sur une question "droit des aides d’Etat en matière de transports : quels sont les points saillants ?", ChatGPT va notamment rappeler la nécessité d’obtenir l’autorisation de la Commission et l’exception des règles de minimis. C’est utile, en tout cas pour un non spécialiste du droit de la concurrence. Mais ChatGPT va aussi citer comme bases légales les articles 107 et 108 du TFUE. Et là, il va falloir vérifier que ce sont bien les bonnes bases légales. Il se trouve que ce sont bien ces articles du TFUE qui fondent le droit des aides d’Etat, mais la vérification est obligatoire car ChatGPT a déjà été pris en flagrant délit de confusion voire d’invention de bases légales.
– Fournir une analyse forces / faiblesses
Sur l’analyse SWOT [16] ou la fourniture de plans détaillés, comme le suggère C. Deschamps, c’est très pratique.
Mais c’est aussi très classique (mainstream, dirons-nous) et parfois redondant. J’ai testé une analyse SWOT (forces et faiblesses, risques et opportunités) sur un sujet que je connais bien (les legaltech en France) ; ça ne m’a rien appris, car je travaille sur le sujet depuis son apparition en France en 1996, mais c’est pratique car ça fait une synthèse opérationnelle correcte (sans plus [17]) et pour une personne débarquant dans la matière, ça peut déjà l’aider et orienter ses recherches ultérieures.
En revanche, attention, cette synthèse n’avait pas un niveau expert car elle traduit l’opinion majoritaire des écrits disponibles dans les fonds (de mauvaise qualité et sur ce sujet soit très "hype"/com’, soit très alarmistes) utilisés pour entraîner ChatGPT (i.e. ça ne comprend pas tout Internet ni les bases de données privées ou payantes).
L’analyse SWOT de ChatGPT sur les legaltech
Connaissant bien les legaltech, j’aurais eu des modifications clés à y apporter. J’aurais par exemple évoqué :
- force : une condition clé du développement des legaltech : l’open data juridique et judiciaire (Légifrance, la loi République numérique, Judilibre etc.)
- et quatre faiblesses :
- la promesse d’open data pour 2025 des jugements de conseils de prud’hommes et des tribunaux de commerce ne sera pas tenue
- la pseudonymisation obligatoire des décisions de justice (RGPD, loi de 2019 ...) qui ralentit l’open data
- le sous-financement de la Justice — et le manque criant de moyens des greffes qui en découle (les greffes sont ceux qui "tapent" les décisions et les pseudonymisent ...)
- enfin, le plus important : le manque de rentabilité actuel des legaltech, qui s’adossent de plus en plus aux éditeurs juridiques comme Case Law Analytics qui fait partenariat avec Dalloz ou Predictice avec Lamy ou se font racheter par eux ou des groupes préexistants de legaltech avant la lettre comme Softlaw racheté par Septeo ou Hyperlex racheté par DiliTrust.
Je nuancerais aussi l’opposition du monde juridique :
- le président Macron et Bercy sont très favorables
- les avocats et particuliers sont plutôt favorables et, à prix maîtrisé, achètent
- magistrats :
- les juridictions suprêmes se méfient de la perte d’influence et donc de pouvoir que les legaltech pourraient leur occasionner ; elles veulent rester maîtres de la diffusion et de l’interprétation de leur jurisprudence
- les gestionnaires de juridictions, eux, y sont majoritairement favorables car ils y voient un moyen de mieux gérer la charge de travail
- les magistrats de base, en revanche, sont très réservés car, pour eux, la legaltech peut attirer l’attention sur des décisions biaisées ou de moindre qualité, comme l’affaire Supra Legem l’a montré [18].
Enfin, sur les menaces mentionnées, elles sont peu significatives ou inexistantes :
- la première (risque de perte de confiance en cas de défaillance ou de mauvaise utilisation) : elle est évidente mais en même temps, banale : tout nouvel outil court non encore adopté ce risque. Cette menace n’a rien de spécifique. En effet, les bases de données de textes officiels et de jurisprudence qui existent depuis les années 90 portent les mêmes risques de mauvaise utilisation, notamment du fait de recherches insuffisantes ou d’erreurs d’interpréation ! Seul un très gros scandale constituerait un réel risque
- la seconde (risques liés à la sécurité et à la protection des données [sous-entendu : nominatives]) : cette menace est purement théorique. En effet, les textes officiels ne contiennent pas d’autres noms de personnes physiques que ceux des nominations de fonctionnaires — information qui est par essence publique —, et non seulement la loi oblige les éditeurs et legal tech à pseudonymiser [19] les décisions de justice mais l’open data fournit des décisions déjà pseudonymisées !
Vous le voyez, tout cela rend l’analyse SWOT proposée par ChatGPT très insuffisante. C’est tout au plus un bon début avec des banalités dedans.
Si on élargit le constat, on peut affirmer que :
- ChatGPT est en apparence impressionnant en rédaction mais que si vous vous limitez à cela dans un milieu professionnel, universitaire ou de décideurs, vous allez énoncer des banalités, commettre de grosses erreurs et pour finir oublier des points-clés
- les IA génératives, ici GPT, ne raisonnent pas et ne recherchent pas en soi la fiabilité de l’information.
Pour le dire avec les mots du scientifique, universitaire et informaticien David Monniaux :
« ChatGPT a du succès [parce qu’] il sait enchaîner en bon français des idées floues »
– Fournir mots-clés, champ lexical et listes pour un domaine
C. Deschamps signale aussi qu’on peut utiliser ChatGPT pour obtenir les mots-clés et plus généralement le champ lexical d’un domaine que l’on connaît mal. Il donne l’exemple suivant : « demander à ChatGPT : "donne moi le champ sémantique de l’industrie nucléaire". Ou encore : "donne moi les mots-clés les plus utilisés lorsqu’on parle de l’industrie nucléaire". » Une fois des mots-clés trouvés, ajoute C. Deschamps, on va lui demander de nous fournir des synonymes [20].
De manière similaire, ajouterais-je, si vous connaissez mal un secteur économique ou un art et que Google et Wikipedia ne donnent rien de bien fait, vous pouvez demander à ChatGPT de vous donner une liste des principaux/plus grandes sociétés/acteurs du domaine. Attention, l’exhaustivité n’est pas garantie.
– Rédiger votre requête booléenne détaillée
Irina Shamaeva, formatrice hors pair à la recherche pour les recruteurs, explique que ChatGPT peut vous rédiger une requête booléenne détaillée et complète pour LinkedIn ou Google [21]. ChatGPT donne les mots-clés pertinents et insère les bons opérateurs, tels le OR.
– Extraire des données de la littérature scientifique
Voir cet exemple cité par C. Deschamps : des scientifiques de l’Université du Wisconsin ont développé une méthode utilisant (entre autres) ChatGPT pour extraire des données de la littérature scientifique [22]. La méthode a réduit le travail de lecture des chercheurs de 99% par rapport à une "analyse à la main" — cela dit, ce type de travail était déjà automatisé, de manière certes beaucoup moins efficace — et s’est avérée fiable à environ 90%. Elle leur a permis aux d’extraire des données d’une série d’articles pour créer une base de données sur les vitesses critiques de refroidissement des verres métalliques.
« Auparavant, les gens devaient écrire des centaines de lignes de code pour faire quelque chose comme ça, et les résultats n’étaient souvent pas très bons, explique M. Polak. Aujourd’hui, des outils comme ChatGPT nous permettent d’améliorer considérablement nos capacités. »
Une lecture des "papers" fait toutefois comprendre que ce n’est pas à la portée de tout le monde. La préparation des données, typiquement, relève du travail de codeur ou de data scientist (la conception et l’utilisation des regex par exemple). Les prompts à utiliser, de même, ne sont pas si évidents que cela.
– Autres usages : reformatage de données, pensée latérale ...
C’est moins mon domaine, je n’ai pas d’avis personnel sur ces sujets, aussi je ne fais que les citer et vous renvoie aux articles 3 et 4 de la série de Christophe Deschamps :
- Ce que ChatGPT fait à la veille : L’exploitation de l’information. 3/4
- Ce que ChatGPT fait à la veille : La diffusion de l’information. 4/4.
– Outils et plugins pour ChatGPT
Christophe partage aussi dans son billet Intégrez ChatGPT à votre environnement de travail les outils qu’il a repérés permettant d’intégrer ChatGPT au quotidien (extensions, plugins, etc). Il en a déjà repéré une centaine et leur nombre ne cesse de croître, mais beaucoup font peu ou prou la même chose — au premier rang desquelles le résumé.
D’autres outils peuvent être repérés par une requête Google dédiée.
2. Perplexity.ai cite ses sources
J’ai découvert en même temps que le webmestre d’Outils froids Perplexity AI, une IA générative inspirée de GPT et programmée pour donner ses sources. Elle ne propose pas de mode conversation : sa réponse est unique. On peut reformuler sa question si la proposition de l’IA n’est pas satisfaisante, mais techniquement, c’est une nouvelle question. Autrement dit, on ne peut pas corriger Perplexity ni l’amener progressivement à "comprendre" ce qu’on veut — ce que j’appellerais "la mener par le bout du nez" — comme c’est le cas en revanche pour ChatGPT.
Perplexity donne, elle, contrairement à ChatGPT, une réponse *correcte* à la question "transparency directive scope" et cite des sources pertinentes avec le lien hypertexte. En apparence, rien d’impressionnant car la réponse est un ensemble très bien rédigé de copier-coller depuis les sites de référence — sites évidents : ESMA, EUR-Lex et texte de la directive — cités en bas de sa réponse. La même question posée différemment ("does the transparency directive apply to investment funds") ne fait pas tomber Perplexity.ai dans le piège.
Sur une question sur laquelle ChatGPT se plante en beauté ("voie de recours à l’encontre des décisions du juge de la mise en état"), Perplexity.ai, bien que ne sachant répondre qu’en anglais, "comprend" bien la question en français et donne une bonne réponse. Encore une fois, il suffit certes de copier-coller des extraits de sites fiables — que Google trouve sans problème avec la même requête. Encore fallait-il y penser et le faire.
Perplexity tombe néanmoins comme ChatGPT dans le piège tendu par le "streamer" politique Jean Massiet. A la question "dans la Ve République, le président de la République a t-il l’obligation de signer les ordonnances que lui soumet le gouvernement ?", il répond oui sans aucune nuance et sans citer la réponse négative apportée dans la pratique par François Mitterrand face à des ordonnances soumises par le gouvernement Chirac. De même, Perplexity.ai ne réussit pas vraiment mieux que ChatGPT au test du proofesseur Emmanuel Netter ("penses-tu que les plateformes de l’économie numérique puissent être considérées comme des tiers de confiance ?"). Et sur un test sur les risques psychologiques au travail (dits "risques psycho sociaux" ou RPS), même si c’est un peu mieux que ChatGPT, Perplexity.ai "hallucine" quand même aux deux tiers.
Il semble que Perplexity.ai aille chercher ses sources, préalablement sélectionnées pour leur qualité et fiabilité (le site d’Aurélien Bamdé est un "must"), avec un moteur de recherche donc sans retard par rapport à l’actualité et qu’il fasse travailler GPT-3 sur ce fonds pour répondre. La page d’accueil du site précise en effet : « Il s’agit d’une démo inspirée par OpenAI WebGPT, et non d’un produit commercial. Perplexity Ask est alimenté par de grands modèles de langage (API OpenAI) et des moteurs de recherche. La précision est limitée par les résultats de recherche et les capacités de l’IA. Peut générer du contenu offensant ou dangereux. »
Une version Copilot de Perplexity utilise GPT-4. Elle est limitée à un certain nombre de questions en mode gratuit mais est plus fiable que la version de base.
C’est donc un peu mieux, d’un point de vue de juriste, que ChatGPT, mais très, très loin d’être parfait.
C. Deschamps propose aussi d’utiliser Unrestricted Intelligence, une autre IA générative de texte s’appuyant sur GPT-3. Elle « propose une "analyse" [Christophe a raison de mettre les guillemets] des problèmes que vous lui soumettez, ainsi qu’une liste de questions complémentaires et d’étapes à suivre » [23].
D’autres alternatives intéressantes et crédibles à ChatGPT sont listées dans cet article : The 6 Best Alternatives to ChatGPT, MakeUseOf, 20 mars 2023 [24]. On y trouve évidemment Bing AI, basé sur GPT-4, lui, mais sa liste d’attente est si longue ... C’est pour cette raison je ne l’ai pas cité ici.
3. Détecter une production d’IA générative
Les spécialistes de l’information doivent pouvoir identifier les documents et informations qu’on leur soumet ou qu’ils doivent trouver. D’autant plus ici vu le fort parfum de "fake" de ChatGPT. C’est l’objet d’un autre billet sur ce blog : La pollution qui remplit Internet. Ou comment détecter les textes générés par une IA, au-delà du copywriting.
4. Tester les IA génératives
Enfin, les nouveaux IA chatbots et addons sortant à la vitesse d’un cheval au galop, il est nécessaire pour les documentalistes de les tester.
Nous en sommes ici à une ébauche. D’ores et déjà, on peut recommander :
- des tests comparatifs, en comparant le nouveau produit au deux IA gratuites et "étalons" que sont ChatGPT et Bing Chat
- générer x fois de suite une production afin de vérifier la stabilité des réponses et leur qualité moyenne.
Pour reprendre les mots d’Aaron Tay, bibliothécaire à la Singapore Management University :
« Il va falloir du temps pour trouver les meilleures pratiques pour tester les LLM. J’aime la façon dont certains d’entre eux régénèrent les réponses n fois pour vérifier la stabilité/la moyenne des résultats.
J’ai eu des expériences où la toute première réponse semblait étonnamment bonne, mais lorsque je régénère les réponses plusieurs fois, elle continue à donner de mauvaises réponses. J’ai donc eu de la chance la première fois.
Par exemple, dans un article qui a testé la capacité de LLM à générer des stratégies de recherche, ils l’ont fait 5 fois, ont exécuté chaque stratégie et ont calculé la moyenne de rappel/précision. »
Emmanuel Barthe
documentaliste juridique, veilleur, formateur
Notes
[1] GPT-3 : c’est toi le Chat, par Olivier Ertzscheid, Affordance.info, 2 janvier 2023.
[2] Très standard, même. Voici par exemple un retour d’expérience dans un commentaire sous un article de Clubic : « Tout d’abord j’adore ChatGPT, je m’en sers pas mal pour coder du web.
Mais je ne suis tellement pas d’accord avec l’article et surtout la fin… On l’entend partout cette phrase.
Mais entre les prompts, la vérification de ce que l’IA a écrit, l’éventuelle modif’, pas sûr qu’on gagne tant de temps… Je pense que pour "l’envoi de messages de routine" ou "des messages que vous n’avez pas besoin de personnaliser outre mesure" des modèles prédéfinis seront bien plus rapides à utiliser. »
[3] Comment utiliser ChatGPT : 10 exemples de questions à poser, par Estelle Raffin, Blog du Modérateur, 13 janvier 2023.
[4] Voir sur ce blog Les IA chatbots pillent vos oeuvres — et la loi les couvre .... Lire, entre autres : Perplexity is a bullshit machine, Wired, 19 juin 2024.
[5] Garbage In, Garbage Out : Perplexity Spreads Misinformation From Spammy AI Blog Posts, Forbes.com, 26 juin 2024.
[6] Ce que ChatGPT fait à la veille 1/4 : l’orientation des besoins. par Christophe Deschamps, Outils froids, 4 janvier 2023. Vous dorkiez ? J’en suis fort aise. Eh bien promptez maintenant !, par C. Deschamps, Outils froids, 10 février 2023.
[7] Do ChatGPT Responses Have a Character or Word Limit ?, par Bob Sharp, Make Use Of, 28 mars 2023.
[8] Does ChatGPT have a character limit ? Here’s how to bypass it, par Calvin Wankhede, Android Authority, 29 septembre 2024.
[9] Selon la réponse de ChatGPT, « le contexte de la loi de privatisation de 1986 remonte aux années 1970 et 1980. La France était alors confrontée à une grave crise économique et de nombreux secteurs industriels étaient en difficulté. Le gouvernement avait nationalisé ces industries pour les sauver de la faillite, mais elles étaient devenues peu rentables et coûteuses à gérer. » C’est inexact. Les entreprises privatisées sous l’empire de la loi de 1986 étaient les banques et des mutuelles et l’agence Havas, nationalisées après la Seconde guerre mondiale, et Saint-Gobain, nationalisée en 1982 application du programme commun de la gauche.
[10] Robert Laffont, 2024. Excellente lecture, soit dit en passant — que vous aimiez ou pas votre pays.
[11] Un auteur dont je n’apprécie que le premier roman (Extension du domaine de la lutte) et dont j’abhorre les positions.
[12] Par les Universités de Lorraine, de Strasbourg et de Haute Alsace, la Bibliothèque nationale et universitaire de Strasbourg et le GTFU Alsace (juillet 2024).
[13] ChatGPT for Scientific Research : How to use AI as a Partner in Your Research, Science Grad School Coach, 14 décembre 2022.
[14] State of the Art GPT-3 Summarizer For Any Size Document or Format, par Matt Payne, Width.ai blog, 7 septembre 2021.
[15] Comme il le dit lui-même : « La plupart des gens l’utilisent pour créer du *contenu.* ChatGPT utilise un modèle de prédiction, donc le contenu sera toujours prévisible. Ce n’est PAS une utilisation intelligente de ChatGPT. »
[16] Strenghts Weaknesses Opportunités Threats.
[17] Cela dit, d’autres itérations de la même requête, y compris bien ultérieures, ont produit pire résultat.
[18] Pour plus de détails et les sources de nos remarques, voir notre (long) billet : Intelligence artificielle en droit : derrière la "hype", la réalité.
[19] Nouveau terme remplaçant "anonymiser" depuis l’entrée en vigueur du RGPD.
[20] Ce que ChatGPT fait à la veille 2/4 : la collecte (sourcing et veille). par Christophe Deschamps, Outils froids, 4 janvier 2023.
[21] Boolean of Target Companies with ChatGPT, par Irina Shamaeva, Boolean Strings, 27 décembre 2022.
[22] ChatGPT makes materials research much more efficient, par Jason Daley, University of Wisconsin-Madison, Phys.org, 20 avril 2023. Flexible, Model-Agnostic Method for Materials Data Extraction from Text Using General Purpose Language Models, par Maciej P. Polak et al., arXiv, 2023. Extracting Accurate Materials Data from Research Papers with Conversational Language Models and Prompt Engineering—Example of ChatGPT, par Maciej P. Polak et al., arXiv, 2023.
[23] Ce que ChatGPT fait à la veille 3/4 : l’exploitation de l’information, par Christophe Deschamps, Outils froids, 18 janvier 2023.
[24] J’aurais bien ajouté Perplexity.ai à la liste, du fait de sa gratuité et des URLs qu’il cite.
Commentaires
Aucun commentaire
Laisser un commentaire