GPT et les documentalistes - Ou que faire avec ChatGPT, Bing Chat et Perplexity.ai ?

Les fonctionnalités documentaires des IA génératives

Par un article marquant publié en novembre 2021 (Les technologies du faux : un état des lieux), le formateur et consultant en veille stratégique Christophe Deschamps (Outils froids) a été en France un des premiers à informer sur les IA génératives, notamment en nous avertissant des performances des GAN (generative adversarial networks) qui fabriquent des photos de visages de personnes qui n’existent pas.

Christophe vient de publier une série de quatre billets sur les utilisations de ChatGPT pour la veille, valables aussi pour la recherche documentaire, et intitulée Ce que ChatGPT fait à la veille. NB : ce qui suit vaut très largement pour Bing Chat aussi (basé sur GPT-4 alors que la version gratuite de ChatGPT est encore basée, elle, sur GPT-3.5).

L’idée avec les IA génératives est : « S’il te plaît, mâche-moi le travail (mais il faudra que je vérifie derrière) ». Infra les idées de Christophe et d’autres, plus les nôtres. Mais lâchez donc votre imagination ! On peut demander à peu près tout à ChatGPT (et Bing Chat aussi), comme s’amuse à le mentionner Olivier Ertzscheid, maître de conférences en sciences de l’information et auteur du fameux blog Affordance [1].

ChatGPT peut répondre à des questions, trouver des idées de contenu pour réseaux sociaux, rédiger un mail assez standard [2] ou une dissertation [3], tout le monde le sait, mais le résultat n’est pas fiable et en documentation / veille / sciences de l’information, ce n’est pas ce qui nous est le plus utile.

Avertissement : lâchez les rênes à votre méfiance et vérifiez bien, les erreurs de cette IA sont légion et bien cachées.

NB : la version gratuite de ChatGPT n’est pas très rapide ... Soyez prêts :

• à sortir 20 dollars US par mois pour la version payante nommée ChatGPT Plus et qui permet d’accéder aux performances meilleures de GPT-4
• ou à utiliser Bing Chat (qu’on appelle aussi Bing AI), qui est meilleur que la version gratuite de ChatGPT, notamment parce qu’il a accès à l’Internet actuel (Bing Chat peut donc citer ses sources) et qu’il est basé sur GPT-4 et non 3.5.

Sommaire :

1. Les usages/fonctionnalités de ChatGPT utiles pour les documentalistes :

• utiliser le prompt pour diriger l’IA
• résumer / synthétiser
• rechercher remplacer élaboré / pseudonymiser / anonymiser
• expliquer, reformuler
• donner un plan détaillé
• fournir une analyse forces / faiblesses
• fournir mots-clés, champ lexical et listes pour un domaine
• rédiger votre requête booléenne détaillée
• extraire des données de la littérature scientifique
• autres usages : reformatage de données, pensée latérale ...
• outils et plugins pour ChatGPT

2. Perplexity.ai cite ses sources

3. Détecter une production d’IA générative

4. Tester les IA génératives

1. Les usages/fonctionnalités de ChatGPT utiles pour les documentalistes

– Utiliser le prompt pour diriger l’IA

C’est un préalable à notre avis. Il faut d’abord apprendre à "s’adresser" à ChatGPT. Il y a un vocabulaire, une façon d’écrire à adopter, comme pour les IA génératives d’images (Midjourney, DALL.E, Stability.ai ...).

Comme le dit Christophe, « on peut diriger [ChatGPT] en lui indiquant des axes sur lesquels il doit insister. L’ère du prompt, c’est à dire [l’art] de poser efficacement des questions, arrive. » [4]

Le prompt, ce sont les instructions que vous donnez à ChatGPT. Ou autrement dit, à la fois les critères de "recherche" (ce n’est pas une vraie recherche mais une génération) et le paramétrage de celle-ci.

Sur ce sujet clé du prompt, il existe déjà quantité de pages web recensant ou proposant des prompts pour ci, des prompts pour ça. Une simple recherche Google vous donnera des idées, que vous pourrez adapter. C’est particulièrement utile en matière d’image (DALL.E, Midjourney, Stable Diffusion), mais aussi en matière de texte (GPT et ses dérivés).

Pour commencer, vous pouvez utiliser :

• cet article du Blog du Modérateur, court mais bien rédigé : ChatGPT : notre guide pour créer les meilleurs prompts, 17 avril 2023
• ce bref tutoriel très bien fait et qui permet d’être opérationnel quasi-immédiatement : L’art du « Prompt » : Guide 101 pour les personnes enseignantes, par Fabien Maurin, chef du marché canadien chez Wooclap, mentor de startup et enseignant, UQAM, 24 mars 2023
• ce cours gratuit de "promting" : Learn Prompting. Puis lisez Methods of prompt programming. Pour aller (nettement) plus loin, lisez le long billet de Gwern : GPT-3 Creative Fiction, mais attention, il n’est pas orienté vers des buts professionnels.

Ce que j’en retiens :

• OpenAI a énoncé une règle empirique ("rule of thumb") selon laquelle un "token" (jeton) équivaut aux trois quarts d’un mot. Cela permet de convertir rapidement et facilement les limites et coûts des GPT, ceux-ci s’exprimant généralement en tokens. Or, GPT 3.5 limite la "context window" (les questions et données en entrée des utilisateurs ("input") et les "réponses" de ChatGPT ("output")) à 4 097 tokens. Selon OpenAI, cela équivaut donc à environ 3 000 mots. Toutefois, les tests réalisés par Make Use Of ne leur ont jamais permis d’approcher ces limites [5]. En pratique, ChatGPT semble imposer une limite d’environ 500 mots ou 4 000 caractères — j’ai pu le vérifier par moi-même. On peut contourner cette limite de deux manières principalement :
  • avec un prompt "Continue" ou "Reprend à partir de [mots auxquels il s’est arrêté]"
  • demander d’abord à ChatGPT de produire un plan ou une liste de points puis réutiliser chaque partie/point pour demander une rédaction sur celle-ci puis les concaténer
• soyez précis, comme si ChatGPT était un gamin de 5 ans. Donnez lui le contexte, explicitez ce qui vous semble évident. Par exemple, si ChatGPT reçoit pour instruction « Ecris un essai de 10 paragraphes sur les [ou la] lois [loi] de privatisation de 1986 », sa réponse porte sur les privatisations en Grande-Bretagne sous Margaret Thatcher, alors que l’année 1986 et la langue française utilisée aurait dû orienter l’application vers la loi de privatisation du 2 juillet 1986, ce que Google, entre parenthèses, "comprend" sans problème. Singulier ou pluriel (il y eut une seule loi de privatisation en 1986 en France), rien n’y change tant qu’on ne lui précise pas « la loi française ». Et même alors, il fait en réalité référence aux privatisations de Thatcher [6].
  Profitez de ce que ChatGPT mémorise ce que vous lui avez dit dans un même fil pour ajouter ce que vous avez oublié de lui demander ou préciser vos besoins de manière progressive
• si vous voulez un format de sortie, comme une liste à puces, pareil : dites le à ChatGPT, soyez précis et explicite. L’idéal est de lui donner un exemple de ce format
• le "role prompting" ne marche plus aussi facilement ni aussi bien qu’avant. Notamment parce qu’il a été beaucoup trop utilisé dans des hacks de ChatGPT. Préciser à ChatGPT « Tu es un journaliste sportif spécialisé dans les courses hippiques » ne changera rien à ses réponses et ne vous permettra pas d’accéder à des tuyaux pour quasiment tricher au PMU. En revanche, on peut reprendre et adapter les Awesome ChatGPT Prompts listés sur GitHub et qui commencent tous par « I want you to act as a ... »
• définir sa cible/son public et son canal de communication. On n’écrit pas pareil pour des enfants, pour le grand public ou pour de sprofessionnels
• le prompt de base doit idéalement comporter :
  • un rôle ou au minimum un contexte (professionnel, sectoriel et géographique)
  • une instruction/tâche
  • une question
  • des exemples au format exact dans lequel l’"output" est désiré. On peut ainsi écrire le début d’un essai et lui demander d’écrire la suite
  • la longueur désirée de la réponse
  • la présence d’arguments détaillés (ou pas). Evitez de demander des citations, ChatGPT est mauvais à ça et en invente souvent.

– Résumer / synthétiser

La fonctionnalité « résumer un article » de ChatGPT est potentiellement très utile. On peut aussi parler de synthèse, mais sans aucune personnalité ni angle ni insistance mis dedans.

Cependant, cette fonctionnalité « résumer » a des limites :

• un texte fourmillant de faits et de chiffres ne sera que peu raccourci
• les points saillants ne seront pas soulignés
• un collègue m’a rapporté des cas d’erreurs dans les résumés. Si ce résumé sert à informer des dirigeants, les conséquences peuvent être très gênantes voire graves
• sur son compte Youtube Science Grad School Coach, Alana Rister, ex-chercheuse en chimie et analyste pour une "edtech", recommande d’ailleurs de ne pas utiliser ChatGPT pour résumer des articles scientifiques (« research articles ») [7]
• des limites spécifiques à ChatGPT :
  • le texte doit être fourni (copié-collé) à ChatGPT. ChatGPT ne peut pas accéder au texte disponible sur une page web/URL. (Si vous lui fournissez quand même une URL, il cherche à en "deviner" le contenu par les mots-clés présents dans l’URL. Le résultat est alors maigre voire franchement mauvais)
  • la version gratuite de ChatGPT ne peut pas résumer un article très long puisqu’il faut copier-coller l’article dans l’interface de ChatGPT et que la limite évoquée supra va donc jouer (500 mots, soit approximativement 7-8 paragraphes maximum) — même si GPT-3 lui le peut [8], ainsi que les applications développées à partir de GPT-3 (Power Automate ou Summarize par exemple, comme l’évoque Christophe).

Autrement dit : si vous utilisez ChatGPT, pour tout ce qui en ligne, il faut copier-coller le texte et espérer qu’il ne dépasse pas 7 à 8 paragraphes, ce qui est rare. Par ailleurs, je ne suis pas certain que les éditeurs apprécient …

Une fonctionnalité relativement fiable de ChatGPT : synthétiser

– Rechercher remplacer élaboré / Pseudonymiser / Anonymiser

Un exemple tiré du tutoriel Learn Prompting : GPT va remplacer tous les noms de personnes physiques par [NOM].

– Expliquer / Reformuler / Permettre de mieux comprendre

Mushtaq Bilal, de l’Université du Danemark du Sud (SDU), montre qu’on peut utiliser ChatGPT pour comprendre un paragraphe d’article universitaire difficile à lire.

Prenez un article ou un ouvrage scientifique et copiez-collez un passage (pas l’ensemble d’un article, attention, voir plus haut) dans ChatGPT.

Non seulement ChatGPT peut résumer le(s) paragraphe(s) en un langage simple et à la portée du lecteur, mais vous pouvez également lui demander d’élaborer/déveloper si un texte est dense. Vous pouvez aussi lui poser des questions complémentaires. Par exemple, M. Bilal lui demande la signification du mot "téléologie". ChatGPT explique la signification du mot — qui plus est, dans le contexte du passage.

M. Bilal rappelle très justement que si vous voulez poser des questions complexes à ChatGPT, il faut commencer par lui en poser des simples. Formez-le, renforcez ses capacités avant de lui poser des questions complexes.

– Donner un plan détaillé, suggérer les (principaux ...) points d’une intervention ou d’une question

ChatGPT peut, notamment sur un sujet auquel vous ne connaissez rien, vous préparer un plan détaillé d’une intervention. Un (pseudo) article entier, non. OpenAI l’a volontairement limité en cela, car c’est une démo gratuite, mais son frère ainé GPT-3 en est parfaitement capable.

Voir par exemple les suggestions de Mushtaq Bilal [9] M. Bilal montre que ChatGPT peut « créer un plan utile avec des sujets et des sous-thèmes. Il donne une *structure*. N’utilisez pas les titres exacts, bien que dans ce cas, certains soient très utiles. Utilisez cette structure pour commencer à rédiger votre document. Modifiez-la en fonction de vos besoins. » J’ajouterai : « Vérifiez les affimations de ChatGPT. »

Par exemple, sur une question "droit des aides d’Etat en matière de transports : quels sont les points saillants ?", ChatGPT va notamment rappeler la nécessité d’obtenir l’autorisation de la Commission et l’exception des règles de minimis. C’est utile, en tout cas pour un non spécialiste du droit de la concurrence. Mais ChatGPT va aussi citer comme bases légales les articles 107 et 108 du TFUE. Et là, il va falloir vérifier que ce sont bien les bonnes bases légales. Il se trouve que ce sont bien ces articles du TFUE qui fondent le droit des aides d’Etat, mais la vérification est obligatoire car ChatGPT a déjà été pris en flagrant délit de confusion voire d’invention de bases légales.

– Fournir une analyse forces / faiblesses

Sur l’analyse SWOT [10] ou la fourniture de plans détaillés, comme le suggère C. Deschamps, c’est très pratique.

Mais c’est aussi très classique (mainstream, dirons-nous) et parfois redondant. J’ai testé une analyse SWOT (forces et faiblesses, risques et opportunités) sur un sujet que je connais bien (les legaltech en France) ; ça ne m’a rien appris, car je travaille sur le sujet depuis son apparition en France en 1996, mais c’est pratique car ça fait une synthèse opérationnelle correcte (sans plus [11]) et pour une personne débarquant dans la matière, ça peut déjà l’aider et orienter ses recherches ultérieures.

En revanche, attention, cette synthèse n’avait pas un niveau expert car elle traduit l’opinion majoritaire des écrits disponibles dans les fonds (de mauvaise qualité et sur ce sujet soit très "hype"/com’, soit très alarmistes) utilisés pour entraîner ChatGPT (i.e. ça ne comprend pas tout Internet ni les bases de données privées ou payantes).

L’analyse SWOT de ChatGPT sur les legaltech

Connaissant bien les legaltech, j’aurais eu des modifications clés à y apporter. J’aurais par exemple évoqué :

• force : une condition clé du développement des legaltech : l’open data juridique et judiciaire (Légifrance, la loi République numérique, Judilibre etc.)
• et quatre faiblesses :
  • la promesse d’open data pour 2025 des jugements de conseils de prud’hommes et des tribunaux de commerce ne sera pas tenue
  • la pseudonymisation obligatoire des décisions de justice (RGPD, loi de 2019 ...) qui ralentit l’open data
  • le sous-financement de la Justice — et le manque criant de moyens des greffes qui en découle (les greffes sont ceux qui "tapent" les décisions et les pseudonymisent ...)
  • enfin, le plus important : le manque de rentabilité actuel des legaltech, qui s’adossent de plus en plus aux éditeurs juridiques comme Case Law Analytics qui fait partenariat avec Dalloz ou Predictice avec Lamy ou se font racheter par eux ou des groupes préexistants de legaltech avant la lettre comme Softlaw racheté par Septeo ou Hyperlex racheté par DiliTrust.

Je nuancerais aussi l’opposition du monde juridique :

• le président Macron et Bercy sont très favorables
• les avocats et particuliers sont plutôt favorables et, à prix maîtrisé, achètent
• magistrats :
  • les juridictions suprêmes se méfient de la perte d’influence et donc de pouvoir que les legaltech pourraient leur occasionner ; elles veulent rester maîtres de la diffusion et de l’interprétation de leur jurisprudence
  • les gestionnaires de juridictions, eux, y sont majoritairement favorables car ils y voient un moyen de mieux gérer la charge de travail
  • les magistrats de base, en revanche, sont très réservés car, pour eux, la legaltech peut attirer l’attention sur des décisions biaisées ou de moindre qualité, comme l’affaire Supra Legem l’a montré [12].

Enfin, sur les menaces mentionnées, elles sont peu significatives ou inexistantes :

• la première (risque de perte de confiance en cas de défaillance ou de mauvaise utilisation) : elle est évidente mais en même temps, banale : tout nouvel outil court non encore adopté ce risque. Cette menace n’a rien de spécifique. En effet, les bases de données de textes officiels et de jurisprudence qui existent depuis les années 90 portent les mêmes risques de mauvaise utilisation, notamment du fait de recherches insuffisantes ou d’erreurs d’interpréation ! Seul un très gros scandale constituerait un réel risque
• la seconde (risques liés à la sécurité et à la protection des données [sous-entendu : nominatives]) : cette menace est purement théorique. En effet, les textes officiels ne contiennent pas d’autres noms de personnes physiques que ceux des nominations de fonctionnaires — information qui est par essence publique —, et non seulement la loi oblige les éditeurs et legal tech à pseudonymiser [13] les décisions de justice mais l’open data fournit des décisions déjà pseudonymisées !

Vous le voyez, tout cela rend l’analyse SWOT proposée par ChatGPT très insuffisante. C’est tout au plus un bon début avec des banalités dedans.

Si on élargit le constat, on peut affirmer que :

• ChatGPT est en apparence impressionnant en rédaction mais que si vous vous limitez à cela dans un milieu professionnel, universitaire ou de décideurs, vous allez énoncer des banalités, commettre de grosses erreurs et pour finir oublier des points-clés
• les IA génératives, ici GPT, ne raisonnent pas et ne recherchent pas en soi la fiabilité de l’information.

Pour le dire avec les mots du scientifique, universitaire et informaticien David Monniaux :

« ChatGPT a du succès [parce qu’] il sait enchaîner en bon français des idées floues »

– Fournir mots-clés, champ lexical et listes pour un domaine

C. Deschamps signale aussi qu’on peut utiliser ChatGPT pour obtenir les mots-clés et plus généralement le champ lexical d’un domaine que l’on connaît mal. Il donne l’exemple suivant : « demander à ChatGPT : "donne moi le champ sémantique de l’industrie nucléaire". Ou encore : "donne moi les mots-clés les plus utilisés lorsqu’on parle de l’industrie nucléaire". » Une fois des mots-clés trouvés, ajoute C. Deschamps, on va lui demander de nous fournir des synonymes [14].

De manière similaire, ajouterais-je, si vous connaissez mal un secteur économique ou un art et que Google et Wikipedia ne donnent rien de bien fait, vous pouvez demander à ChatGPT de vous donner une liste des principaux/plus grandes sociétés/acteurs du domaine. Attention, l’exhaustivité n’est pas garantie.

– Rédiger votre requête booléenne détaillée

Irina Shamaeva, formatrice hors pair à la recherche pour les recruteurs, explique que ChatGPT peut vous rédiger une requête booléenne détaillée et complète pour LinkedIn ou Google [15]. ChatGPT donne les mots-clés pertinents et insère les bons opérateurs, tels le OR.

– Extraire des données de la littérature scientifique

Voir cet exemple cité par C. Deschamps : des scientifiques de l’Université du Wisconsin ont développé une méthode utilisant (entre autres) ChatGPT pour extraire des données de la littérature scientifique [16]. La méthode a réduit le travail de lecture des chercheurs de 99% par rapport à une "analyse à la main" — cela dit, ce type de travail était déjà automatisé, de manière certes beaucoup moins efficace — et s’est avérée fiable à environ 90%. Elle leur a permis aux d’extraire des données d’une série d’articles pour créer une base de données sur les vitesses critiques de refroidissement des verres métalliques.

« Auparavant, les gens devaient écrire des centaines de lignes de code pour faire quelque chose comme ça, et les résultats n’étaient souvent pas très bons, explique M. Polak. Aujourd’hui, des outils comme ChatGPT nous permettent d’améliorer considérablement nos capacités. »

Une lecture des "papers" fait toutefois comprendre que ce n’est pas à la portée de tout le monde. La préparation des données, typiquement, relève du travail de codeur ou de data scientist (la conception et l’utilisation des regex par exemple). Les prompts à utiliser, de même, ne sont pas si évidents que cela.

– Autres usages : reformatage de données, pensée latérale ...

C’est moins mon domaine, je n’ai pas d’avis personnel sur ces sujets, aussi je ne fais que les citer et vous renvoie aux articles 3 et 4 de la série de Christophe Deschamps :

• Ce que ChatGPT fait à la veille : L’exploitation de l’information. 3/4
• Ce que ChatGPT fait à la veille : La diffusion de l’information. 4/4.

– Outils et plugins pour ChatGPT

Christophe partage aussi dans son billet Intégrez ChatGPT à votre environnement de travail les outils qu’il a repérés permettant d’intégrer ChatGPT au quotidien (extensions, plugins, etc). Il en a déjà repéré une centaine et leur nombre ne cesse de croître, mais beaucoup font peu ou prou la même chose — au premier rang desquelles le résumé.

D’autres outils peuvent être repérés par une requête Google dédiée.

2. Perplexity.ai cite ses sources

J’ai découvert en même temps que le webmestre d’Outils froids Perplexity AI, une IA générative inspirée de GPT et programmée pour donner ses sources. Elle ne propose pas de mode conversation : sa réponse est unique. On peut reformuler sa question si la proposition de l’IA n’est pas satisfaisante, mais techniquement, c’est une nouvelle question. Autrement dit, on ne peut pas corriger Perplexity ni l’amener progressivement à "comprendre" ce qu’on veut — ce que j’appellerais "la mener par le bout du nez" — comme c’est le cas en revanche pour ChatGPT.

Perplexity donne, elle, contrairement à ChatGPT, une réponse *correcte* à la question "transparency directive scope" et cite des sources pertinentes avec le lien hypertexte. En apparence, rien d’impressionnant car la réponse est un ensemble très bien rédigé de copier-coller depuis les sites de référence — sites évidents : ESMA, EUR-Lex et texte de la directive — cités en bas de sa réponse. La même question posée différemment ("does the transparency directive apply to investment funds") ne fait pas tomber Perplexity.ai dans le piège.

Sur une question sur laquelle ChatGPT se plante en beauté ("voie de recours à l’encontre des décisions du juge de la mise en état"), Perplexity.ai, bien que ne sachant répondre qu’en anglais, "comprend" bien la question en français et donne une bonne réponse. Encore une fois, il suffit certes de copier-coller des extraits de sites fiables — que Google trouve sans problème avec la même requête. Encore fallait-il y penser et le faire.

Perplexity tombe néanmoins comme ChatGPT dans le piège tendu par le "streamer" politique Jean Massiet. A la question "dans la Ve République, le président de la République a t-il l’obligation de signer les ordonnances que lui soumet le gouvernement ?", il répond oui sans aucune nuance et sans citer la réponse négative apportée dans la pratique par François Mitterrand face à des ordonnances soumises par le gouvernement Chirac. De même, Perplexity.ai ne réussit pas vraiment mieux que ChatGPT au test du proofesseur Emmanuel Netter ("penses-tu que les plateformes de l’économie numérique puissent être considérées comme des tiers de confiance ?"). Et sur un test sur les risques psychologiques au travail (dits "risques psycho sociaux" ou RPS), même si c’est un peu mieux que ChatGPT, Perplexity.ai "hallucine" quand même aux deux tiers.

Il semble que Perplexity.ai aille chercher ses sources, préalablement sélectionnées pour leur qualité et fiabilité (le site d’Aurélien Bamdé est un "must"), avec un moteur de recherche donc sans retard par rapport à l’actualité et qu’il fasse travailler GPT-3 sur ce fonds pour répondre. La page d’accueil du site précise en effet : « Il s’agit d’une démo inspirée par OpenAI WebGPT, et non d’un produit commercial. Perplexity Ask est alimenté par de grands modèles de langage (API OpenAI) et des moteurs de recherche. La précision est limitée par les résultats de recherche et les capacités de l’IA. Peut générer du contenu offensant ou dangereux. »

Une version Copilot de Perplexity utilise GPT-4. Elle est limitée à un certain nombre de questions en mode gratuit mais est plus fiable que la version de base.

C’est donc un peu mieux, d’un point de vue de juriste, que ChatGPT, mais très, très loin d’être parfait.

C. Deschamps propose aussi d’utiliser Unrestricted Intelligence, une autre IA générative de texte s’appuyant sur GPT-3. Elle « propose une "analyse" [Christophe a raison de mettre les guillemets] des problèmes que vous lui soumettez, ainsi qu’une liste de questions complémentaires et d’étapes à suivre » [17].

D’autres alternatives intéressantes et crédibles à ChatGPT sont listées dans cet article : The 6 Best Alternatives to ChatGPT, MakeUseOf, 20 mars 2023 [18]. On y trouve évidemment Bing AI, basé sur GPT-4, lui, mais sa liste d’attente est si longue ... C’est pour cette raison je ne l’ai pas cité ici.

3. Détecter une production d’IA générative

Les spécialistes de l’information doivent pouvoir identifier les documents et informations qu’on leur soumet ou qu’ils doivent trouver. D’autant plus ici vu le fort parfum de "fake" de ChatGPT. C’est l’objet d’un autre billet sur ce blog : La pollution qui remplit Internet. Ou comment détecter les textes générés par une IA, au-delà du copywriting.

4. Tester les IA génératives

Enfin, les nouveaux IA chatbots et addons sortant à la vitesse d’un cheval au galop, il est nécessaire pour les documentalistes de les tester.

Nous en sommes ici à une ébauche. D’ores et déjà, on peut recommander :

• des tests comparatifs, en comparant le nouveau produit au deux IA gratuites et "étalons" que sont ChatGPT et Bing Chat
• générer x fois de suite une production afin de vérifier la stabilité des réponses et leur qualité moyenne.

Pour reprendre les mots d’Aaron Tay, bibliothécaire à la Singapore Management University :

« Il va falloir du temps pour trouver les meilleures pratiques pour tester les LLM. J’aime la façon dont certains d’entre eux régénèrent les réponses n fois pour vérifier la stabilité/la moyenne des résultats.
J’ai eu des expériences où la toute première réponse semblait étonnamment bonne, mais lorsque je régénère les réponses plusieurs fois, elle continue à donner de mauvaises réponses. J’ai donc eu de la chance la première fois.
Par exemple, dans un article qui a testé la capacité de LLM à générer des stratégies de recherche, ils l’ont fait 5 fois, ont exécuté chaque stratégie et ont calculé la moyenne de rappel/précision. »

Emmanuel Barthe
documentaliste juridique, veilleur, formateur