Pappers Justice : évaluation comparée

Pappers Justice, Jurisprudence Ninja, Juricaf : les réutilisateurs gratuits de l’open data des décisions de justice

Déjà auteur d’un site de rediffusion open data du RNCS [1], Pappers récidive en lançant Pappers Justice le 29 août 2022.

Pappers Justice, c’est une base de données reprenant les décisions de justice en open data, tant judiciaires qu’administratives [2].

Au delà de cette bonne nouvelle pour la diffusion des données juridiques publiques [3], le post sur LinkedIn mériterait d’être plus informatif [4]. Il oublie notamment de citer les sources des décisions, autrement dit les producteurs de données (Cour de cassation et Conseil d’Etat). Par ailleurs, il est un peu dans le style « on a tout inventé », alors que le modèle vient de Supra Legem [5] et Doctrine [6].

Pappers Justice, c’est peu ou prou (nous verrons les nuances infra) la copie des bases Judilibre publiée sur le site de la Cour de cassation (cf notre post du 2 mai) et ArianeWeb (les décisions du Conseil d’Etat, des cours administratives d’appel, des tribunaux administratifs issues de l’open data).

A noter que Pappers a fait l’impasse sur les décisions du Conseil constitutionnel. Ce qui peut se comprendre : elles sont à la fois peu demandées et en même temps très faciles à trouver sur le Web (par le site du Conseil doté d’un excellent moteur de recherche interne ou par Google ou Bing). C’est juste que cette exclusion paraît peu diplomate vis-à-vis de ce qui est quand même une des trois juridictions suprêmes françaises — et pourrait amener, dans des cas très rares (surtout en pénal : non bis in idem etc.) à faire une impasse sur des jurisprudences clés.

Trois "concurrents" réutilisent eux aussi l’open data des décisions de justice :

• Judilibre, la base tenue sur son propre site par la Cour de cassation et qui reprend l’open data judiciaire disponible par l’API sur le portail Piste
• Juricaf [7], une base de la jurisprudence des pays francophones (donc incluant la France). Juricaf n’intègre pas (pas encore ?) l’open data des CA et vient à peine d’intégrer les inédits de la Cour de cassation (base INCA)
• Jurisprudence Ninja tenue par Cybertron, un collectif d’avocats pro open data. JP Ninja n’a pas intégré l’open data des cours d’appel judiciaires (CA) ni celui des juridictions administratives.

Cela dit, le post LinkedIn de Pappers se termine par une demande de « retours » , ce qui est à la fois classique chez les tech (quoique plus explicite et plus appuyé ici), et méritoire en même temps. Nous publions donc ici notre propre retour sur cette nouvelle base de données, tout en la comparant quand c’est utile avec les deux "concurrents" JP Ninja et Judilibre.

L’interface du moteur avancé de Jurisprudence Ninja

Le contexte : l’open data des décisions de justice et celui du RCS

Pour mémoire, l’open data des cours d’appel judiciaires est effectif depuis le 15 avril sur le site de la Cour de cassation (base Judilibre), c’est visiblement ça qui a donné des idées à Pappers. Officiellement, toutes les décisions civiles, sociales et commerciales (pas le pénal) rendues publiquement par les 36 cours d’appel de France postérieurement au 15 avril sont désormais disponibles sur Judilibre, la base disponible sur le site web de la Cour de cassation [8]. Cet open data ne concerne que le flux des décisions, pas le stock existant [9].
Après, ce sera l’open data des juridictions de première instance puis des décisions pénales des cours d’appel. Là, on aura vraiment du nouveau – et aussi beaucoup de difficultés à trier.

Rappel : Pappers RCS a été lancé le 13 juillet 2020 [10] par Pierre Fruchard, fondateur de la start-up Coover, courtier en assurance destiné aux indépendants.

Il faut reconnaître que Pappers semble être une entreprise très "open data spirit". Au point qu’elle-même dit prévoir une API pour Pappers Justice !

Une évaluation comparée de Pappers Justice

Une recherche rapide au 29 août 2022 indique que Pappers Justice pourrait avoir manqué certains arrêts (à moins d’un bug toujours possible d’un des moteurs de recherche ou d’erreurs dans les arrêts) puisqu’une recherche sur toutes les CA du 15 avril au 1er mai 2022 montre une différence en terme de nombre de résultats (voir copies écran infra) :

• Pappers trouve 3565 décisions
• Judilibre en trouve 3591.

Rappel : tout comme pour Pappers RCS face à Infogreffe, il est recommandé d’utiliser au moins à titre de vérification des bases potentiellement et plus complètes comme Lexis 360, Lamyline, Navis, Lexbase voire Judilibre. Infra le nombre de résultats de la requête responsabilité skipper sur Pappers Justice et sur Lexis 360 (au 2 septembre 2022) : 109 contre 195.

Sinon, l’interface et le moteur de Pappers Justice sont plus lisibles et plus pratiques à utiliser que ceux de Judilibre et Jurisprudence Ninja (et de Légifrance, c’est évident [11]). On note que la version avancée du moteur de Pappers Justice possède plus d’options de recherche que celle de ses "concurrents" (gratuits) Jurisprudence Ninja, Judilibre ou même Légifrance. Ainsi, le moteur de recherche de Pappers Justice offre en exclusivité (du moins, pour certaines fonctionnalités, dans le monde du gratuit) :

• la recherche par type de dispositif, autrement dit comment le juge a tranché (cassation, rejet, annulation, irrecevabilité, satisfaction partielle ...). Mais attention : ces types de dispositifs ne concernent que la Cour de cassation et les juridictions administratives. Les cours d’appel et tribunaux judiciaires ne bénéficient pas de cette indexation
• la recherche par textes de loi cités (ou non cités) — en fait les articles des Codes. A vérifier, mais je soupçonne cette fonctionnalité de ne pas s’appliquer correctement (i.e. avec 99% de fiabilité) car apparemment on est là on est dans une recherche implicite automatique en plein texte, avec les limites que cela implique pour identifier correctement et systématiquement les références aux articles. Pappers n’utilise pas les articles de Codes cités dans les abstracts des (hélas, seuls) arrêts publiés au Bulletin de la Cour de cassation (base CASS, voir infra copies écran comparées de Pappers Justice et Légifrance de l’arrêt Cass. Com. 8 octobre 2013 n° 12-22.952, publié au Bulletin). Dommage
• les arrêts sont enrichis :
  • chronologie de l’affaire (dite "timeline", une fonctionnalité introduite initialement par Doctrine puis copiée par les éditeurs juridiques)
  • mots-clés (extraction automatique des termes dans l’arrêt)
  • décisions citant les mêmes articles de Codes (par extraction automatique des numéros d’articles de Codes). Pappers n’utilise pas les articles cités dans les abstracts des arrêts publiés au Bulletin. Dommage là aussi
  • décisions abordant les mêmes thèmes (idem). Les trois fonctionnalités pré-citées font face à de grosses limites, voir infra la liste des bugs
• ajout des décisions de justice où une entreprise (identifiée par son n° RCS/SIREN) est partie dans une décision de justice. Malicieusement, Pappers prend pour exemple Google France. Via Pappers on peut donc rechercher par SIREN si ses partenaires, clients, fournisseurs etc. ont été impliqué dans du contentieux (ce que les éditeurs se gardent bien de faire, peut-être parce que certaines de ces entreprises peuvent être leurs (gros) clients) — ou plutôt si ce contentieux est fréquent ou dommageable pour la rentabilité ou la valeur de la société [12].

Jurisprudence Ninja offre de choisir son critère de tri — et pas uniquement la pertinence (déterminée par des critères dont on ne sait rien ...). Elle offre le choix entre pertinence, pertinence et niveau de publication (au Bulletin de la Cass’, ce qui permet de privilégier la ligne officielle de la Cour) et date. Pappers ne prévoit qu’un seul mode de tri : par pertinence.

Après, c’est du gratuit donc on n’a pas certaines fonctionnalités avancées des moteurs des bases payantes comme la synonymie automatique. Comparez par exemple sur l’année 2019 les résultats de la requête RSI avec celle de Régime social des indépendants. Pas de correcteur orthographique des mots-clés non plus.

Autrement dit, le moteur de Pappers Justice fait de la recherche en plein texte/texte intégral basique — ce qui est déjà très correct vu sa rapidité. On peut chercher par expression en utilisant les guillemets et même utiliser l’opérateur logique SAUF (-). En revanche, pas de OU logique ni de proximité [13], des opérateurs généralement réservés aux plateformes payantes.

NB : selon Pappers, tout est développé en interne [14]. Leur connaissance préalable des API open data datant d’avant même Pappers RCS (voir le boulot de Coover), j’ai vraiment tendance à les croire. Et puis, c’est la règle chez les legaltech — mais chose rare dans le milieu de l’édition juridique.

Des erreurs/bugs relevés chez Pappers Justice :

• en recherche avancée, le module "Date de la décision" n’est pas du tout évident à remplir si on le fait à la souris [15]. En l’état actuel des choses, c’est beaucoup plus facile au clavier. Une petite case à cocher "Date exacte", pour ne pas avoir à copier-coller ou re-taper la date une deuxième fois, pourrait aider également
• les cours d’appel et tribunaux n’ont pas de Bulletin [16]. C’est le privilège de la Cour de cassation. La mention "Non publié au Bulletin" accolée à tous les arrêts de CA est donc en trop
• les mots-clés ajoutés automatiquement par Pappers sont à notre sens trop nombreux, pour environ un tiers peu pertinents et les mots-clés les plus importants peuvent manquer dans l’abstract, sauf lorsqu’il s’agit d’arrêts de la Cour de cassation publiés au Bulletin des arrêts de la Cour (dit Bull. Civ. ou Bull. Crim. en abrégé). Par exemple, sur Pappers Justice, ce jugement de Tcom [17] porte sur la contrefaçon et les "dessins et modèles" mais ces deux mots-clés n’apparaissent pas dans l’abstract. Modèle apparaît certes, mais ce n’est pas l’expression consacrée, qui est "dessins et modèles". Ce sont pourtant les deux principaux sujets de la décision. Autre exemple dans la décision en copie écran infra. L’exception se voit supra avec les copies écran comparées de Pappers Justice et Légifrance de l’arrêt Cass. Com. 8 octobre 2013 n° 12-22.952, publié au Bulletin : là oui, Pappers reprend les mots-clés de l’abstract de Légifrance — heureusement
• plus gênant : les articles de Codes cités (et présents dans d’autres décisions : voir colonne de droite) retenus automatiquement par Pappers ne sont souvent pas ceux correspondant aux bases légales de la décision, autrement dit aux points de droit en discussion dans la motivation de la décision. Exemple : CA Paris Pôle 5 Ch. 3, 22 septembre 2010 n° 09/03224 : les articles cités 786, 910, 450 et 700 CPC ne concernent que des aspects anecdotiques de procédure et absolument pas le fond de l’affaire dont les sujets sont l’opposition au prix de vente par un créancier et l’absence de preuve de sa créance, sujets pour lesquels aucune base légale sous forme de numéro d’article n’est citée ... L’analyse automatique du texte de l’arrêt est ici impuissante voire trompeuse.
  Même pour les arrêts Cass. publiés au Bulletin qui bénéficient donc d’une analyse humaine de leurs base légales ("Analyse > Textes appliqués"), Pappers n’a pas repris cette donnée pourtant disponible sur Légifrance (contrairement, comme on l’a vu, aux mots-clés de l’abstract).
  Par ailleurs les articles de textes officiels autres que ces Codes (lois, décrets, arrêtés) ne sont pas relevés par les algorithmes de Pappers Justice. Exemple : Cass. com. 22 janvier 2002 n° 99-11409 : « la cour d’appel a privé sa décision de base légale au regard des articles 853 CPC, ensemble les articles 50 de la loi du 25 janvier 1985 et 175 du décret du 27 décembre 1985 » : seuls l’article 853 CPC est mentionné comme cité par Pappers, pas les deux autres.

A noter / précisions sur les origines des décisions présentes sur Pappers Justice

Pappers Justice n’affiche pas la totalité des résultats d’une requête dès que celle-ci dépasse les 400 résultats. Ainsi, la requête Tous les TA donne-t-elle 29124 résultats mais Pappers Justice n’affiche que 400 (les plus anciens) de ces 29124. Peur des téléchargements sauvages ? JP Ninja affiche, elle, jusqu’à 10000 résultats.

J’ai des interrogations sur la provenance du contenu par Pappers, JP Ninja et LexisNexis. LexisNexis aurait-il manqué d’intégrer certains arrêts open data de la Cour ? Pappers d’autres arrêts ? Le fonds open data de Cour de cassation de JP Ninja est-il complet ? En effet, la requête responsabilité skipper sur la seule Cour de cassation produit :

• selon Pappers, 65 décisions, qui semblent toutes contenir les deux mots-clés demandés
• selon JP Ninja, 8 décisions seulement (alors que c’est censé être le même fonds). NB : il faut mettre les guillemets à skipper
• et selon Lexis 360, 40 décisions (soit 25 de moins que Pappers), mais certaines remontent aux années 80 (époque que n’atteint pas Pappers).

Les arrêts de cour d’appel déjà présents sur Légifrance (base CAPP, remontant à janvier 1999 [18] et reprise dans Judilibre) ont été repris aussi dans Pappers Justice.

En revanche, le fonds JuriCa n’est pas disponible dans Pappers Justice puisque, comme nous l’avons expliqué dans notre article Open data des décisions de justice : le calendrier est publié ..., l’open data ne couvre pas le fonds JuriCa. JuriCa, c’est le "stock" des arrêts d’appel de 2000 à mars 2022, qui reste commercialisé et donc non disponible pour les petites structures n’ayant pas les moyens de se payer une plateforme d’éditeur [19]. Mais il y a une exception. Un tout petit bout de JuriCa devrait [20] être présent dans Judilibre — et donc a priori aussi dans Pappers Justice : les arrêts JuriCa antérieurs au 15 avril 2022 et faisant ou ayant fait l’objet d’un pourvoi [21]. Ce qui semble cohérent : avoir les arrêts Cass’ sans ceux de CA objets des pourvois serait un peu ...

Autre subtilité : ce qui est en open data n’est pas forcément dans Arianeweb. Exemple : l’arrêt CAA Bordeaux 25 août 2022, n° 22BX01343, disponible sur Pappers Justice, est dans le flux open data mais pas dans ArianeWeb. Ce qui montre bien que Pappers Justice reprend à la fois ArianeWeb (pour l’historique) ET le flux open data mis à disposition sur le site open data de la justice administrative. Pappers confirme et ajoutent qu’ ils utilisent aussi l’API Judilibre disponible sur le portail PISTE côté judiciaire pour les décisions les plus récentes.

On trouve aussi sur Pappers Justice des décisions judiciaires de première instance (mais peu) comme (au 29 août 2022) 170 jugements de tribunaux de commerce (contre 14 sur Légifrance) ou 6194 décisions de tribunaux de grande instance (TGI) contre 1468 seulement sur le portail public. Pappers nous a en indiqué la provenance : il s’agit de la base Data INPI. Ces jugements ont en effet tous à voir avec la propriété industrielle (marques, brevets, dessins et modèles).

Pappers indique qu’ils utilisent également les données mises à disposition par la DILA qui intègrent certaines décisions récentes. C’est pour cela qu’il y a des doublons (ils ne sont pas les seuls, on retrouve le même problème chez certains éditeurs, notammment Lexis 360) — problème qu’ils essayent de corriger.

Enfin, Légifrance est "out" sur ce coup-là : la plateforme juridique publique n’a pas intégré les arrêts de l’open data. Exemple : CA Toulouse 3 juin 2022 : rien sur Légifrance, alors que Judilibre et Pappers JP ont des arrêts de Toulouse pour cette date.

Conclusion : new boss in town ?

Les éditeurs (Lexis 360, Lamyline etc.), eux, les ont bien intégrées dans leurs bases, ces décisions en open data. La différence, c’est que toute legaltech peut les récupérer (par l’API Piste) et que c’est gratuit.

Est-ce que ça va rester libre ? On peut se poser la question. Doctrine était gratuit aussi à ses débuts en 2016. Disons qu’il est probable [22] que Pappers Justice reste gratuit, puisque Pappers RCS l’est resté — ce sont des prestations supplémentaires que Pappers RCS vend. Cette interview très instructive de Pierre Fruchard par le Portail de l’IE [23] tend à confirmer que c’est bien là le business model de Pappers [24].

Pappers rediffusait déjà l’open data du RNCS publié par l’INPI (comme RCS Ninja), ils vendaient déjà des sélections personnalisées, ils étaient donc dans l’information légale et sur les sociétés et voilà qu’ils investissent le juridique.

Interview de Pierre Fruchard, le fondateur de Coover et Pappers, par Compta Online, 3 septembre 2020 (deux mois après le lancement de Pappers RCS)

S’il y a une chose que j’ai apprise en suivant Pappers RCS [25] depuis son lancement en juillet 2020, c’est que le fondateur de Pappers suit une politique de développement informatique rare mais potentiellement puissante ... Pappers RCS a fait du développement en méthode agile mais sans perfectionnisme et en se reposant massivement sur les retours des réseaux sociaux — qu’il demande expressément d’ailleurs. Retours d’autant plus massifs et riches que son site est gratuit — le fondateur Pierre Fruchard parle même de « modèle gratuit » [26] ... Par rapport à ses concurrents (open data et éditeurs), Pappers offre aussi une API (voulue de meilleure qualité que celle des pouvoirs publics ...) et des prestations supplémentaires payantes. C’est là à notre avis un cercle vertueux et un nouveau "busines model" dans la legal tech et l’édition juridique [27].

Il y a donc désormais, clairement, un nouveau membre très sérieux chez les legaltech : Pappers / Coover [28].

Emmanuel Barthe
documentaliste juridique, testeur de bases de données juridiques depuis 1993, amateur raisonné et critique de l’open data