Datajust : un traitement de données (abandonné) pour élaborer un algorithme en matière d’indemnisation du préjudice corporel ...

... et pour évaluer les politiques publiques en matière de responsabilité civile et administrative

L’expérimentation DataJust avait débuté en 2020 pour passer au crible la jurisprudence en matière de préjudices corporels afin d’établir un référentiel de l’indemnisation à laquelle les victimes peuvent prétendre.

Mais DataJust a fâché les avocats. Et surtout, DataJust a échoué. L’expérimentation a été officieusement abandonné le 13 janvier 2022. Retour sur le débat et les raisons de l’abandon.

DataJust officiellement

Voici le décret de création :

Décret n° 2020-356 du 27 mars 2020 portant création d’un traitement automatisé de données à caractère personnel dénommé « DataJust », JORF n° 77 du 29 mars 2020 texte n° 2

Présentation officielle : « ce décret autorise le ministre de la justice à mettre en œuvre, pour une durée de deux ans, un traitement automatisé de données à caractère personnel, dénommé « DataJust », ayant pour finalité le développement d’un algorithme destiné à permettre l’évaluation rétrospective et prospective des politiques publiques en matière de responsabilité civile et administrative, l’élaboration d’un référentiel indicatif d’indemnisation des préjudices corporels, l’information des parties et l’aide à l’évaluation du montant de l’indemnisation à laquelle les victimes peuvent prétendre afin de favoriser un règlement amiable des litiges, ainsi que l’information ou la documentation des juges appelés à statuer sur des demandes d’indemnisation des préjudices corporels. Le décret définit les finalités du traitement, la nature et la durée de conservation des données enregistrées ainsi que les catégories de personnes y ayant accès. Il précise enfin les modalités d’exercice des droits des personnes concernées. »

Selon l’équipe chargée du développement, « les victimes pourraient comparer en pleine connaissance de cause les offres d’indemnisation des assureurs et les montants qu’elles pourraient obtenir devant les tribunaux ; les avocats disposeraient d’informations fiables leur permettant de conseiller leurs clients ; les magistrats auraient un outil d’aide au chiffrage des préjudices grâce à un accès facilité à des jurisprudences finement ciblées ».

Cette expérimentation, mise en place pour une durée de deux ans, s’appuyait sur des données extraites de décisions d’appel rendues entre le 1er janvier 2017 et le 31 décembre 2019 par les juridictions administratives et civiles dans le cadre de contentieux portant sur l’indemnisation de préjudices corporels. Les analyses prévues concernaient :

• les noms et prénoms des personnes physiques mentionnées dans les décisions de justice, à l’exception de ceux des parties ; la sélection d’une catégorie particulière de personnes à partir de ces seules données était interdite
• des éléments d’identification des personnes physiques
• des données et informations relatives aux préjudices subis
• des données relatives à la vie professionnelle et à la situation financière
• des avis des médecins et experts ayant examiné la victime et le montant de leurs honoraires
• de données relatives à des infractions et condamnations pénales et relatives à des fautes civiles
• le numéro des décisions de justice.

C’était en fait un vieux projet [1], rendu public lors de la deuxième édition de la Vendôme Tech, en décembre 2018, un événement désormais annuel de présentation des projets de transformation numérique de la Justice. Le projet s’inscrivait dans le cadre de l’avant-projet de réforme de la responsabilité civile et visait à donner à la Cour de cassation et au ministère de la Justice des données et des armes, donc, dans le débat sur le coût de cette réforme pour les assureurs (et les primes d’assurance).

Les données sur le dommage corporel étaient très nombreuses (et ils n’auraient été présent que dans une décision sur 10 voir sur 100 selon V. Rivollier) et étaient manuellement qualifiées/extraites, mais selon Vincent Rivollier (L’aventure datajust : histoire d’un échec, séminaire Nouvelles technologies et justice du 14 mars 2023, voir mes notes infra) le but à terme était que leur qualification/extraction se fasse automatiquement (par machine learning). Autrement dit, le but était techniquement double : développement d’un référentiel d’indemnisation (un quasi-barème, disons le mot) et d’un algorithme pour y arriver. Il est également probable que Datajust était pour les autorités judiciaires l’occasion de tester ce qu’elles pouvaient faire avec l’open data des décisions de justice.

Les réactions à DataJust

Vieux projet ou pas, il n’empêche : les effets de DataJust risquaient de ne pas être totalement neutres.

La sélection de commentaires qui suit en donne une idée. Et il y en a beaucoup d’autres, presque tous négatifs.

C’est en partie exagéré, si on en croit le commentaire de Pierre Januel (ancien porte-parole du ministère de la Justice) et les réponses ministérielles de la Chancellerie.

A titre personnel, je pense que la Cour de cassation peut avoir eu pour but de se constituer une compétence en la matière afin de ne pas être dépendante des applications commerciales sur un sujet important ni des barèmes des cours d’appel.

Toutefois, Datajust, c’est une manière de réaliser un barème "new wave", et cela peut donc faire penser aux recherches menées par Jacques Lévy-Véhel, qui aboutirent au fameux barème Macron en matière de licenciement sans cause réelle et sérieuse.

Pour relativiser

Le discours de présentation du projet de réforme du droit de la responsabilité civile par le garde des Sceaux de l’époque (13 mars 2017), Jean-Jacques Urvoas, mentionne qu’ « il est prévu de créer :

• une base de données jurisprudentielles permettant de situer l’évaluation de chaque victime dans son contexte précis
• ainsi qu’un référentiel d’indemnisation, purement indicatif, adossé à cette base de données et réévalué régulièrement. ».

Pierre Januel (journaliste juridique) sur Twitter tend à relativiser les peurs, notamment des avocats. Il a publié un court article sur le sujet dans la newsletter Dalloz Actualité. Lire aussi les commentaires (d’avocats) sous son post.

Idem pour les Actualités du droit (Lamy).

Pour la députée Josiane Corneloup, qui parle visiblement pour les avocats et s’exprime par une question ministérielle à la ministre de la Justice [2], « derrière la création d’un référentiel grâce à l’intelligence artificielle se profile la possibilité pour les compagnies d’assurance d’invoquer le barème pour régler les dossiers hors de tout processus judiciaire, autrement dit la déjudiciarisation ». Selon la réponse de la Chancellerie, « ce projet de référentiel indicatif d’indemnisation répond à l’absence, pour l’heure, d’outil officiel, gratuit et fiable à disposition des publics concernés (victimes, avocats, magistrats, fonds d’indemnisation, assureurs) » [3]. Au passage, la Chancellerie reconnaît que « divers référentiels "officieux" sont aujourd’hui utilisés par les praticiens sans aucune transparence pour les personnes concernées » [4].

Le ministère de la Justice a également essayé "d’éteindre l’incendie" dans une réponse ministérielle simialire à une question du sénateur Jean-Pierre Sueur [5]. Extrait :
« Loin de remplacer les professionnels du droit par des algorithmes, ce référentiel indicatif vise à mieux les informer, ainsi que les victimes qu’ils sont amenés à conseiller, sur le montant de la réparation que ces victimes sont susceptibles d’obtenir devant les juridictions — à l’instar du référentiel inter-cours ou des bases de données de jurisprudence actuellement utilisées par les praticiens. Mais cette indemnisation restera intégrale, ce point est essentiel. Loin de figer les indemnisations ou de porter atteinte à l’individualisation de la réparation, ce projet vise, in fine, à permettre une plus juste indemnisation des victimes dans le respect total de l’indépendance du juge. Le décret du 27 mars 2020 est enfin très circonscrit, puisqu’il encadre uniquement le développement informatique de l’algorithme destiné à créer ce référentiel indicatif pour une période de temps limitée à deux années. Cette étape doit permettre au ministère de la justice d’évaluer la faisabilité technique du projet. Si les travaux à mener s’avèrent concluants, un second décret viendra ensuite encadrer la mise à disposition au public, en conformité avec les règles prévues pour la mise œuvre de l’open data des décisions de justice. Une consultation aura alors lieu sur ce second projet de décret. »

A noter que d’autres référentiels d’indemnisation en matière de réparation du dommage corporel existaient déjà (Mornet [6] — appliqué par les juridictions judiciaires et le plus généreux —, ONIAM et FGTI), sans parler des barèmes médico-légaux, des modèles de missions d’expertises (AREDOC, ANADOC, Mornet) et enfin des nomenclatures de préjudice (Dintihlac, jurisprudence) [7].

Pour s’inquiéter

Christiane Ferahl-Schuhl, ex-bâtonnier de l’ordre des avocats de Paris : sa réaction sur son compte LinkedIn considère implicitement que ce traitement et futur algorithme est un danger pour la personnalisation de la réparation du préjudice. D’autres avocats précisent que les barèmes existant font déjà le travail d’uniformisation et que ce traitement viserait d’abord à baisser les évaluations (i.e. irait dans le sens des assureurs).

Dédiés à la défense des intérêts des victimes, l’Association nationale des avocats de victimes de dommages corporels (ANADAVI) « rappelle son opposition à tout référentiel d’indemnisation. Avec le décret prétendant "favoriser les règlements amiables", un pas vers la justice numérique et forcément déshumanisante semble avoir été franchi ».

Selon l’avocat Hervé Gerbi, l’algorithme du logiciel DataJust sera « en fait la mise en place d’un barème qui va uniformiser les décisions des juges » et « pénaliser les victimes » [8]. Il précise :
« Un doigt coupé, c’est en général 2 % d’incapacité. Mais si vous êtes pianiste professionnel, le préjudice ne sera pas le même car c’est alors toute votre carrière qui est en jeu. L’algorithme de DataJust va nier cette particularité. En voulant rendre la justice égalitaire, on va la rendre inéquitable. Cet algorithme va pénaliser les victimes. On va uniformiser leurs indemnisations. Ce sera une aubaine pour les assureurs. Pourquoi en effet aller devant la justice si le juge utilise le même instrument que l’assureur. »

Dans la revue Progressistes, un informaticien écrit : « On comprend tout l’enjeu de cette question lorsqu’on sait que 95 % des dossiers relatifs aux dommages corporels sont gérés par les assureurs [autrement dit des transactions], alors que les 5 % qui passent par la voie judiciaire représentent 45 % du total des indemnisations versées aux victimes. » On doit ajouter qu’auraient aussi manqué dans Datajust les décisions de justice de première instance et celles d’appel des juridictions pénales.

Benoît Guillon, avocat spécialisé en réparation du dommage corporel et Cécile Moulin, docteure en droit, enfoncent le clou dans une analyse détaillée du décret : Un grand pas vers la barémisation, un pas en arrière pour le handicap. Extraits : « Afin d’atteindre ces objectifs, le décret autorise le traitement de données sensibles, notamment relatives à la santé, à la sexualité et à la religion des victimes, imposant un risque réel de réidentification, tout en les privant sans fondement de certains de leurs droits fondamentaux. Pour autant, le gouvernement a décidé de s’affranchir de toutes les règles de contrôle existantes (décr., art. 6). [...]
Le droit à l’opposition au traitement des données personnelles est le deuxième droit exclu par l’article 6 du décret, en se fondant sur l’intérêt général de l’accès au droit prévu à l’article 23 du RGPD. Si la CNIL ne semble pas avoir effectué un contrôle étendu sur ce point, il apparaît néanmoins que les deux conditions subordonnant l’exclusion de ce droit ne sont pas satisfaites. En effet, ce droit fondamental peut être exclu uniquement par la voie de mesures législatives et lorsqu’une telle limitation respecte l’essence des libertés et droits fondamentaux et qu’elle constitue une mesure nécessaire et proportionnée dans une société démocratique. Il sera donc relevé que DataJust méconnaît l’article 23 du RGPD et le principe de hiérarchie des normes. [...]
Deux écueils se profilent, le premier afférant à la limitation du panel disponible d’arrêts JuriCA pour les cas de victimes gravement atteintes, dont le DFP est supérieur à 30 %, ce panel étant insuffisant pour fonder des statistiques objectives (v. les rapports annuels FVI). À l’inverse, la grande majorité des petits préjudices à faible taux de DFP trouvent une solution amiable et ne sont en conséquence pas intégrés dans les bases de données précitées.
Aucun contrôle sur les bases de données JuriCA et Ariane n’est possible, celles-ci n’étant pas ouvertes. Ainsi, les datas mises à la disposition d’un algorithme dont la nature et les contours restent totalement indéterminés ne pourront être sérieusement appréciées. Quant au contrôle a posteriori des données traitées, il ne pourra avoir lieu, celles-ci étant détruites au bout de deux ans. »

Le Monde du droit du 6 avril 2020 : avocats et magistrats s’expriment : la crainte d’une standardisation et d’une déjudiciarisation est flagrante.

Le 30 mars, l’avocate Mila Petkova parle de « redoutables effets secondaires ». Elle souligne que « la CNIL rappelle qu’un tel outil ne doit consister qu’en une aide à la décision et non une décision elle-même. Nous craignons pourtant que ce rappel des principes essentiels ne demeure qu’un vœu pieu. La réalité, faite de difficultés d’appréciation, d’absence de temps judiciaire disponible et probablement d’indisponibilité du fonctionnement de l’algorithme pour toutes les parties au procès, montrera un glissement insensible d’un outil d’aide à la décision vers un référentiel opposable. »

Le 1er avril, l’avocat Thierry Vallat dénonce le danger d’une « robotisation de la justice » et d’« une marginalisation consciente du rôle des avocats ». Cette publication constitue, selon lui, « une nouvelle attaque frontale contre les avocats et leur rôle de plus en plus congru dans les procédures, sans parler du bras de fer sur leur régime de retraite objet d’une grève de plus de 9 semaines des robes noires de tous les barreaux français » (« La ministre et l’erreur temporelle : DataJust, un décret qui ne tombe pas à pic »).

Le CNB a promu un projet de résolution déposé le 11 mai à l’Assemblée nationale demandant le retrait de ce décret et qui résume assez bien les principaux reproches faits à la justice dite "prédictive" et en réalité encore balbutiante (voir sur ce blog notre étude sur l’IA en droit).

Le projet a été attaqué en justice par des avocats, les associations APF France handicap et l’association la Quadrature du Net. Cette dernière expliquait que le projet consistant à « développer un obscur algorithme d’aide à la décision en matière d’indemnisation de préjudices corporels ». L’association critique la méthode « dangereuse » utilisée par l’Etat : « sous couvert d’expérimentation, l’État s’affranchit des lois qui protègent les données personnelles et la vie privée ». Le 30 décembre 2021, le Conseil d’Etat a toutefois conclu à la validation de Datajust. Dans sa décision, le Conseil d’Etat s’est satisfait d’une information générale, et non individuelle, des personnes, « eu égard au grand nombre des décisions juridictionnelles à traiter ». Quant à l’absence de droit d’opposition, aucun problème : cette dérogation était « justifiée par la nécessité de disposer d’une base de données d’indemnisation aussi représentative et complète que possible » [9].

Yannick Meneceur, magistrat, connaît bien le sujet. Dans son billet de blog [10], il fait trois reproches, beaucoup plus techniques et à mon sens tout aussi pertinents, à Datajust :

• « L’algorithme va en effet influer sur la décision d’aller en justice en communiquant des informations potentiellement biaisées. En effet, "l’apprentissage" de Datajust ne portera que sur les décisions rendues entre 2017 et 2019 par les cours d’appel judiciaires, dans leur formation civile, et les cours d’appels administratives, ce qui ne donnera qu’une représentation très partielle de la réalité qu’il prétend restituer. Cette sélection, en plus se limiter à la seconde instance qui ne dispose d’aucune autorité spécifique par rapport à la première instance, exclue toute la partie de contentieux portant sur l’indemnisation des préjudices corporels à l’occasion d’un procès pénal. Il sera, de plus, bien difficile d’identifier les décisions prononcées dans des dossiers dans lesquels une transaction est intervenue, injectant ainsi dans le système des indemnisations potentiellement minorées au regard des circonstances de l’espèce.
• Cet algorithme va également s’appuyer sur une technologie peu adaptée pour procéder au traitement d’une telle quantité d’informations qualitatives : il ne s’agit pas en effet de faire une simple médiane ou moyenne des montants précédemment alloués mais d’aller chercher les potentiels éléments de motivation pouvant avoir un lien avec un montant spécifique. Opérer cette analyse, c’est composer un cadre interprétatif, où les concepteurs vont devoir identifier des paramètres leur paraissant pertinent. Voici tous les ingrédients réunis pour du "data dredging" (dragage de données), c’est-à-dire restreindre le panel de décisions sélectionnées à celles se devant de correspondre au cadre posé.
• Enfin, l’avantage d’un tel traitement informatique par rapport à une nomenclature figée est son caractère potentiellement dynamique : or le traitement sera ici limité à une durée de deux ans, le temps de construire le modèle, et les données seront ensuite détruites. »

En plus des biais dans les données, Y. Meneceur liste des biais cognitifs en matière de justice prédictive et de barèmes [11] :

• le biais d’automatisation : la propension humaine à privilégier les suggestions automatiques des systèmes de prise de décision et ignorer des informations contradictoires faites sans cette automatisation même si elles sont correctes
• le biais d’ancrage : la difficulté à se départir d’une première information, même parcellaire, notamment quand il s’agit d’apprécier une situation chiffrée.

Juste après l’abandon du projet, Yannick Meneceur réagissait ainsi dans les colonnes d’Acteurs publics [12] :
« Il y a beaucoup à dire sur les fragilités des projets de “jurimétrie”, auxquelles DataJust n’échappe pas, notamment en ce qui concerne l’exactitude des informations produites. Malheureusement, un certain nombre de représentations erronées, intuitives et tenaces, structurent encore les débats à haut niveau en la matière, parfois au mépris de réalités pourtant bien documentées. À titre d’exemple, l’on entend souvent qu’un grand nombre de décisions est nécessaire à la fiabilité de ce type d’algorithme et que l’open data est indispensable pour achever un objectif d’exactitude. Des mathématiciens comme Cristian S. Calude et Giuseppe Longo ont pourtant démontré que l’élargissement d’une base de données conduisait inévitablement à l’apparition de “corrélations fallacieuses”, c’est-à-dire de liens entre des données résultant du hasard et non de réels liens de causalité.
« Ces projets de “jurimétrie” se heurtent également à la croyance qu’une large généralisation de l’apprentissage automatique, et de l’apprentissage profond (deep learning), est possible à la suite de succès comme pour la reconnaissance d’images ou des jeux de société. Or s’il est aisé pour une machine de s’en sortir dans un environnement fermé, avec des règles simples et constantes comme le jeu de go, il est en bien autrement dans des environnements ouverts, emplis d’ambiguïtés, d’événements non prévisibles et exigeant de la contextualisation. Tout ce qu’une intelligence artificielle ne sait pas faire aujourd’hui, notamment face à la “texture ouverte” de l’interprétation juridique, où deux raisonnements valides peuvent conduire à des décisions opposées. »

Selon les notes que j’ai prises lors de l’intervention de Vincent Rivollier lors du séminaire du 14 mars 2023 sur l’échec de Datajust [13] :

– Selon un modèle économique, la prévisibilité (par publication en open data des décisions de justice) encouragerait le règlement amiable. Un autre modèle considère que cela va renforcer le recours au contentieux car l’inconnu/l’aléa inciterait à négocier.

– Trop de critères étaient prévus.

– Les difficultés techniques liées au fonds des décisions (JuriCA essentiellement) (=> extraction automatisée par les legal tech => faible qualité) :

• le fait que la majorité des affaires de dommage corporel sont réglés amiablement fait que la complétude des données disponibles dans les décisions de justice en ce domaine est faible. Notamment :
  • l’évolution des textes (loi de programmation pour la justice de mars 2019 entre autres) pousse à encore plus de règlement amiable. Mais il y avait déjà une large majorité de règlements amiables en dommage corporel. Ne serait-ce que parce que, déjà, les assureurs sont obligés par la loi de faire une offre d’indemnisation
  • plus le dommage est grave, moins il y a de règlement amiable
• problème des habitudes de rédaction différentes d’un juge (judiciaire, pas administratif) à l’autre. C’est ainsi que le début du dispositif en première instance est exprimé de manière très variée (par exemple : "Sur ce : ". => Rien que repérer la décision finale du juge elle-même (i.e. qui a gagné et surtout combien) dans l’affaire est difficile
• de nombreuses informations cruciales sont situées hors du texte de la décision (dans d’autres décisions, des rapports ...)
• les critères utilisés par le juge ne sont pas toujours explicites, et les motifs parfois non plus.

– Les référentiels utilisés par les juges évoluent lentement et très peu à la fois : par exemple, pas de revalorisation du fait de l’inflation dans les référentiels indemnitaires ... => les avocats demandent une revalorisation.

– Le projet Datajust n’a pas dépassé le stade de l’extraction/étiquetage des données. Un outil de structuration automatisée était en train d’être créé quand le projet a été stoppé.

– Des acteurs de la legaltech font [NB : Case Law Analytics, et avec moins de rigueur Predictice] déjà ce que proposait Datajust ... Les acteurs privés risquent de réaliser Datajust sans aucun contrôle de qualité.

Voir aussi :

• Datajust, une contribution à la transformation numérique de la justice, par A. Bensamoun et Th. Douville, La Semaine Juridique, Edition Générale (JCP G) n° 19, 11 mai 2020, p. 582
• Les risques et les potentialités de la réparation algorithmique des préjudices consécutifs à un dommage corporel : Rapport français, par V. Rivollier et M. Viglino, in Responsabilité civile et intelligence artificielle, dir. Olivier Gout, Bruylant, 2022
• Le retrait de DataJust, ou la fausse défaite des barèmes, par Vincent Rivollier, Manon Viglino et Christophe Quézel-Ambrunaz, Recueil Dalloz 2022. 467
• Extraire des informations fiables des décisions de justice dans une perspective prédictive : des obstacles techniques et des obstacles théoriques (résumé, vidéo), par J. Barnier, J. Jeandidier, I. Sayn, Jurimétrie, 2022 p. 89 [14]
• les publications et rapports d’Isabelle Sayn cités dans notre long billet sur les outils de l’IA pour le droit.

Abandon final du projet

Le ministère de la Justice actait, le 13 janvier 2022, l’abandon du développement en interne de son algorithme DataJust, face à la complexité du chantier. Vincent Rivollier estime que les autorités judiciaires ont été trop ambitieuses voire naïves en sous-estimant les difficultés méthodologiques du projet et les insuffisances des fonds/données.

Selon Acteurs publics, « le projet a été accueilli pour le moins froidement par les professionnels du droit, mais la base de données sur laquelle l’algorithme était entraîné était biaisée car incomplète, en l’absence des décisions de première instance notamment. Surtout, "le préjudice corporel est lui-même intrinsèquement très compliqué, avec 40 dimensions à prendre en compte, et la mobilisation de moyens [notamment pour étudier et prévenir les biais algorithmiques, ndlr] était trop conséquente pour atteindre un niveau de performance indiscutable", souffle une source aux faits du dossier. Pour toutes ces raisons, un comité stratégique a scellé le sort de DataJust, le 13 janvier. Contacté, le ministère de la Justice a simplement indiqué qu’un bilan de l’expérimentation était en cours, mais n’a pas voulu confirmer l’arrêt du développement. » [15].

ActuIA soulignait par ailleurs que le décret prévoyait que « les informations et données à caractère personnel enregistrées sont conservées pour la durée nécessaire au développement de l’algorithme, cette durée ne pouvant en tout état de cause excéder deux années à compter de la publication du décret Datajust. ». Il ne restait donc qu’un peu plus de deux mois pour achever le développement de DataJust, ce qui devenait de plus en plus irréalisable dans les délais prévus [16].

Toujours selon Acteurs publics et toujours début 2022, la Chancellerie « cherch[ait] une voie de sortie honorable, ou à tout le moins d’offrir une seconde vie aux travaux initiés en 2019 par la Direction des affaires civiles et du sceau (DACS) avec le programme “Entrepreneurs d’intérêt général”, pour tester l’approche et commencer à structurer les données issues des décisions de justice. Le ministère réfléchi[ssait] donc à un moyen légal de sauver les données collectées dans le cadre de l’expérimentation – plutôt que de les supprimer, comme l’exige le décret de création – et d’en ouvrir l’accès sous conditions à des chercheurs pour qu’ils poursuivent ou mènent leurs propres travaux. » Il semble aujourd’hui (mars 2023) que rien de plus ne sera fait et que Datajust est totalement et définitivement mort.

Emmanuel Barthe
documentaliste juridique, veilleur, spécialiste des données publiques juridiques