Supra Legem, un exemple de machine learning appliqué au droit

Entretien avec Michael Benesty, 8 mars 2017

Le site Supra Legem, tenu par le juriste et ingénieur machine learning Michael Benesty [1] [2], nous en apprend beaucoup sur la (soi disant) "intelligence artificielle" en droit. En le testant, on comprend que les fameuses "IA" en droit sont en réalité des moteurs de recherche évolués, dopés à l’apprentissage statistique automatique, dit "machine learning" (ML) [3].

Pour rédiger mon article sur l’IA en droit, j’ai eu besoin de mieux comprendre le machine learning et le fonctionnement de Supra Legem. Michael Benesty a accepté de me l’expliquer. Le billet infra résulte des notes prises pendant cet entretien.

La recherche dans Supra Legem : ce qu’apporte le ML

Jetez un coup d’oeil sur l’interface de recherche de ce moteur de recherche et d’aide à la décision [4].

Le principal intérêt de Supra Legem pour un utilisateur juriste sont les deux filtres suivant, disponibles dès la page d’accueil dans la colonne de gauche :

• filtre défendeur demandeur : l’intérêt majeur de ce filtre en droit administratif : il permet de cibler les affaires où une décision de l’administration est mise en cause. Si on ajoute que lorsque l’administration a pris la décision initiale, elle défend toujours le statu quo, ce filtre permet de connaître d’office le sens de la question, quelque soit le niveau de l’instance [5] : c’est pour ou contre l’administration/sa décision
• filtre sur le dispositif : permet de cibler, parmi les décisions où l’administration est demandeur (on a paramétré ça dans le filtre précédent), celles où l’administration perd. Si par contre, l’administration est en défense, un avocat n’aimera pas ça car ça ne va pas dans son sens. Il préférera les cas où l’administration est en demande et perd. Pourquoi ce réglage ? Parce que cela signifie que tous les moyens [6] qu’elle a soulevés ont été vains et donc que l’avocat, qui défend en général une société privée ou un particulier, a intérêt à éplucher les arrêts trouvés ainsi à la recherche des situations correspondantes et des arguments utilisés par le défendeur. Ce type d’arrêt est rare [7] et difficile à faire remonter, d’où l’intérêt de ces deux filtres de SupraLegem.

Entre parenthèses, ce serait la même logique en droit privé du travail (on serait hors droit public, donc sur une IA autre que Supra Legem) : employeur c/ employé, le licenciement est toujours du fait de l’employeur

M. Benesty précise qu’en droit judiciaire, notamment en droit civil, ce type d’approche est plus compliqué.

Pour aller plus loin, voir le billet 6 façons d’utiliser les algorithmes prédictifs pour améliorer vos recherches de jurisprudence, par Michael Benesty, Blog de Supra Legem 6 mai 2016.

Précisions importantes sur les apports du ML

En machine learning, les points de départ suivant sont très importants :

• la jurisprudence en droit administratif est "propre". Tout est rédigé de la même façon : le vocabulaire, et surtout le plan de la décision très systématique. Par exemple : en droit administratif, les faits ne viennent jamais au milieu de la décision, contrairement au droit judiciaire où des rappels peuvent apparaître dans tout le corps de la décision ; de la même façon, le droit administratif ignore le problème des moyens supplétifs
• en matière de reconnaissance d’image [8], les réseaux neuronaux ont permis en quelques années de passer de 40 à 5% de taux d’erreur (certains en sont à 3%).

En ML en droit on est plus dans le NLP (traitement du langage naturel) [9]. Les réseaux neuronaux du deep learning, qui font souvent la une dans la presse spécialisée, réduisent le traitement des données en amont [10] et on peut faire avec eux des choses plus génériques mais leur apport en droit est très inférieur à ce qu’ils ont fait pour la reconnaissance d’image. De plus, ils coûtent très cher en temps (parfois plusieurs semaines de calculs sont nécessaires, cela a été le cas avec le nouveau service de traduction mis en place en 2016 sur Google Translate [11]) et puissance de traitement [12].

NLP : le ML appliqué au langage

Le NLP d’aujourd’hui, c’est l’application du ML au langage (ce n’est pas, malgré son nom, la compréhension par la machine du langage naturel) : Depuis quelques temps l’algorithme non supervisé Word2vec a changé la façon d’approcher les apprentissages :

• créé par Google puis mis par lui en open source ; il y a deux ans Google l’a utilisé dans les algorithmes de son moteur de recherche web sous le nom de RankBrain, qui est maintenant le 3e signal en importance dans le ranking du moteur de recherche web de Google et facilite la lutte contre le spamdexing
• on lui donne du texte brut il remplace chaque mot par un vecteur/représentation, formalisée par une suite de chiffres sans signification pour un humain. L’idée derrière : retrouver le sens d’un mot en observant la distribution des contextes : le mot chien sera souvent accompagné de poil, chat, museau ... Il trouve ainsi tout seul les mots similaires parce que leurs vecteurs sont similaires. On peut aussi demander des syllogismes à l’algorithme : roi -> reine, homme -> il va trouver femme
• Michael Benesty utilise la variation de Word2vec développée par Facebook
• selon lui, Word2vec est :
  • très bon en sémantique. Word2vec est super bon pour trouver les cohyponymes (frères et soeurs de la racine sémantique de termes)
  • mais n’inclut pas d’informations de nature logique (ex. beau et moche ont des vecteurs similaires ... !).

La recherche en ML essaie cependant de faire de la logique : le taux moyen d’erreur est de 40% actuellement sur une tâche de role labelling, c’est à dire trouver dans un texte qui fait quoi. En pratique, ça se termine donc souvent en regex (il est très fréquent que les performances annoncées soient en fait le résultat de ML amélioré par des règles plus ou moins simples mises au point par un humain).

ML et droit des données personnelles

Le règlement général européen sur la protection des données personnelles (RGPD) [13] entre en application en 2018 [14]. Il donne à une personne physique le droit de demander à quelqu’un qui pris une décision ayant un effet légal fondé sur un algorithme d’expliquer et justifier sa décision. Vu la difficulté, même pour les développeurs ML, de comprendre comment l’algorithmes aboutit au résultat, cela va poser de sacrés problèmes si les juges et les forces de l’ordre se reposaient lourdement sur l’IA. Certains juges et avocats redoutent que des magistrats, par peur de rendre une décision qui sera cassée, pourraient se conformer à la tendance qu’une IA aurait révélée.

ML et discrimination

Comment expliquer la discrimination policière (surveillance policière, arrestations) et judiciaire (application des peines) causée au Etats-Unis par le machine learning ? En fait, les algorithmes ML renforcent la discrimination parce que le machine learning optimise — dans le bon comme dans le mauvais sens — les biais des humains [15]. Le ML a tendance à reprendre et aggraver ces biais parce que c’est une technologie ultra dépendante des données qu’on lui fournit.

Au point que Michael Benesty recommande de faire travailler l’algorithme dans cet ordre : d’abord lui donner des bases de données de textes éloignées du sujet sur lequel on veut le spécialiser puis se rapprocher progressivement et terminer avec des textes pile sur le sujet (ex. ici en droit commencer par la base Gutenberg puis terminer par Legifrance). Il sera ainsi meilleur sur le sujet que si on lui avait fait "manger" les bases de textes dans le désordre.

Emmanuel Barthe
bibliothécaire documentaliste juridique
testeur de bases de données