Tout sur les bugs d’Affelnet à Paris

Un point sur les évolutions et une bibliographie sélective sur les effets pervers de l’algorithme d’affectation

Ce billet cherche à mettre à jour — sans le réécrire en entier — celui que j’ai publié en juillet 2017 : Affelnet : le logiciel d’affectation dans les lycées à Paris bugue sévèrement pour la deuxième année consécutive.

En 2016 et 2017, les élèves boursiers, favorisés par l’algorithme Affelnet et dont les familles avaient pleinement intégré cet avantage dans leur stratégie, ont eu tendance à préempter les secondes des meilleurs lycées du district Est. Le record avait été atteint au lycée Turgot, avec 83% de boursiers en seconde ! [1] Du grand n’importe quoi. Avant Affelnet les proviseurs faisaient peut-être leur "marché" dans les sous-sols du rectorat, mais au moins ils ne faisaient pas n’importe quoi.

Ce qui a changé depuis 2016

Un point rapide sur les changements apportés depuis 2016 à l’algorithme Affelnet :

– L’effet du bonus boursier a été réduit depuis le scandale de 2016 puisqu’une limite de 50% de boursiers par lycée a été instaurée pour l’été 2017. Résultat, il y a eu seulement 38% de boursiers au lycée Turgot en 2017.
Nous avons fait beaucoup de recherches sur cet effet, mais aucun article de presse n’est paru depuis 2016 sur l’évolution de l’effet du bonus boursier. Seuls les sites de la FCPE en parlent.
Pour autant, cet effet n’a pas disparu puisque 20% des élèves parisiens de 3ème sont boursiers — oui, 1 sur 5 ! — et que par effet de lissage, le total des points qu’ils gagnent en tant que boursiers est entre 450 et 550 points (mais jamais les 600 points théoriques maximum). Moralité : avant la limitation à 50%, l’élève boursier obtenait systématiquement son premier choix, quel qu’il soit et surtout quelles que soient ses notes !

– Un critère supplémentaire a été créé en 2017 : le socle commun de compétences. Il est hélas évalué par le seul professeur principal et sans consignes ni coordination entre professeurs principaux. Or ce « socle de compétences » vaut plus de points que les notes obtenues au cours de l’année — ce qui est d’ailleurs dans la continuité de la conception d’Affelnet puisque les notes de l’élève n’ont jamais dépassé plus de 40% des points et que l’algorithme est conçu comme devant lutter contre la ségrégation sociale par les notes. Son importance démesurée peut aussi se montrer ainsi, selon le collectif Parents d’élèves à Paris : « Si votre collège vous a donné 30 points de socle de compétence de moins que votre meilleur ami, pour avoir autant de points que lui, et donc la même affectation, il vous faut 4 points de moyenne générale sur l’année de plus que lui ! » Un communiqué du Syndicat national des enseignants du secondaire (SNES) d’avril 2018 affirme carrément que « le système de calcul des points de validation des compétences du socle [a] donné lieu à un détournement de la procédure par des chefs d’établissement pour favoriser leurs élèves ».

– Enfin, un bonus REP (réseau d’éducation prioritaire) a été créé pour 2018 (entrée en seconde en septembre 2018). Un bonus REP de 480 points est automatiquement attribué à tout élève ne bénéficiant pas d’une autre bonification (boursier, parcours à recrutement particulier ...) et ayant effectué ses 4 années de collège dans un établissement classé REP ou REP+ et formulant des vœux en seconde générale ou technologique.
Il y a débat : certains estiment son effet mineur, d’autres majeur (et négatif).

Aujourd’hui, on en est là : selon le dossier FCPE Affelnet 2018 à Paris, « les 19200 points du barème se décomposent comme suit :

En conclusion, en 2017-2018, le travail direct de l’élève ne compte que pour 20% du barème ! Et a contrario 60% du barème n’est pas du tout lié à son travail !

Un élève boursier a 4800 points de prime : en pratique, un boursier qui a 11 de moyenne générale a plus de points qu’un non boursier qui a 20. Comment l’expliquer à cet élève qui a vraiment travaillé pour en arriver là ? »

Le code source de l’algorithme (pas de l’application, donc juste du système d’affectation dans un lycée selon des points) a été publié. Jetez donc un coup d’oeil. C’est important, car c’est probablement ce qui a permis à des parents d’élèves informaticiens de mieux le décrypter et d’être certains de ce qu’ils avancent [2].

Mon avis personnel sur Affelnet

Trois, ou plutôt quatre choses :

1. En matière d’algorithmes, il serait quand même plus logique — et bénéfique — d’écouter les spécialistes. En effet, l’étude scientifique publiée en juin 2018 par Terra Nova et rédigée par quatre spécialistes français préconise carrément de remplacer l’algorithme utilisé par Affelnet par un autre mieux adapté à la finalité poursuivie (ici, la mixité sociale). Plus précisément, Affelnet est du type "école-proposant" et devrait être plutôt du type "élève-proposant". Julien Grenet, qui pourrait avoir inspiré Affelnet, dit la même chose et ajoute que de nombreux lycées (Henri IV et Louis-le-Grand) et formations sont hors Affelnet et que le nombre de voeux ne devrait pas être limité à 8, que le district Est est trop grand.

2. Plus on ajoute (ici, je dirais plus on plaque) des critères — particulièrement des critères sans aucune variabilité, sans aucune finesse autre que oui/non (le fameux bonus boursier) — à un algorithme, plus on en pervertit les résultats.

3. L’enfer est pavé de bonnes intentions : la naïveté, la volonté de neutraliser à 100% les discriminations sociales, crée d’autres discriminations. Il faudrait presque, à la limite, se mettre d’accord, par un débat politique, sur les discriminations que l’on est prêt à accepter. D’où la remarque qui suit.

4. Enfin, s’il faut certes parler des algorithmes (la preuve supra en 3.), il faudrait parler d’abord et avant tout des critères que l’on utilise dans ces algos et en débattre publiquement. Julien Grenet ajoute très justement aux reproches (mesurés) qu’il fait à Affelnet que le débat sur les critères de priorité et leur pondération n’a pas assez lieu et pas assez en public (il se fait surtout dans les couloirs du rectorat, autrement dit on revient à un des aspects de la situation ancienne [3]).

Je résumerais grossièrement ces quatre points ainsi : un algo, pour qu’il soit efficace, il faut d’abord choisir celui adapté aux finalités poursuivies puis "lui f... la paix".

C’est justement pour ces raisons que je ne suis que partiellement d’accord avec les organisations syndicales regroupées au sein de divers collectifs qui dénoncent notamment les bugs d’Affelnet :

– Ok pour supprimer les districts, leur bonus et tous les autres bonus. Comme l’écrit le groupe : « Comment comparer par exemple les districts Est et Ouest, pourtant totalement étanches entre eux :

• district Est : il a le plus fort taux d’élèves boursiers (26%) ; il a le plus grand nombre de collèges REP/REP+ (18 sur 30 pour tout Paris) ; il est le plus peuplé (40% des élèves de Paris dans ce seul district) ; il a le plus faible taux de satisfaction Affelnet (49% l’année dernière)
• district Ouest : il a le plus faible taux d’élèves boursiers (10%) ; il n’a aucun collège REP ou REP+ ; il est peu peuplé ; il a le plus fort taux de satisfaction Affelnet (73% l’année dernière). »
  Mais ce n’est pas gagné du tout. En effet, cela amènerait nettement plus de mixité sociale dans les lycées du district ouest hyper-favorisé ...

– Mais je ne suis pas favorable :

• à l’idée d’imposer à tous les lycées parisiens un tiers d’élèves de niveau faible, un tiers de moyens et un tiers de bons. Cela supposerait déjà une notation réellement et rigoureusement harmonisée entre tous les enseignants de même matière de tous les établissements parisiens et de proche banlieue. Et puis, on revient à ce que je dénonce plus haut : l’enfer est pavé de bonnes intentions ...
• ni à l’idée de remplacer les districts par des aires délimitées par les temps de transports.

Après, je ne me fais aucune illusion : Affelnet est une oeuvre du ministère de l’Education nationale (le Gouvernement donc) et les parents d’élèves parisiens sont des citoyens — et même plutôt influents (forte proportion de journalistes, hauts fonctionnaires, dirigeants d’entreprises ...). Cet algorithme est donc quelque chose d’éminemment politique. Et si c’est politique, il est quasiment impossible de laisser des statisticiens le gérer comme une pure chose scientifique. Pour le meilleur comme pour le pire.

Emmanuel Barthe
parent d’élèves parisiens

Tout (ou presque) sur Affelnet : une bibliographie

NB : cette liste reprend une partie des documents cités dans mon premier billet sur Affelnet et ajoute ceux pertinents et publiés depuis.

Best of :

• Analyse détaillée de l’Affelnet 2017-2018, blog FCPE du collège François Couperin, avril 2018
• Affelnet, qu’est ce qui compte le plus dans l’affectation ?, par Agnès Maître, blog FCPE du lycée-collège Hélène Boucher, janvier 2019, PDF, 4 pages (tous les billets publiés sur Affelnet par A. Maître). Technique mais si vous voulez vraiment comprendre Affelnet en détail, ça aide. A lire en juste après le lien précédent.
  C’est une étude statistique, qui montre ce qui a concrètement le plus de poids dans Affelnet. Même si vous connaissez le sujet, attendez-vous à des surprises. Par exemple :
  • le [socle de] compétences selon cette étude comptent pour trois fois plus que les notes des champs disciplinaires
  • le poids du sport dans l’affectation est donc deux fois plus important en sport qu’en mathématiques. Du point de vue strict de l’obtention du lycée désiré, il vaut donc mieux être bon en sport qu’en mathématiques
• Dossier « Affelnet » 2018 à Paris : pourquoi de dérives en dérives le système est passé d’inefficace à inique, et pourquoi le « Bonus REP » est une décision dangereuse, blog de la FCPE du collège François Couperin, avril 2018, PDF, 39 pages. Aisément compréhensible. lire en premier.
  Quelques extraits pour vous allécher — ou vous inquiéter :
  « Il ne sert à rien de se le cacher, l’offre des lycées à Paris est aussi une offre de niveau. Les proviseurs des lycées de meilleurs niveau, face à cette afflux d’élèves y entrant grâce à des bonus, ont tous la même "technique" correctrice pour garantir leur sacro-saint niveau de bacheliers : réorienter en première. C’est pour cela que l’année dernière, plus de 25% des élèves ont changé d’établissement pour entrer en première ! »
  Quand je parlais plus haut de naïveté ...
  « Ce système, initialement bâti pour offrir plus de mixité sociale, devait être clair et satisfaisant. Malheureusement, ses concepteurs en ont fait un système lourd et surtout opaque. Quelques caractéristiques de cette opacité :
  On ne nous donne pas le nombre de points de nos enfants ;
  Leur nombre de points ne peut pas être déduit de leurs résultat ;
  On ne nous indique pas le nombre de points nécessaires pour entrer dans tel ou tel lycée ;
  Les règles du système changent d’année en année, de manière officiellement marginale, mais avec de gros impacts ;
  Le découpage en districts infranchissables annihile les efforts de mixité sociale en empêchant des élèves d’entrer dans un lycée éventuellement plus proche de leur domicile. »
• Navigation Affelnet 2018-2019, blog FCPE du collège François Couperin, avril 2018
• Affelnet : Informations détaillées : ici, Hervé Rindzunski, de la FCPE du collège François Couperin et accessoirement informaticien, a compilé ici un grand nombre de documents officiels ou critiques sur Affelnet
• Règles du jeu Affelnet 2017-2018 à Paris, blog FCPE du collège François Couperin, 23 mars 2018. Les différentes catégories de points, les barèmes, les domaines du socle commun de compétences ...
• Nos conseils Affelnet : les conseils proposés par l’équipe FCPE H4 à l’attention des parents d’élèves (sans date mais à jour du bonus REP)
• Affelnet 2018 : un bonus REP pour quoi faire ?, FCPE Paris, 13 avril 2018
• Les collèges en REP/REP+, blog de la FCPE du collège François Couperin, 1er septembre 2017
• collectif Parents d’élèves à Paris
• Association "Parents citoyens" pour le droit d’accès à un lycée de proximité à Paris : nombreuses actions pour "débugger" Affelnet.

Publications scientifiques :

• Affelnet n’est pas un simple algorithme mais une procédure, comprenant un algorithme. Cet algorithme est du type algorithme d’appariement
• Faut-il sauver les algorithmes d’affectation ? Affelnet, mouvement des enseignants et Parcoursup, par Julien Combe (University College, Londres), Victor Hiller (Université Paris II Panthéon Assas), Olivier Tercieux (Ecole d’Economie de Paris et CNRS) et Camille Terrier (Massachusetts Institute of Technology), Terra Nova (un think tank de centre gauche), 6 juin 2018, PDF, 48 p.
  Extrait : « Dans le cas d’Affelnet, [...] à l’aide d’exemples simples, nous expliquons comment le choix actuel d’algorithme peut aller à l’encontre de l’objectif annoncé de mixité sociale dans les lycées. Nous expliquons aussi pourquoi l’affectation à laquelle cet algorithme aboutit n’est pas si différente d’une affectation basée sur la carte scolaire, dans la plupart des académies. [...]
  Un boursier est susceptible d’obtenir une moins bonne affectation suite à l’octroi de points supplémentaires. Ainsi, l’obtention du bonus boursier par un élève peut paradoxalement le pénaliser. Ensuite, à de nombreux égards, les parents les mieux informés sont encore enclins à bénéficier du système : il peut être possible d’obtenir un meilleur établissement en "mentant" sur sa liste de préférence soumise au rectorat. Enfin, les vœux des parents pourraient être mieux pris en compte sans que soient remis en cause le système de priorité voulu par le décideur public. »
• Choix d’écoles en France : Une évaluation de la procédure Affelnet, par Victor Hiller et Olivier Tercieux, Revue économique (Presses de Sciences-Po), 2014/3, p. 619-656.
  Extrait : « Les résultats de cette étude nous conduisent à recommander l’évolution du mécanisme Affelnet vers le mécanisme d’acceptation différée élève-proposant. La France ne serait pas un cas isolé : le type d’argument exposé dans cet article a mené à l’adoption de ce dernier mécanisme entre autresà Boston, New-York et Hong-Kong »
• interviews et autres contributions au débat public de Julien Grenet, un des principaux économistes français travaillant sur la ségrégation sociale, et un des inspirateurs de la réforme Affelnet (que lui a plutôt tendance à défendre, il estime que ce sont les priorités, les critères utilisés qui sont à critiquer, mais au final il fait la même critique que les chercheurs ayant publié chez Terra Nova : Affelnet est du type "école-proposant" plutôt que "élève-proposant"). Voir notamment la vidéo Youtube La transparence et l’obstacle : algorithmes d’affectation dans l’enseignement (1h18) de son exposé lors du séminaire Codes Sources au LIP6, 11 mai 2017 (les slides sont également consultables).

Les trois slides clés de de Julien Grenet :

Presse sur Affelnet :

• Affelnet pour choisir son lycée : "Un système qui fonctionne très bien, sauf à Paris", par Cyrielle Thevenin, Marianne.net, 16 juillet 2018
• Affelnet : Paris amende le système d’affectation des lycées, par Mattea Battaglia, 24 mars 2017
• A quelle sauce vont être mangés les collégiens sur Affelnet, le système d’affectation dans les lycées ?, par Delphine Bancaud, 20minutes, 29 juin 2018
• Comment être admis dans un bon lycée ?, par Sophie de Tarlé, Le Figaro.fr Etudiant, 15 avril 2016
• Choix du lycée : des élèves parisiens victimes du logiciel d’affectation, par Julien Duffé, Le Parisien.fr, 3 juillet 2017
• À Paris, l’affectation au lycée suscite l’angoisse, par Caroline Beyer, Le Figaro.fr Etudiant, 16 mars 2017
• L’Académie de Paris plafonne à 50% le taux de boursiers dans chaque lycée, par Caroline Beyer, Le Figaro.fr Etudiant, 27 mars 2017

Sélection de documents officiels :

• Circulaire académique n° 18AN0062 fixant les modalités et procédures d’affectation des élèves dans les divers niveaux et séries de lycée pour l’Académie de Paris - 2018-2019, PDF, 103 (!) p.
• Affectation en 2de GT pour un élève scolarisé à Paris (établissement public ou privé sous contrat), mis à jour le 18 mars 2019. Avec la mention suivante (si, si !) :
  « L’affectation en classe de seconde générale et technologique s’appuie sur l’application informatique nationale Affelnet-Lycée (Affectation des élèves par le Net). Les règles d’affectation sont en cours de révision. »
  Pour le reste, on n’apprend pas grand’ chose
• Guide de saisie intranet et Internet pour l’utilisation de l’appplication Affelnet Lycée (Procédures post 3ème et post 2nde) Tout établissement - Rentrée 2018, Académie de Grenoble, PDF, 25 p. Ou comment les établissements saisissent dans Affelnet.