[Sur la piste des algorithmes] Entretien avec Vincent Dubois

Temps de lecture : 7 min

« C’est sur le terrain que l’algorithme s’est imposé à moi »

Sociologue et politiste, Vincent Dubois est professeur à l’Institut d’Études Politiques de Strasbourg et membre du laboratoire Sage. Il travaille depuis plusieurs années sur l’évolution des pratiques de contrôle au sein des Caisses d’allocations familiales lorsqu’il rencontre sur son terrain, dans la moitié des années 2010, le premier algorithme de data mining déployé par l’institution. L’enquête qu’il mène alors constitue l’une des premières études empiriques des effets du déploiement des algorithmes au sein de l’administration, qui posera des bases importantes pour les recherches ultérieures dans ce domaine.

Illustration : Better Images of AI, Data Mining 3 by Hanna Barakat & Archival Images of AI + AIxDESIGN
Illustration : Better Images of AI, Data Mining 3 by Hanna Barakat & Archival Images of AI + AIxDESIGN ⤤

Votre enquête autour de l’algorithme de la CAF, que vous retracez dans une partie de l’ouvrage Contrôler les assistés, a été l’une des premières à s’intéresser au déploiement de ce type de dispositif et à ses effets au sein des services publics. Pourtant, les outils algorithmiques n’étaient pas, à l’origine, au cœur de vos recherches. Comment en êtes-vous venu à travailler sur cet objet ?

Je ne suis pas venu à l’algorithme, c’est lui qui s’est imposé à moi sur le terrain. Mes recherches portaient depuis la fin des années 1990 sur les politiques de contrôle des allocataires d’aides sociales, avec un intérêt particulier pour la façon dont se déroulaient les enquêtes à domicile réalisées par la Caisse Nationale d’Allocations Familiales (CNAF). Après une pause, j’ai repris ce terrain au milieu des années 2010, pour analyser l’évolution des pratiques de contrôle depuis ma première enquête. Très vite, j’ai découvert qu’un nouvel outil – un algorithme de data mining – était devenu déterminant dans la sélection des dossiers à contrôler. Je ne pouvais pas l’ignorer, car c’était devenu un rouage central de la machine de contrôle. Même si je n’avais aucune formation technique sur ces questions, en ouvrant un petit peu la boîte noire, je me suis rendu compte que c’était non seulement extrêmement important, mais aussi tout à fait passionnant.

Que s’est-il passé entre vos deux enquêtes ? Comment expliquer l’irruption de cet algorithme dans les procédures de contrôle de la CNAF ?

Au départ, il y a une histoire locale, hasardeuse si j’ose dire, qui s’est imbriquée dans une dynamique structurelle déjà très engagée de recherche d’efficacité dans les contrôles. Localement, tout commence au sein d’une caisse départementale, touchée par une affaire de fraude à très grande échelle. L’agent comptable, préoccupé par la responsabilité qui lui incombe, s’interroge sur les outils mobilisables pour mieux détecter ce type de situation. Or, dans cette même caisse, un agent issu du secteur privé avait auparavant participé à la conception d’un outil prédictif destiné à repérer les mauvais. Ce savoir-faire est alors réinvesti et adapté au contexte local, avec le soutien de la CNAF. L’expérimentation locale est jugée concluante, et l’algorithme est progressivement déployé à l’échelle nationale à partir de 2010. À ma connaissance, c’était la première fois qu’une administration publique utilisait un algorithme de manière aussi massive. Mais il faut aussi replacer cet événement presque fortuit dans un contexte plus global. À cette époque, la logique de « maîtrise des risques » devient un principe d’action central dans les CAF. L’algorithme et son modèle probabiliste de prédiction des risques d’erreur apparait alors, en quelque sorte, comme la traduction statistique de ce mode de pensée managérial, où la gestion préventive du risque devient un quasi-synonyme du contrôle des allocataires.

Vous disiez ne pas avoir été familier des algorithmes au moment de vous engager dans cette enquête, et vos travaux s’étaient jusqu’alors ancrés à distance des études sur la science et les technologies : comment avez-vous procédé, méthodologiquement, pour appréhender cet objet nouveau ?

J’ai d’abord enquêté en restant fidèle à mes compétences. Avant d’ouvrir la boite noire, j’ai fait des analyses documentaires et réalisé des entretiens auprès de celles et ceux qui avaient été à l’origine du déploiement de cet outil. Ensuite, avec Pierre-Edouard Weill, un ancien doctorant que j’avais à l’époque recruté comme enquêteur, nous avons essayé d’obtenir l’algorithme lui-même… Sans succès. Le code source est resté inaccessible, officiellement pour éviter qu’il ne soit détourné au profit de potentiels fraudeur·ses. En réalité, les variables mobilisées ne peuvent, pour la plupart, pas être manipulées par les usager·es : lieu de naissance, statut familial, régularité des déclarations… A mon sens, c’est surtout une logique de protection institutionnelle qui prévaut derrière cette opacité. En revanche, sans doute en partie grâce aux relations privilégiées que j’avais nouées avec la direction des statistiques lors de mon premier terrain, nous avons pu accéder facilement à des données agrégées sur les caractéristiques des dossiers contrôlés, en lien avec les modalités de déclenchement des contrôles. Ces données nous ont permis de mener des analyses statistiques, pour étudier les effets du dispositif et identifier des régularités dans les profils ciblés. En fait, l’algorithme repose sur une logique inductive. Sa constitution s’est appuyée sur une vaste enquête, durant laquelle ont été analysés plusieurs milliers de dossiers parmi lesquels ont été identifiés les cas d’erreurs notamment frauduleuses. À partir de ces données, des traitements statistiques ont permis de dégager des variables explicatives pour identifier automatiquement les cas à risque. Ces modèles sont régulièrement révisés et servent aujourd’hui de fondement au traitement automatisé des dossiers. Cette logique tranche nettement avec celle qui prévalait jusqu’alors, où les contrôles étaient organisés autour d’hypothèses préalables. Par exemple, un montant de loyer important au regard des ressources pouvait être considéré comme l’indice d’une possible sous-déclaration des revenus, conduisant au ciblage des dossiers concernés. Là, il n’y a plus de cibles définies a priori et l’ensemble des dossiers est traité. Ce sont les corrélations statistiques qui établissent la probabilité d’une erreur, conduisent à sélectionner les cas dans lesquels elle est forte, et produisent ce faisant des « cibles de fait ».

En quoi ce changement de logique affecte-t-il les allocataires ? Vous montrez dans vos travaux que le déploiement de l’algorithme s’accompagne de logiques discriminatoires…

L’un des résultats les plus marquants de notre enquête, c’est que le risque d’être contrôlé augmente fortement avec la précarité. Autrement dit, plus une personne est dans une situation instable – faibles revenus, changements fréquents de domicile ou de situation familiale – plus elle a de chances d’être ciblée par l’algorithme. Pourtant, rien ne prouve que les allocataires précaires fraudent plus que les autres. L’algorithme identifie des risques statistiques, mais ces risques sont souvent liés à des contextes de vie changeants, plutôt qu’à des intentions de tricher. Par exemple, les bénéficiaires du RSA doivent déclarer leurs ressources trimestriellement : pas besoin d’être un·e grand statisticien·ne pour voir qu’avec quatre fois plus de déclarations, il y a quatre fois plus de risques d’erreurs, y compris de bonne foi ou de retard dans la prise en compte des informations. Cela constitue en effet un « risque » statistique qui, sans pour autant correspondre à un soupçon précis, justifie un surcontrôle des plus précaires. Et cela a des conséquences directes pour la vie des allocataires, qui font parfois face à des contrôles à domicile à répétition, sans que ceux-ci ne soient réellement fondés…

Et du côté de l’institution, comment l’introduction de l’algorithme a-t-elle transformé le travail des agents de la CAF ?

L’introduction de l’algorithme a transformé en profondeur la manière dont les contrôles sont déclenchés et réalisés. Avant le data mining, les contrôleur·ses avaient davantage un rôle d’enquêteur·trices autonomes : iels recevaient des dossiers qu’on leur transmettait, parfois avec des hypothèses ou des questions précises, comme un doute sur la réalité de l’isolement, par exemple. Dans d’autres, le contrôle était décidé cas sur la base d’un tirage aléatoire ou d’une simple difficulté à obtenir des informations. Ils et elles menaient alors leur propre investigation, parfois avec un véritable esprit de déduction, recoupant les indices, établissant des scénarios probables, s’efforçant de faire avouer les allocataires indélicat·es au cours d’interrogatoires quasi-policiers. Aujourd’hui, ce sont des listes issues de l’algorithme qui dictent leur activité. Iels reçoivent une série de noms, classés selon un score de risque. Mais ce score est aveugle : il ne dit pas pourquoi le dossier est suspect. Cela change profondément leur posture professionnelle : ils partent à la recherche d’un problème dont ils ne connaissent pas la nature. L’entretien de contrôle est beaucoup plus bureaucratique, consistant pour une bonne part à demander toute une série de documents. Par ailleurs, en plus du data mining, la démultiplication d’accès à de nombreuses bases de données (fichiers d’autres administrations, banques, etc.) fait que les contrôleur·ses ont déjà accumulé en amont de l’enquête à domicile beaucoup d’informations et, potentiellement, d’éléments probants. Au début de la mise en place du data mining, certain·es, ne comprenant pas la façon dont les scores ont été générés et regrettant l’ignorance de leur expertise, ont pu exprimer un sentiment de dépossession. D’autres ont dénoncé l’absurdité de certains contrôles, par exemple celui de veuves vivant seules, contrôlées chaque année simplement parce qu’elles correspondaient à un profil jugé à risque. Cette opacité a ainsi engendré une forme de méfiance vis-à-vis de l’outil. Pourtant, avec le temps, et face aux résultats concrets – les contrôles conduisent en effet plus souvent à l’identification de fraudes – l’efficacité statistique de l’algorithme a fini par convaincre. Il y a ensuite un second effet, qui affecte plutôt le travail des cadres intermédiaires, chargé·es de la répartition des dossiers en fonction de la capacité de travail des agent·es de terrain. Auparavant, les responsables de service décidaient, en fonction de ciblages locaux et nationaux ou de retours d’agents, des axes prioritaires de contrôle. Aujourd’hui, ils gèrent des flux issus d’un système national centralisé, où les dossiers sont déjà classés. Cela génère une déresponsabilisation de ces agent·es face au ciblage des plus précaires, désormais adossé à un calcul statistique en apparence objectif.

Les résultats de votre enquête ont été pionniers dans le domaine de l’administration publique. Ils ont été largement relayés par la presse et ont servi de socle à des enquêtes ultérieures, menées notamment par la Quadrature du Net et les médias Lighthouse Reports et Le Monde. Comment votre recherche a-t-elle été reçue par la CNAF ?

La réception a été assez froide. Lors de la remise de mon rapport, j’ai eu quelques échanges, notamment avec une statisticienne qui m’a dit avoir eu l’impression, en le lisant, d’être « passée du côté obscur de la force ». Elle exprimait une gêne réelle, n’ayant pas mesuré l’impact social de son travail technique. Mais au-delà de cette réaction personnelle, l’institution n’a pas manifesté de volonté d’ouvrir un débat. Après la publication de mon livre, je n’ai reçu aucune réaction officielle, la CNAF n’a jamais sollicité de présentation. En revanche, j’ai observé un changement dans la communication institutionnelle après que les effets discriminants du data mining aient commencé à faire débat. Alors que l’algorithme était auparavant mis en avant comme outil de modernisation, son importance a ensuite été relativisée, dans une forme de rétropédalage stratégique. Pourtant, mon rapport préparatoire au livre mettait aussi en lumière des pistes de réorientation de l’outil : s’il peut être utilisé pour cibler la fraude, il est tout aussi capable d’identifier les risques de non-recours. Il pourrait ainsi être employé, à l’inverse, pour repérer les personnes qui ne touchent pas les aides auxquelles elles ont droit. Dans les données que nous avons analysées, les cas de sous-recours étaient d’ailleurs presque aussi fréquents que les indus, même s’ils sont moins importants en termes de montants détectés. C’est une piste qui a souvent été évoquée, et même si la communication institutionnelle met en avant le « juste droit », l’usage data mining demeure moins tourné vers la détection du non-recours que vers celle des indus, frauduleux ou non. On comprend bien, dès lors, que ce sont des choix politiques et financiers qui président, avant tout, à l’orientation de ces outils.

Pour aller plus loin :

Dans la bibliothèque de Vincent :