ML récidiviste

Aux Pays-Bas, le ministère de la Justice vient de mettre au jour les dysfonctionnements d’un système algorithmique déployé pour tenter de prévoir la récidive d’individus suspects ou condamnés. Alors que l’administration cherche à le réparer, des défenseurs des droits humains soulignent que ce type d’usage du machine learning est critiqué depuis une décennie.

Un nouveau système algorithmique prompt aux erreurs a été épinglé aux Pays-Bas. Ce 12 février, le ministère de la Justice néerlandais a publié un rapport relatif au système utilisé par les services de probation Reclassering Nederland pour évaluer le risque de récidive chez les détenus déjà condamnés comme chez les personnes en détention provisoire.

L’audit fait partie intégrante d’un travail plus large sur les systèmes algorithmiques utilisés à travers l’administration, lui-même initié à la suite de deux scandales relatifs à des outils biaisés.

Pendant près d’une dizaine d’années, l’administration fiscale néerlandaise a en effet recouru à un système qui a demandé des sommes faramineuses et indues à des familles généralement ciblées pour leurs origines étrangères. De même, des systèmes de détection de fraude aux prêts étudiants accusaient beaucoup plus fréquemment les étudiants issus de minorités ethniques, donc à leur faire subir plus fréquemment des contrôles.

• Algorithme de la CAF : des organisations européennes rejoignent la Quadrature du Net

Consommation de drogues et problématiques psychologiques non pris en compte

Dans le cas présent, le système algorithmique incriminé a été utilisé pour traiter de l’ordre de 44 000 cas par an, et aider à évaluer si ces personnes risquaient plus ou moins de récidiver.

Un tel cas d’usage rappelle les premiers grands travaux sur les travers que ce type d’outils créent sur le terrain en termes d’égalité devant la loi. En 2016, le journal ProPublica publiait ainsi une enquête au long cours démontrant qu’aux États-Unis le système COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) qualifiait beaucoup plus fréquemment les suspects noirs de risque de récidives que les suspects blancs, à tort.

Dans le cas néerlandais, le système, nommé OxRec, fournit de mauvais résultats dans 20 % des cas et ne correspond pas aux standards gouvernementaux d’utilisation. Depuis 2018, les formules normalement utilisées pour évaluer les personnes déjà condamnées et suspectes ont été inversées, la consommation de drogues n’est pas correctement prise en compte, et les problématiques psychologiques graves ne sont pas prises en considération, relève l’enquête administrative. Le système a par ailleurs été entraîné sur d’anciennes données issues de prisons suédoises, et non sur la population des prisons néerlandaises.

• Australie : la commission royale étrille les responsables du système de robot-dette

Pause avant remise en service

Suite à ce rapport, Reclassering Nederlands a stoppé l’utilisation d’OxRec. Le ministère de la Justice néerlandais a en revanche expliqué « chercher à le remettre en service dès que toutes les améliorations auront été déployées, car une utilisation responsable de cet algorithme contribue à l’efficacité et à la cohérence des conseils en termes de probation », souligne sur LinkedIn Alexander Laufer, chercheur auprès d’Amnesty International.

Pour les enquêteurs du ministère de la Justice, le plus gros risque que posent les dysfonctionnements du système est en effet que des probabilités de récidive aient été sous-évaluées.

En 2020, des scientifiques avaient quant à eux émis une alerte sur l’usage des codes postaux dans OxRec, expliquant que cela pouvait mener de manière indirecte à des logiques de profilage ethnique. D’après la directrice du service de probation Jessica Westerik, ces alertes avaient été prises « très au sérieux », mais les services avaient conclu qu’il existait suffisamment de preuves scientifiques pour considérer que l’adresse et les revenus étaient des paramètres.

Alexander Laufer, lui, rappelle que la prédiction de la récidive est « une des applications les plus controversées » du machine learning, et que le consensus scientifique estime désormais « (1) que ça ne fonctionne pas et (2) que ç’a des conséquences discriminatoires sévères et imprévisibles », y compris en termes d’accès à un procès équitable.

• Peut-on corriger les biais des algorithmes ?

Après Memphis, Southaven, de l’autre côté de la frontière entre le Tennessee et le Mississippi. Aux États-Unis, la société d’Elon Musk xAI continue de défier les réglementations environnementales en recourant à des générateurs illégaux au gaz pour alimenter ses centres de données.

Depuis 2025, le supercalculateur Colossus que xAI a construit à Memphis est critiqué par la population locale et des associations de défense de l’environnement pour la pollution à l’oxyde d’azote que ses générateurs rejettent dans l’air.

• Le supercalculateur de xAI accusé de polluer l’air de Memphis

Sollicitée, l’agence états-unienne de la protection de l’environnement (EPA) a rappelé qu’en vertu du Clean Air Act (loi sur la qualité de l’air), l’usage de ce type de générateur était soumis à autorisation. Le comté dans lequel se trouve Colossus a finalement autorisé 15 turbines, alors que le data center en utilisait initialement plus d’une trentaine.

Depuis ces premiers aléas, cela dit, xAI a créé Colossus 2, un deuxième data center situé juste à côté du premier. Pour l’alimenter en énergie, l’entreprise recourt de nouveau à des turbines à gaz, stockées de l’autre côté de la frontière.

Auprès du Guardian, les habitants témoignent de leurs inquiétudes, que ce soit vis-à-vis de la pollution sonore ou de l’air – d’après l’une des résidentes, Shannon Samsa, la ville compte « au moins 10 écoles dans un rayon de trois kilomètres autour du bâtiment ». Les pollutions émises au fil de leur fonctionnement ont été liées à diverses problématiques de santé comme l’asthme, le cancer du poumon ou des attaques cardiaques.

D’après les images thermiques récupérées par le média Floodlight, néanmoins, le centre de données de Southaven continue d’être alimenté grâce à ses générateurs. Depuis novembre, 18 des 27 turbines présentes, dont au moins 15 n’ont aucun permis, ont été utilisées.

Saisis, les régulateurs du Mississippi ont estimé que les turbines incriminées n’avaient pas besoin d’autorisation dans la mesure où elles sont stockées sur des remorques. Entité d’autorité nationale, l’EPA, elle, a statué en janvier : remorques ou non, ce type de dispositif ne peut être utilisé qu’après demande d’autorisation. À défaut, la moindre exception pourrait « permettre que ces engins fonctionnent en dehors de toute limitation d’émission », indique-t-elle dans sa décision (.pdf).

• États-Unis : la pollution des data centers pèse sur la santé publique

Alignez-vous qu'ils disaient

Le récent Institut national pour l’évaluation et la sécurité de l’IA (INESIA) a dévoilé sa feuille de route pour 2026 et 2027. Au menu : accompagnement des évolutions réglementaires, équipements face aux risques systémiques et coopération internationale.

Comment évaluer l’intelligence artificielle ? Comment détecter à temps ses comportements imprévus ? Limiter les risques que créent d’éventuels mésusages ? Telles sont certaines des questions auxquelles l’Institut national pour l’évaluation et la sécurité de l’IA (INESIA) inauguré le 31 janvier 2025 devra répondre au fil des deux prochaines années.

Dévoilé juste avant le Sommet de Paris sur l’action pour l’IA de février 2025, l’INESIA réunit l’Agence nationale de la sécurité des systèmes d’information (ANSSI), l’Inria, le laboratoire national de métrologie et d’essais (LNE) et le pôle d’expertise de la régulation numérique (PEReN) pour « soutenir le développement de l’intelligence artificielle et accompagner la transformation de l’économie qu’elle induit ». Cette mission s’effectue tout en « étudiant scientifiquement les effets de ces technologies », en particulier « en termes de sécurité ».

Pour 2026 et 2027, elle s’effectuera selon trois axes, détaille sa feuille de route publiée mi-février. Pilotée par la Direction générale des Entreprises (DGE) et le Secrétariat général de la défense et de la sécurité nationale (SGDSN), l’entité travaillera en effet au soutien à la régulation, notamment en matière de mise en œuvre du règlement européen sur l’intelligence artificielle (RIA, ou AI Act), à la maîtrise des « risques systémiques » de ce type de technologies et à l’évaluation de la « performance et de la fiabilité des modèles et systèmes ». Certaines de ses actions prendront aussi un angle transverse, notamment pour tout ce qui touche à la veille académique et méthodologique, ou encore à l’animation scientifique autour de ses activités.

Performance, interprétabilité, « alignement aux valeurs et intentions humaines »

Le constat que dresse l’INESIA est aussi clair que succinct : « le rythme des progrès de l’IA ne faiblit pas », et à ce titre, les évolutions du secteur posent des questions de performance, d’interprétabilité, de robustesse face à l’imprévu, mais aussi « d’alignement aux valeurs et intentions humaines ».

L’institut ne définit pas ces différents termes, quand bien même les « valeurs et intentions humaines » varient certainement d’un individu à l’autre. La notion même d’alignement reste sujette à des débats scientifiques : certains, dont le Future of Life Institute, estiment nécessaire d’œuvrer à l’émergence d’IA « alignées » à des valeurs prédéfinies, faute de quoi ces systèmes créeraient de potentiels « risques existentiels » (un champ qui a notamment émergé des travaux du philosophe Nick Bostrom). D’autres, dont les chercheurs Timnit Gebru et Emile Torres, considèrent de leur côté que le champ de la « sécurité de l’IA » (AI safety) n’œuvre qu’à renforcer la course de l’industrie de l’IA.

• [Algorithmique 5/6] La politique de l’IA

Quoiqu’il en soit, dans l’environnement actuel, et notamment face au déploiement large de systèmes génératifs, « les méthodes d’évaluation conçues pour des systèmes fermés, monofonctionnels ou statiques, montrent leurs limites », indique l’INESIA. Pour faire face, et pouvoir notamment « mesurer et contenir les risques à fort potentiel systémiques, y compris ceux liés à la manipulation de l’information, à la cybersécurité ou à la déstabilisation de processus collectifs », l’entité compte participer au champ scientifique en devenir qu’est l’évaluation de l’IA.

Accompagner l’évolution réglementaire

Dans ses travaux, l’entité œuvrera à « construire une démarche scientifique et stratégique, structurer une capacité souveraine d’évaluation, coordonner les expertises publiques et mutualiser les moyens », et à agir dans les réseaux internationaux. En pratique, l’INESIA rejoindra notamment le réseau grandissant d’AI Safety Institutes, des instituts créés dans une dizaine de pays, et dont le réseau international a organisé sa première rencontre en novembre 2024.

Sur les enjeux d’appui à la régulation, elle accompagnera notamment la mise en œuvre du RIA, en fournissant des outils d’évaluation aux diverses autorités concernées. Elle poursuivra les travaux de détection des contenus synthétiques déjà en cours du côté de VIGINUm et du PEReN. Il s’agira enfin de créer des méthodes d’évaluation adaptées à la cybersécurité des systèmes d’IA comme aux produits de cybersécurité intégrant des technologies d’IA, dans le prolongement du projet Sécurité des Produits d’IA (SEPIA) que l’ANSSI mène depuis un an.

S’équiper face aux risques systémiques

Côté risques systémiques, il s’agira d’abord de développer les recherches permettant de mieux les caractériser, ce qui doit ensuite permettre à la puissance publique d’agir plus précisément. En la matière, l’INESIA vise notamment les usages d’IA à des fins de désinformation, d’attaque contre la cybersécurité, de déstabilisation d’un système économique, etc.

Elle prévoit d’identifier des projets de recherche ciblés, puis publiera des méthodes d’atténuation en source ouverte, « si opportun ». Les performances et les risques des systèmes d’IA agentiques seront plus particulièrement étudiés, notamment pour comprendre « leurs capacités en matière de cybersécurité et estimer la mesure des possibilités d’usages à des fins criminelles ».

Pour « stimuler la créativité de l’écosystème », enfin, l’INESIA prévoit de conduire des « challenges » pour « clarifier et faire progresser l’état de l’art ». Évoquant une émulation internationale de nature à faire progresser rapidement certaines technologies, elle cherchera à « susciter une « coopétition » » entre participants.