La société automatisée au risque de l’opacité



 

 

L’association européenne et militante Algorithm Watch(@algorithmwatch) vient de publier son rapport annuelsur la société automatisée. Son constat est sévère : les systèmes de prise de décision automatisés se généralisent dans la plus grande opacité.« L’opacité tenace qui entoure l’utilisation croissante de ces systèmes remet profondément en question nos normes et règles sur la relation entre gouvernance démocratique et automatisation ». 

 

 

 


Fabio Chiusi (@fabiochiusi) dans son introduction revient sur le fiasco de la notation automatisée des résultats du bac 2020 britannique… Il rappelle que le choix du gouvernement pour un système automatique de production de résultats était motivé par l’étrange souci d’éviter l’excès d’optimisme du jugement humain qui aurait conduit les professeurs à mettre des notes trop élevées aux lycéens ! Or, rappelle-t-il, les algorithmes non plus ne sont ni neutres ni objectifs : ils reproduisent les hypothèses et croyances de ceux qui décident de les déployer et de les programmer.

Les étudiants britanniques ne s’y sont pas trompés en contestant jusque dans la rue, les notations qu’ils ont reçues du système. Ils ont bien compris que les systèmes de prise de décision automatisés sont une question de pouvoir, et ont dénoncé le biais de reproduction sociale du système. Dans un revirement spectaculaire, le gouvernement britannique a fini par mettre au rebut le système et a laissé les enseignants juger les élèves. Pour Chiusi, cet exemple montre comment des systèmes mal conçus, mal mis en oeuvre, mal supervisés, qui reproduisent préjugés et discriminations, ne parviennent pas à exploiter la promesse des systèmes de prise de décision automatisés : une promesse d’équité et de comparabilité.

Chiusi tire un autre enseignement de cet exemple : l’automatisation de la société n’est plus une perspective qui est devant nous, elle est déjà là ! La première édition du rapport, en 2019, soulignait que les systèmes automatisés étaient encore largement expérimentaux, qu’ils tenaient plus de l’exception plus que de la norme. Cette situation a rapidement changé souligne l’association.

Le déploiement des systèmes automatisé a considérablement augmenté comme le souligne le coeur du rapport qui tente de faire un état des lieux exhaustif de ces déploiements dans 16 pays européens. Les systèmes de prise de décision automatisés touchent désormais presque tous les types d’activités humaines et notamment la distribution de services à des millions de citoyens européens et l’accès à leurs droits. Reste que face à ce déploiement sans précédent, un problème s’intensifie : l’opacité ! « L’opacité tenace qui entoure l’utilisation croissante de ces systèmes remet profondément en question nos normes et règles sur la relation entre gouvernance démocratique et automatisation ». Et ce alors que la pandémie a accéléré l’adoption (souvent précipitée) d’une pléthore de systèmes, notamment dans les services publics.

La suite ici :La société automatisée au risque de l’opacité

2.12.20

Istacec

Laissez un commentaire

You must be connecté pour laisser un commentaire.