Catégories
Essai Lectures

Algorithmes : la bombe à retardement

Auteur: Cathy O’Neil

Qu’on le veuille ou non, les algorithmes envahissent notre quotidien: crédit, recherche d’emploi, achats et là où cela devient particulièrement risqué, recherche d’information.

Au travers d’exemples variés mais toujours très, trop, américains, on passe en revue les biais important de ces méthodes de filtrages et de plus en plus d’automatisation de décision.

Pourquoi ces algorithmes sont dangereux ?
Pour 3 raisons majeures :
1. Ils sont masqués, personne ne sait qu’ils tournent et les critères qui sont pris en compte pour obtenir leur score ne sont pas connus de leur victime.
2. Il n’y a en général pas de boucle de rétroaction : une fois le score délivré, il n’y a pas de correctif possible lié à des erreurs potentielles. Plus grave, personne ne semble être responsable des erreurs produites (et comme on le voit ici, les erreurs sont nombreuses et parfois graves). Une des raisons est que l’on ne sait pas coder l’équité, les ADM (Armes de Destruction Mathématique) sont donc par essence inéquitable.
3. Le modèle lui même alimente un cycle malsain et contribue à entretenir une réalité, il nous classe sans qu’on le sache dans des groupes dont les comportements ressemblent au notre… à première vue.

La discrétion et la personnalisation du ciblage empêchent les privilégiés de s’apercevoir que les même modèles détruisent aussi d’autres vies.

P.298

Les processus reposant sur le Big Data n’inventent pas le futur, il codifient le passé.

P. 304

Ces algorithmes représentent un risque majeur pour nos sociétés, entre autre du fait de la concentration incroyables des GAFAM. Ceux-ci utilisent, sans aucun contrôle, leurs propres algorithmes pour nous dire quoi acheter, quoi écouter, quelles informations regarder et même pour qui voter.

Une autre problématique est celle de la charge de la preuve : c’est systématiquement aux victimes d’apporter la preuve d’une défaillance ou d’un biais de l’algorithme. Jamais à l’entreprise de prouver le bien fondé et l’innocuité de son programme.

Cela fait froid dans le dos, d’autant que lors de la polémique sur l’application StopCovid, de nombreuses voix se sont élevées pour « s’insurger » contre l’ingérence que cela représentait, mais j’en ai entendu très peu (aucune ?) pour dire que notre vie privée était déjà largement vendue à Facebook et Google, sans contrôle d’aucune sorte, voire même avec notre assentiment pour alimenter leur profit.

L’objectif de cet ouvrage est d’appeler, a minima à la vigilance, au mieux à la révolte.

Note : 3.5 sur 5.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.