| Ben Goldacre
Cette semaine, Sir David Omand, ex-coordinateur du renseignement et de la sécurité, a décrit la manière dont l’État devait traiter les données relatives aux citoyens afin d’identifier des individus suspectés de terrorisme : collecte d’informations sur les déplacements à l’étranger, taxes, enregistrements de conversations téléphoniques, E-mails, et ainsi de suite. « découvrir les secrets d’autrui nécessitera le viol de règles morales habituelles » a-t-il déclaré, « car nous devrons contrôler tout le monde afin d’identifier la petite minorité de suspects ».
Il y a un problème majeur qui empêche la recherche et le traitement de données lorsqu’ appliqués à l’identification de terroristes présumés au sein d’une population en général, et c’est ce que nous pourrions appeler le « problème de base » : même avec le test le plus brillamment efficace que nous puissions imaginer, le risque d’obtenir des faux positifs atteint vite des niveaux ingérables, d’autant plus que le profil que vous essayez de prédire devient plus rare au sein de la population que vous étudiez. Ce point est délicat mais important. Si vous faites attention vous allez le comprendre.
Imaginons que vous disposiez d’un test incroyablement efficace, et qu’à chaque fois que vous l’utilisez sur un suspect avéré, celui-ci sera correctement identifié huit fois sur dix (mais un échec aura lieu deux fois sur dix) et qu’à chaque fois que vous l’utilisez sur un innocent, celui-ci sera correctement identifié neuf fois sur dix (mais un échec l’identifiera une fois sur dix comme étant un suspect).
Ces chiffres montrent la probabilité que le résultat d’un test tombe juste, en fonction du statut (suspect / innocent) de l’individu testé, que vous connaissez déjà (et ces probabilités sont toujours les mêmes de par les propriétés du test). Mais si vous vous retrouvez dans le cas de figure opposé, où vous avez le résultat d’un test et vous voulez utiliser ce résultat pour déduire le statut de l’individu, le résultat dépendra entièrement du nombre de suspects au sein de la population testée.
Si vous avez une population de dix personnes, et vous savez qu’il s’y trouve un suspect, et que vous faites passer le test à chacun d’entre eux, alors vous aurez bien un vrai positif et – en moyenne – un faux positif. Si vous étudiez une population de cent personnes, et vous savez que l’une d’entre elles est suspecte, vous obtiendrez un vrai positif et – en moyenne – dix faux positifs. Si vous essayez de trouver le suspect parmi 1000 personnes, vous aurez votre suspect, et 100 faux positifs. Une fois que le nombre de faux positifs devient sensiblement supérieur au nombre de vrais positifs, un résultat positif obtenu grâce au test devient assez inutile.
Souvenez-vous qu’il s’agit d’un outil de criblage, destiné à identifier des profils atypiques au sein d’une population globale. Nous sommes invités à accepter que chacun d’entre nous voit ses données collectées et analysées, car le MI-5 dispose d’algorithmes intelligents permettant d’identifier des individus qui jusqu’à présent n’avaient jamais été suspectés. Le Royaume-Uni compte 60 millions d’habitants, parmi lesquels, disons, il y a 10 000 vrais suspects. En utilisant ce test de criblage imaginaire dont l’efficacité est bien plus élevée que dans la réalité, vous obtenez six millions de faux positifs. En même temps, sur les 10 000 vrais suspects, vous en ratez 2 000.
Si vous augmentez la précision de n’importe quel test, afin d’en améliorer ce que les statisticiens appellent la « spécificité » ; et que vous le rendez ainsi moins susceptible de générer des faux positifs, alors vous réduisez fortement sa sensibilité, et vous ratez de plus en plus de vrais suspects.
Ou bien voulez-vous un test imaginaire d’une justesse encore plus stupéfiante, sans perdre de vrais positifs ? Cela ne vous mènera pas loin. Disons qu’une fois sur cent vous prenez un innocent pour un suspect : cela fait 600 000 faux positifs. Une fois sur mille ? Allons. Même avec ces tests imaginaires à la justesse extravagante, lorsque vous criblez une population globale comme proposé, il est difficile d’imaginer une situation où le nombre de faux positifs soit suffisamment faible pour être exploitable et où les vrais positifs ne soient pas ratés. Et notre test imaginaire était incroyablement efficace : il est fort difficile d’identifier des suspects en se basant uniquement sur des types de comportements légèrement anormaux.
Pire encore. Ces suspects ont des couvertures, ils vont donc adopter des comportements qui ne leur correspondent pas afin de vous induire en erreur.
Et pour finir, il y a le problème de la validation de vos algorithmes, et du calibrage de vos systèmes de détection. Pour ce faire, vous avez besoin d’un échantillon de validation : 10 000 personnes dont vous savez avec certitude si elles sont suspectes ou non, ce qui vous permettra de comparer vos résultats avec cette référence. La mise en oeuvre de cette étape est difficile à imaginer.
Je ne dis pas que vous ne devriez pas espionner Madame ou Monsieur Tout-le-monde : Je laisse les questions de moralité et de politique à ceux qui sont moins fanatiques de statistiques que moi. Je vous ai juste fait part des mathématiques relatives aux notions de spécificité, sensibilité et faux positifs.
|
