Was passiert, wenn Algorithmen vorhersagen, wer zukünftig zum Verbrecher wird? ProPublica vermisst in einer komplexen Recherche, wie sich Software irren kann, die die Wahrscheinlichkeit berechnet, ob straffällig gewordene Personen zu Wiederholungstätern werden: „Two years later, we know the computer algorithm got it exactly backward. Borden has not been charged with any new crimes. Prater is serving an eight-year prison term for subsequently breaking into a warehouse and stealing thousands of dollars’ worth of electronics.“ Kein Einzelfall: ProPublica hat die Risikowerte von mehr als 7000 Personen ausgewertet, die 2013 und 2014 in Broward County, Florida, festgenommen wurden und recherchiert, wie viele in den beiden Folgejahren tatsächlich wieder auffällig wurden.

Das Ergebnis ist erschreckend: „The score proved remarkably unreliable in forecasting violent crime: Only 20 percent of the people predicted to commit violent crimes actually went on to do so.“ Dabei stufte die Software schwarze Angeklagte fälschlicherweise doppelt so häufig als zukünftige Verbrecher ein. Umgekehrt wurde weißen straffällig gewordenen Menschen häufiger ein niedriges Rückfallrisiko zugeschrieben. Die Software kategorisiert nicht grob nach Hautfarbe — doch Aspekte wie soziale Netzwerke, Arbeitslosigkeit oder Wohngebiete können zu Verzerrungen führen. Menschen, die etwa in ärmlichen Gebieten mit hoher Kriminalität leben, werden so automatisch schlechter bewertet, so dass die Software gesellschaftliche Verhältnisse zementiert. Eine gesellschaftliche Debatte und die Diskussion von Algorithmen ist deswegen so wichtig, weil die Rückfallwahrscheinlichkeit von Angeklagten in den USA bereits jetzt in juristische Entscheidungen einfließt und etwa über Gefängnisstrafen entscheiden kann. Ein zentrales Problem ist die mangelnde Transparenz von Analysesoftware: Hersteller geben oft keinen Einblick auf Basis welcher Aspekte die Risikobewertung erfolgt.