Immer wenn es um die zukünftigen Gefahren von »Citizen Scoring« geht, weise ich gerne auf die ganz gegenwärtigen Probleme von ALG2-Empfängern hin. Hier werden bereits im großen Stil persönliche Daten gesammelt und etwa zur Berechnung von Vermittlungschancen auf dem Arbeitsmarkt verwendet. Die Sozialsysteme sind Vorreiter im »Scoring« ihrer Bürger und der damit einhergehenden Ausblendung oder Verzerrung menschlicher Komplexität.

Wie sich die Verhältnisse in Deutschland konkret darstellen, darüber gibt es leider wenig zu lesen. Für Jacobin sprach Sam Adler-Bell jedoch mit der Politikwissenschaftlerin Virginia Eubanks (Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor), die sich seit Jahren mit der zunehmenden algorithmischen Automatisierung der US-amerikanischen Welfare Systeme beschäftigt hat.

[T]echnology became a way of smuggling politics into the system without having an actual political conversation.

Für Eubanks entziehen die automatisierten Entscheidungsprozesse den Armen noch mehr von ihrer knappen Selbstwirksamkeit. Gleichzeitig ersetzen sie den Versuch, Armut dauerhaft zu verringern, durch ein bloßes Management der Folgen. Eine Frage politischer Moral wird zur Frage der Effizienz.

We manage the poor so that we do not have to eradicate poverty.

Zudem leiden die Datengrundlagen der Werkzeuge unter erheblichen Schieflagen. So basiert ein Algorithmus, der die Wahrscheinlichkeit von Kindesmissbrauch vorhersagen soll, überproportional auf den Daten armer Familien. Dass dabei in vielen Fällen der »Missbrauch« in armutsbedingter Vernachlässigung besteht, etwa weil die Eltern in mehreren Jobs arbeiten müssen, verstärkt den Bias nur.

An die Designer dieser Systeme hat Eubanks daher zwei Fragen:

One is, does it increase self-determination of poor people? And two, if it was aimed at anyone but poor and working people, would you be able to do it? And if you answer “no” to either of those, don’t do it. You’re on the wrong side of history.