Aktuell vertreibe ich mir die Zeit mit 7 Billion Humans, ein unterhaltsames, wenn auch zynisches Lernspiel. Maschinen haben dort die Menschheit arbeitslos gemacht, aber gütigerweise spannen sie uns nun in ABM-Algorithmen ein. Meist läuft das gut: Ich programmiere simple Arbeitsabläufe und meine Angestellten ticken wie ein Uhrwerk. Manchmal erfordert die Aufgabe jedoch, dass ich den Arbeitern erlaube, ihre Umgebung zu beobachten und daraus zu lernen. Neun Iterationen lang geht das gut, aber beim zehnten Mal springen plötzlich alle kopfüber in den Aktenvernichter. Was ist passiert?

Für den Guardian beleuchtet Andrew Smith, wie wir es im Alltag längst nicht mehr mit »dummen« Algorithmen zu tun haben, sondern mit komplexer Software, die auf externe Datenbanken zurückgreift, mit anderer Software kooperiert und selbstständig dazulernt. Sie steuert autonome Fahrzeuge, betreibt Hochfrequenzhandel am Aktienmarkt und bestimmt, was wir in den sozialen Medien zu sehen bekommen. Und diese Algorithmen wachsen mitunter zu solcher Größe an, dass niemand mehr im Detail versteht, wie sie funktionieren. Smith spricht von »spaghetti code« oder auch »frankenalgos«. Der IT-Sicherheitsexperte Eugene Spafford sieht darin vor allem ein Problem der Haftbarkeit:

»This is one of the criticisms of these systems so far, in that it’s not possible to go back and analyze exactly why some decisions are made, because the internal number of choices is so large that how we got to that point may not be something we can ever re-create to prove culpability beyond doubt.«

Wenn also meine Mitarbeiter in den Schredder springen oder ein autonomes Fahrzeug einen Unfall baut, lässt sich nicht oder nur mit großem Aufwand feststellen, wie es soweit kommen konnte. Der Experte für quantitative Analyse, Paul Wilmott, schlägt daher eine neue Standardfrage für Softwareentwickler vor, die ich mir besser auch bei 7 Billion Humans zu Herzen nehme:

»What’s the most extreme possible behavior in a system I thought I was optimizing?«