Fantastischer Text des Science Fiction Autors Ted Chiang: Er betrachtet, wie immer mehr bekannte Tech-Unternehmer vor einer "superintelligenten künstlichen Intelligenz" warnen, immer mit folgendem Argument:

In its pursuit of a seemingly innocuous goal, an AI could bring about the extinction of humanity purely as an unintended side effect.

Das klassische Beispiel dafür ist eine KI, die Büroklammern herstellen soll, immer mehr, und um dieses Ziel zu erreichen erst die Menschheit unterjocht, dann den Planeten in eine einzige riesige Fabrikhalle umwandelt und anschließend das Gleiche mit dem ganzen Weltall macht.

Chiang nun sagt, dass genau diese Logik, vor der die Tech-Unternehmer warnen, ihren Alltag beherrscht.

Consider: Who pursues their goals with monomaniacal focus, oblivious to the possibility of negative consequences? Who adopts a scorched-earth approach to increasing market share? This hypothetical strawberry-picking AI does what every tech startup wishes it could do — grows at an exponential rate and destroys its competitors until it’s achieved an absolute monopoly.

"Move fast and break things" (das ehemalige Facebook-Motto) ist bezeichnend für die Philosophie des Silicon Valley.


Aber natürlich gibt es einen Unterschied zwischen Kapitalismus und KI, denkt man sich: Menschen, die in diesen Firmen agieren und das Ganze stoppen könnten. Aber, so Chiang, das passiert nicht, weil sie dafür vom System nicht belohnt werden. Mehr noch:

Capitalism actively erodes this capacity in people by demanding that they replace their own judgment of what “good” means with “whatever the market decides.

Hattip Danke Hakan für diesen Text!