In der jüngsten Diskussion über die Risiken der Entwicklung von superintelligenten Maschinen (also von Maschinen, deren allgemeine Intelligenz größer ist als die des Menschen), haben sich zwei Sichtweisen herausgebildet: Die eine Seite argumentiert, dass eine Maschine, wenn sie jemals fortgeschrittene Intelligenz erreichen sollte, automatisch menschliche Werte anerkennt und verinnerlicht - und darum keine Bedrohung für uns darstellen würde. Die Gegenseite argumentiert, dass künstliche Intelligenz Menschen auslöschen wollen würde, entweder aus Rache oder aus dem inneren Wunsch, zu überleben.

Laut Nick Bostrom, Autor von „Superintelligence: Paths, Dangers, Strategies“, sind beide Ansichten falsch: „Wir haben wenig Grund, an eine Superintelligenz zu glauben, die notwendigerweise menschliche Werte teilt, und wenig Grund zu glauben, dass sie großen Wert auf ihr eigenes Überleben legen würde.“ Beide Argumentationsweisen machten den Fehler, künstliche Intelligenz zu vermenschlichen. Menschliche Emotionen würden auf ein Objekt projiziert, das seinem Wesen nach fremd und andersartig sei.

Die ersten Superintelligenzen, die die Zukunft der Erde prägen könnten, werden womöglich keine Ziele verfolgen, die uns Menschen dienen. Sie werden aber sehr wahrscheinlich versuchen, die Ressourcen zu sammeln, die sie zur Erreichung ihrer eigenen Ziele benötigen. Wenn es dazu kommen sollte, dass Menschen von den superintelligenten Maschinen selbst als Ressource aufgefasst werden, oder zumindest als Wesen, die für ihr Überleben und Gedeihen auf viele weitere lokale Ressourcen angewiesen sind, könnte es im Ergebnis dazu kommen, dass die Menschheit existenziell bedroht wird.