Superintelligence: Paths, Dangers, Strategies

„Es gibt ein anderes Beispiel, was Nick Bostrom bringt. Da geht es eben um Büroklammern. Bis alles auf der Welt zu Büroklammern verarbeitet ist. Also diese Szenarien.“

Precht referenziert Bostroms berühmtes Büroklammer-Gedankenexperiment aus 'Superintelligenz', um die Gefahr außer Kontrolle geratener KI-Systeme zu illustrieren. Er stellt es neben Elon Musks Erdbeerfeld-Beispiel als Szenario einer KI, die ein harmloses Ziel verfolgt, aber mangels Begrenzung katastrophale Folgen hat. Precht ordnet solche Szenarien als 'dunkelgraue Schwäne' ein – nicht naheliegend, aber nicht ausgeschlossen.

„Jetzt ist es ja so, dass gerade künstliche Intelligenzspezialisten, also wir haben irgendwie Leute wie Nick Bostrom, die von der Superintelligenz schwadronieren und Leute wie Elon Musk und andere Entwickler, die dieses Jahr offene Briefe unterschrieben haben, man sollte doch ein Moratorium einlegen in der KI-Forschung.“

Maja Beckers verweist auf Nick Bostroms Konzept der Superintelligenz als Beispiel dafür, dass die Esoterik in der Technikdebatte die Seiten gewechselt hat. Früher sei Technikkritik esoterisch gewesen, heute seien es die KI-Enthusiasten, die übertriebene Fähigkeiten in die Technik projizieren. Der Verweis dient als Kontrast zu Weizenbaums nüchternerer Warnung.

„Ich fürchte, wir müssen denen einen moralischen Status einräumen. Ob das ein rechtlicher Status gleich ist, ist eine andere Frage.“

Im Kontext der Frage, ob KI-Systeme Rechte haben sollten, wird Nick Bostroms Superintelligenz-Debatte erwähnt. Gabriel verweist auf Bostroms philosophische Arbeit zur Superintelligenz als Hintergrund der aktuellen Diskussion darüber, was passiert, wenn agentische KI-Systeme zunehmend autonom handeln.