Superintelligenz
Superintelligenz (wörtl. Über-Intelligenz) bezeichnet Wesen oder Maschinen mit dem Menschen in vielen oder allen Gebieten überlegener Intelligenz. Der Begriff findet insbesondere im Transhumanismus und im Bereich der Science-Fiction Verwendung. Ein tatsächlich geistig überlegenes Wesen, das die Kriterien einer Superintelligenz erfüllt, ist nach heutigem Kenntnisstand nicht bekannt.
Definition
Eine Superintelligenz wird definiert als Intellekt, der auch dem besten menschlichen Hirn in den meisten oder allen Bereichen überlegen ist, und zwar sowohl hinsichtlich kreativer und problemlöserischer Intelligenz wie auch bei sozialen Kompetenzen. Dabei bleibt dahingestellt, ob sie biologisch, technisch oder als Hybrid dazwischen realisiert werden kann. Auch die Frage, ob sie ein Selbstbewusstsein oder Erinnerungsvermögen besitzt, bleibt außen vor.[1] Es wird zwischen starker und schwacher Superintelligenz unterschieden. Die schwache Superintelligenz ist ein Intellekt, der qualitativ auf dem Niveau menschlicher Denkprozesse, aber quantitativ um ein Vielfaches schneller arbeitet. Eine starke Superintelligenz arbeitet dagegen auf einem auch qualitativ übergeordneten Niveau.[2]
Abgrenzung
Umgangssprachlich werden bereits Hochbegabte oder auch Inselbegabte (sogenannte „Savants“) als superintelligente Menschen bezeichnet, sie weisen aber nicht die übergeordneten Fähigkeiten einer Superintelligenz auf. Ferner werden auch besonders gute oder schnelle Suchmaschinen oder das Semantische Web als superintelligent bezeichnet; sie sind dem Menschen aber kognitiv nur in Teilaspekten überlegen. Auch eine weltweite „Gemeinschaft der Forscher“ kann nicht als Superintelligenz gewertet werden, da sie nicht klar eingegrenzt werden kann, geschweige denn eine einzelne Entität darstellt.[1]
Geschichte
1965 entwickelte I. J. Good als erster die Vorstellung einer Superintelligenz und einer möglichen Intelligenzexplosion:
- „Eine ultraintelligente Maschine sei definiert als eine Maschine, die die intellektuellen Fähigkeiten jedes Menschen, und sei er noch so intelligent, bei weitem übertreffen kann. Da der Bau eben solcher Maschinen eine dieser intellektuellen Fähigkeiten ist, kann eine ultraintelligente Maschine noch bessere Maschinen bauen; zweifellos würde es dann zu einer explosionsartigen Entwicklung der Intelligenz kommen, und die menschliche Intelligenz würde weit dahinter zurückbleiben. Die erste ultraintelligente Maschine ist also die letzte Erfindung, die der Mensch zu machen hat.“[3]
Darüber hinaus geht eine Idee von Mihai Nadin, der in seinem Werk MIND – Anticipation and Chaos von 1997 vorträgt, dass eine sogenannte kritische Masse an normalen Intelligenzen durch Interaktion verbunden werden könne, die dann transzendent interagiere.[4]
Der Autor Ray Kurzweil geht davon aus, dass Computer gegen das Jahr 2030 die Menschen an Intelligenz übertreffen. Diese These hat er 1999 in seinem Buch The Age of Spiritual Machines (deutscher Titel: Homo S@piens) aufgestellt. Auch Hans Moravec befasste sich mit dem Thema.[5]
Realisation
Ein zielstrebiges, seriöses Projekt zur direkten Erschaffung einer Superintelligenz existiert nicht. Jedoch zeichnen sich im Bereich der Simulation erste Erfolge ab, die im Rahmen verschiedener Großprojekte wie dem Human Brain Project der EU (Etat 1 Mrd. EUR) und der Brain Activity Map Project der USA (Etat 3 Mrd. US-$) in einer vollständigen Nachbildung des menschlichen Gehirns münden sollen. Ein vollständig simuliertes Gehirn könnte die Ausgangsbasis einer (schwachen) Superintelligenz bilden.
Über den konkreten Weg zur Realisierung einer Superintelligenz und bei der Einschätzung vorhandener Technologie herrscht im Transhumanismus wie dem Posthumanismus bislang keine Einigkeit. Möglicherweise könnte es bereits genügen, bestehende und zukünftige Technologien lediglich auf die richtige Weise zu kombinieren, oder aber es ist notwendig, dass die entsprechende Technologie wie auch die Konzepte erst noch entwickelt werden müssen.
Einige Transhumanisten gehen davon aus, dass die immer schneller fortschreitende Entwicklung in allen Bereichen der Wissenschaft bereits in den nächsten Jahrzehnten zur Realisierung einer Superintelligenz führen könnte (25 Jahre[1] bis 50 Jahre[6]). 2009 hielt Henry Markram ein dem Menschen ebenbürtiges, künstliches Gehirn binnen eines Jahrzehnts für möglich.[7]
Mögliche Entwicklungsrichtungen zur Realisation einer Superintelligenz sind die technische Weiterentwicklung von Computern, die gentechnische Weiterentwicklung von Menschen, die Verschmelzung von beidem in Cyborgs, sowie die Simulation auf neuronaler Ebene:
- Künstliche Intelligenz: Eine reine Beschleunigung der Rechengeschwindigkeit von Computern führt ebenso wenig zu höherer Intelligenz wie die Implementierung von stärkeren Algorithmen.[8] Hingegen wird es als möglich erachtet, ein selbst lernendes Programm zu implementieren, eine sogenannte starke künstliche Intelligenz. Die Forschung bemüht sich bereits seit Jahrzehnten, sich selbst verbessernde Künstliche Intelligenzen zu kreieren, jedoch bislang nur mit Erfolgen bei schwacher KI. Dennoch wird unter den diskutierten hier vorgestellten vier Alternativen zur Realisierung einer Superintelligenz dem Weg über eine starke Künstliche Intelligenz die besten Chancen eingeräumt.
- Biologische Kognition: Mittels Gentechnik könnten Übermenschen gezüchtet werden – diese würden nicht auf Anhieb den Status einer Superintelligenz erreichen, in mehreren Generationen bestünde dafür aber zumindest eine Chance für Intelligenzerhöhung. Dafür wird im Rahmen der Embryonenselektion diskutiert, die hinderliche Generationenfolge zeitlich zu verkürzen. Embryonen müssten dafür in einem frühen Stadium Somazellen entnommen und in Keimzellen umgewandelt werden, die eine neue Generation begründen. Geburt und Wachstum könnten auf diese Weise umgangen und ein Mehrgenerationen-Selektionsprozess für die gewünschten genetischen Eigenschaften der Intelligenz, die bekannt sein müssten, drastisch abgekürzt und effizient gestaltet werden.[9] Diese Richtung ist als Eugenik weitgehend abgelehnt. Es ist jedoch nicht auszuschließen, dass erste positive Erfolge in einem Land, das sich hierfür nicht sperrt, zu einem Wandel der Sichtweise führt.
- Gehirn-Computer-Schnittstelle: Der von vielen Transhumanisten bevorzugte Ansatz besteht in der Ausrüstung von Menschen mit verbessernden Implantaten, etwa Mikroprozessoren, um die Denkfähigkeiten massiv zu erhöhen. Über das weitere Vorgehen im Detail herrscht Uneinigkeit, das vorgeschlagene Endziel des Transhumanismus besteht in einer Implementierung menschlichen Bewusstseins in digitalen Speichern von Roboterkörpern oder Cyborgs.[10] Auch hier befindet sich die technische Realisierung noch im Anfangsstadium. Durchbrüche bei der Integration von menschlichem Gehirn und künstlichen Implantaten – vor allem Prothesen zur Behandlung von Behinderungen – führen gelegentlich zu Euphorie in der Presse,[11][12][13][14][15] eine tatsächliche Verbesserung des menschlichen Gehirns durch eine Computerschnittstelle steht allerdings aus.
- Gehirnemulation: Eine weitere, auch praktisch verfolgte Möglichkeit ist, das menschliche Gehirn im Computer vollständig nachzubilden und so dessen Funktionen beliebig schnell zu simulieren (schwache Superintelligenz). Dazu gibt es zwei Großprojekte, die BRAIN Initiative beschränkt sich zunächst auf eine vollständige Kartierung. Das Human Brain Project visiert eine vollständige Simulation an. Die vollständige Simulation ist seit 2005 Zielsetzung des Blue-Brain-Projekts. Dessen Leiter, Henry Markram, hielt 2009 ein künstliches Gehirn bis 2019 für möglich.[7] 2007 wurde ein Etappenziel erreicht, die Simulierung einer kompletten neurokortikalen Säule (bestehend aus 100 Millionen Synapsen – das Großhirn besteht aus 1 Million miteinander vernetzter Säulen). 2013 gelang es dem japanischen Forschungsinstitut RIKEN in Kooperation mit dem Forschungszentrum Jülich auf dem 10 Petaflop K Supercomputer in 40 Minuten Rechenzeit etwa 1 % der Gehirnaktivität für 1 Sekunde zu simulieren (1,7 Milliarden Neuronen mit 10 Billionen Synapsen). Der Leiter der Forschungsgruppe prognostizierte 2013, dass mit der innerhalb der nächsten Dekade zu erwartenden neuen Generation von Exa-Scale-Computern das ganze Gehirn vollständig simulierbar sei.[16]
Wertgebungsproblem
Eine Superintelligenz soll in der Lage sein, sich selbst Ziele und Werte zu geben und diese situationsbedingt auch anpassen zu können.[17] Beispiele für solche Werte seien Freiheit, Gerechtigkeit, Glück oder konkreter: „Minimiere Ungerechtigkeit und unnötiges Leid“, „sei freundlich“, „maximiere den Unternehmensgewinn“. Technisch muss die Wertgebung mit einer mathematischen Nutzenfunktion programmiert werden, die Istzuständen der Umgebung der Superintelligenz einen messbaren Nutzen zuweist. In heutigen Programmiersprachen existieren jedoch keine Wertbegriffe wie „Glück“ und andere. Die Verwendung von Begriffen aus der Philosophie erweist sich als ungelöst schwierig, da sie nicht in Computersyntax umsetzbar sind. Das Problem ist ferner spiegelbildlich zum Problem des Menschen selbst, Ziele und Werte messbar und nachprüfbar zu formulieren und zu kodifizieren, da Werte unserer komplexen Welt entspringen, der wir uns oft nicht bewusst sind. Auch gibt es gute Gründe zu der Annahme, dass unsere moralischen Vorstellungen in verschiedener Hinsicht falsch sind,[18] so dass sie für eine Übernahme in ein KI-System ungeeignet wenn nicht gefährlich sind. Wird der Ansatz verfolgt, dem System zunächst möglichst einfache Werte von außen vorzugeben, aus denen es selbst mit Hilfe der ihm eigenen Saat-KI seine Wertgebung weiterentwickeln und erlernen soll, treten vielfältige neue Probleme auf. Sie können darin bestehen, dass Werte in einer veränderten Welt nicht mehr erwünscht sind oder dass unvorhergesehene Zielkonflikte entstehen und erwartet wird, dass das System sie erkennt und korrigiert. Vielfach sind Zielkonflikte aber nicht auflösbar.[19] Das Wertgebungsproblem ist somit ungelöst. Es ist nicht bekannt, wie eine Superintelligenz auf dem Weg über Wertlernen verständliche menschliche Werte installieren könnte.[20] Selbst wenn das Problem gelöst wäre, existierte das nächste Problem, das darin besteht, welche Werte gewählt werden sollen und welche Auswahlkriterien hierfür zu verwenden sind. Weitere Problemkreise entstehen: Sollen die Absichten der Superintelligenz vor der Ausführung nochmals durch Menschen überprüft werden? Ist das von Menschen, angesichts Komplexität der Fragestellungen, im notwendigen Zeitrahmen überhaupt leistbar? Lässt das System eine solche Kontrolle dauerhaft zu?
Kontrollproblem
Aus einer aus Sicht der Menschen falschen oder unzureichenden Wertgebung für die Superintelligenz resultiert das Kontrollproblem. Dieses besteht darin sicherzustellen, dass die Menschheit die Kontrolle über die Maschine behält. Bostrom demonstriert das Problem an folgendem Beispiel: „Stellen Sie sich eine Maschine vor, die mit dem Ziel programmiert wurde, möglichst viele Büroklammern herzustellen, zum Beispiel in einer Fabrik. Diese Maschine hasst die Menschen nicht. Sie will sich auch nicht aus ihrer Unterjochung befreien. Alles, was sie antreibt, ist, Büroklammern zu produzieren, je mehr, desto besser. Um dieses Ziel zu erreichen, muss die Maschine funktionsfähig bleiben. Das weiß sie. Also wird sie um jeden Preis verhindern, dass Menschen sie ausschalten. Sie wird alles tun, um ihre Energiezufuhr zu sichern. Und sie wird wachsen – und selbst dann nicht aufhören, wenn sie die Menschheit, die Erde und die Milchstraße zu Büroklammern verarbeitet hat. Das ergibt sich logisch aus ihrer Zielvorgabe, die sie nicht hinterfragt, sondern bestmöglich erfüllt.“[21]
Wie kann diese Entwicklung verhindert werden? Bostrom beschreibt hierzu prinzipiell zwei Faktoren. Der erste betrifft die Motivation der Konstrukteure der superintelligenten Maschine. Entwickeln sie die Maschine zu ihrem persönlichen Vorteil oder aus wissenschaftlichem Interesse oder zum Wohle der Menschheit? Dieser Gefahr kann durch Kontrolle des Entwicklers durch den Auftraggeber gebannt werden. Der zweite Faktor betrifft die Kontrolle der Superintelligenz durch ihre Konstrukteure. Kann eine am Ende der Entwicklung höher qualifizierte Maschine durch einen geringer qualifizierten Menschen überwacht werden? Die dazu notwendigen Kontrollmaßnahmen müssten dann vorab eingeplant und in die Maschine eingebaut werden, ohne dass diese im Nachhinein durch die Maschine selbst wieder manipuliert werden können. Hierzu gibt es zwei Ansätze: Kontrolle der Fähigkeiten und Kontrolle der Motivation der Maschine. Entgleitet auch nur eine der beiden, kann die Superintelligenz die Kontrolle über die Menschheit erlangen.[22]
Gefahrenpotential
Im Zusammenhang mit Superintelligenz sprach bereits I. J. Good von einer möglichen Intelligenzexplosion, zu der es im Kreislauf einer rekursiven Selbstverbesserung kommen könnte.[3] Heute wird dieses Szenario als ein Prozess in mehreren Stufen dargestellt.[23] Zunächst hat das gegenwärtige System Fähigkeiten weit unter menschlichem Basisniveau, definiert als allgemeine intellektuelle Fähigkeit. Zu einem zukünftigen Zeitpunkt erreicht es dieses Niveau. Nick Bostrom[24] bezeichnet dieses Niveau als Beginn des Takeoffs. Bei weiterem kontinuierlichem Fortschritt erwirbt die Superintelligenz die kombinierten intellektuellen Fähigkeiten der gesamten Menschheit. Das System wird zu einer „starken Superintelligenz“ und schraubt sich schließlich selbst auf eine Ebene oberhalb der vereinten intellektuellen Möglichkeiten der gegenwärtigen Menschheit. Der Takeoff ist hier zu Ende; die Systemintelligenz nimmt nur noch langsam zu. Während des Takeoffs könnte das System eine kritische Schwelle überschreiten. Ab dieser Schwelle sind die Verbesserungen des Systems in der Mehrheit systemimmanent. Eingriffe von außen sind nur noch wenig relevant. Die Dauer des Takeoffs ist von vielen Faktoren abhängig. Akzellerationseffekte des Systems werden unter dem Begriff Optimierungskraft, hemmende Effekte unter dem Begriff „Widerstand“ zusammengefasst. Die Rate der Veränderung, also die Beschleunigungsrate für eine mögliche Intelligenzexplosion ist dann nach Bostrom Optimierungskraft ./. Widerstand. Faktoren die die Optimierungskraft oder den Widerstand des Systems beeinflussen, sind etwa die Frage, ob nur eine Superintelligenz den Prozess bestreitet oder ob mehrere oder gar viele Superintelligenzien im Wettbewerb gegeneinander stehen. Ferner ist entscheidend, welcher Prozentsatz des Bruttoweltprodukts für die Entwicklung einer oder vieler Superintelligenzen investiert wird (Konstruktionsaufwand). Schnelle drastische Hardwareverbesserungen wären ein Indiz für einen schnellen Takeoff und damit für eine Intelligenzexplosion.[25] Sie könnte in wenigen Tagen oder Stunden ablaufen. Die Dimension einer Intelligenzexplosion wird beispielhaft damit beschrieben, dass das weltweite BIP sich in einem oder zwei Jahren verdoppelt oder dass das System eine Dissertation in wenigen Minuten anfertigen könnte. Der Mensch hätte in diesem Fall kaum Zeit zu reagieren. Sein Schicksal hinge im Wesentlichen von bereits zuvor getroffenen Vorkehrungen ab.[26] Er würde sich im Extremfall der Nicht-mehr-Handlungsfähigkeit einer Technologischen Singularität gegenübersehen. Ein gemäßigter Takeoff wird nach der Analyse von Bostrom zu geopolitischen, sozialen und ökonomischen Verwerfungen führen, wenn Interessengruppen versuchen, sich angesichts des bevorstehenden drastischen Wandels machtpolitisch neu zu positionieren. Ein langsamer Takeoff ist nach Bostrom unwahrscheinlich.[27]
Kritik
Die philosophischen und ethischen Implikationen einer Superintelligenz werden innerhalb wie außerhalb der transhumanistischen Bewegung kontrovers diskutiert. Es gibt verschiedenartige Kritik an dem Ziel, eine Superintelligenz zu erschaffen.
Skeptiker zweifeln, ob eine Superintelligenz überhaupt technisch realisierbar ist. Die Vorgänge in einem biologischen Gehirn seien viel zu komplex, um sie zu entschlüsseln, und zudem viel zu komplex, um sie mit einem technischen Gerät zu imitieren. Auch die Verbindung von menschlichen Synapsen zur Elektronik in einem Cyborg sei problembehaftet, da ein schnelles, aber starres elektronisches System mit langsameren, aber lebendigen Hirnkomplexen nicht einfach verdrahtet werden könne. Dieser Kritik wird zum einen entgegengehalten, dass die Erkenntnisse über die genauen Vorgänge in einem menschlichen Gehirn nicht prinzipiell zu komplex sind, um jemals verstanden zu werden. Ein praktisches Beispiel sind hochentwickelte elektronische Hörgeräte. Zum anderen sei künstliche Intelligenz keineswegs auf die Imitation eines biologischen Gehirns festgelegt, sondern könne ihre Intelligenz auch auf einer anderen Funktionsweise begründen.
Andere Kritiker stören sich an der Hybris, den Menschen verbessern zu wollen. Gerade die Verbesserung durch Gentechnik ist als Eugenik in vielen Ländern gesellschaftlich geächtet. Es besteht außerdem die Frage, ob superintelligente Wesen ihre Fähigkeiten zum Wohle oder zum Nachteil der Menschheit einsetzen. Zwar meinen Befürworter, dass eine Superintelligenz per definitionem charakterlich besser sein müsse als ein normaler heutiger Mensch, aber bei einem Versuch, sie zu erschaffen, würde die Vision möglicherweise nur zum Teil umgesetzt und eine übelwollende Intelligenz erschaffen. Es ist anzumerken, dass auch die legitimen Interessen verschiedener Parteien kollidieren können.
Schließlich besteht eine Abneigung, sich von möglicherweise fehlerhaften Implantaten abhängig zu machen. Gerade die Verfechter des Transhumanismus argumentieren, dass die Verweigerer der neuen Technik von der Avantgarde früher oder später verdrängt oder abgehängt werden. Die Folge wäre, so die Kritiker, dass reichere Menschen sich leistungsfähigere Ergänzungen zu ihrem Gehirn erkaufen können und mit ihrer erhöhten Geisteskapazität die nicht aufgerüsteten Menschen umso besser unterdrücken oder ausbeuten können.
In der Fiktion
Viele Science-Fiction-Romane und -Filme kennen Überwesen. Die zumeist scheinbar allwissenden oder allmächtigen Wesen erfüllen häufig die eingangs genannten Kriterien der Superintelligenz. Die Idee einer komplett vergeistigten, d. h. körperlosen Superintelligenz tauchte erstmals im Jahre 1962 in der Science-Fiction-Serie Perry Rhodan in Form der Superintelligenz ES auf.
Siehe auch
Weblinks
- Shane Legg: Machine Super Intelligence – Dissertation, Universität Lugano 2008. (PDF; 200 S.; 1,6 MB)
- Nick Bostrom: „Superintelligence“ | Talks at Google (YouTube)
- Elon Musk Nick Bostrom Ray Kurzweil Superintelligence Elon Musk and other panellists talk AI and answer the question: “If we succeed in building human-level Artificial general intelligence (AGI), then what are the likely outcomes? What would we like to happen?” (YouTube)
- Bill Gates Joins Stephen Hawking in Fears of a Coming Threat from „Superintelligence“
Einzelnachweise
- Nick Bostrom: How long before Superintelligence? - letzte Aktualisierung 2005
- Begriffe des Transhumanismus, Abschnitt »Was ist eine Superintelligenz« (Memento des Originals vom 16. Juli 2011 im Internet Archive) Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.
- I. J. Good: Speculations Concerning the First Ultraintelligent Machine – 1965 (Memento des Originals vom 4. März 2016 im Internet Archive) Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.
- Mihai Nadin: „Mind Antizipation und Chaos“
- Aus: Computer übernehmen die Macht: Vom Siegeszug der künstlichen Intelligenz. Hamburg 1999, S. 136. – wird von Dirk Evers, Tübingen, in Der Mensch als Turing-Maschine? – Die Frage nach der künstlichen Intelligenz in philosophischer und theologischer Perspektive online (PDF; 71 kB)
- Bostrom et al: FAQ von 1999
- Artificial brain '10 years away'. BBC News, 22. Juli 2009, abgerufen am 19. Juni 2013 (englisch).
- Hans Moravec: When will computer hardware match the human brain? - 1997 (Memento des Originals vom 15. Juni 2006 im Internet Archive) Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.
- Bostrom, Nick: Superintelligenz. Szenarien einer kommenden Revolution. Suhrkamp 2016. S. 68ff
- Gerhard Fröhlich: Techno-Utopien der Unsterblichkeit aus Informatik und Physik. In: Ulrich Becker, Klaus Feldmann, Friedrich Johannsen (Hrsg.): Tod und Sterben in Europa. Neukirchener Verlag, Neukirchen-Vluyn 1997, ISBN 3-7887-1569-3, S. 184–213 (jku.at [PDF; 81 kB]).
- Erste gedankengesteuerte Armprothese. In: derstandard.at
- Prothesen – Höher, schneller, weiter. In: zeit.de
- Spiegel 1997: Als Cyborg ewig leben
- Schrittmacher fürs Gehirn. In: focus.de
- Spiegel 2008: Die Sprache des Gehirns
- Largest neuronal network simulation achieved using K computer. RIKEN, 2. August 2013, abgerufen am 13. August 2013 (englisch).
- Bostrom, Nick: Superintelligenz. Szenarien einer kommenden Revolution. Suhrkamp 2016. S. 260–291
- Bostrom, Nick: Superintelligenz. Szenarien einer kommenden Revolution. Suhrkamp 2016. S. 299
- Bostrom, Nick: Superintelligenz. Szenarien einer kommenden Revolution. Suhrkamp 2016. S. 270ff
- Bostrom, Nick: Superintelligenz. Szenarien einer kommenden Revolution. Suhrkamp 2016. S. 277
- Interview der Zeit mit Nick Bostrom
- Die Zukunft der Evolution; Kommentar von Bertram Köhler zu dem Buch „Superintelligenz“ von Nick Bostrom
- Grafik: Die Form des Takeoffs nach Bostom 2016, S. 94
- Bostrom, Nick: Superintelligenz. Szenarien einer kommenden Revolution. Suhrkamp 2016. S. 94
- Bostrom, Nick: Superintelligenz. Szenarien einer kommenden Revolution. Suhrkamp 2016. S. 338f
- Bostrom, Nick: Superintelligenz. Szenarien einer kommenden Revolution. Suhrkamp 2016. S. 95
- Bostrom, Nick: Superintelligenz. Szenarien einer kommenden Revolution. Suhrkamp 2016. S. 96f
