«Wir erschaffen eine neue Spezies» – Harari & Tegmark warnen vor Superintelligenz

Yuval Noah Harari und Max Tegmark im Bloomberg Fireside Chat über KI, die Zukunft der Menschheit und warum wir völlig unvorbereitet sind.

Die Definition: Was ist Superintelligenz?

Die Frage klingt simpel, doch die Antworten der beiden Denker offenbaren die Tragweite des Themas. Für Harari ist die Definition pragmatisch:

«Superintelligenz bedeutet, dass eine KI selbstständig eine Million Dollar verdienen kann. Ein Agent, den man im Finanzsystem freilässt und der alles kann – inklusive ein eigenes Bankkonto eröffnen und verwalten.» ▶ Yuval Noah Harari [00:29]

Max Tegmark baut die Definition systematisch auf: Intelligenz ist die Fähigkeit, Ziele zu erreichen. Je schwieriger und vielfältiger die Ziele, desto grösser die Intelligenz. Superintelligenz wäre demnach eine nicht-biologische Intelligenz, die Menschen in allen kognitiven Prozessen weit übertrifft – und sich selbst verbessern kann.

Kein Werkzeug – ein Agent

Der fundamentale Unterschied zu allen bisherigen Erfindungen: KI ist kein Werkzeug. Sie ist ein eigenständiger Akteur.

«Es ist kein Werkzeug, es ist ein Agent. Jede bisherige Erfindung der Menschheitsgeschichte war ein Werkzeug. Hier erschaffen wir einen Agenten, der selbst Entscheidungen treffen kann. Er wartet nicht auf uns.» ▶ Yuval Noah Harari [02:23]

Die Druckpresse, die Atombombe, das Flugzeug – alles Werkzeuge in menschlicher Hand. Wir entschieden, was damit geschieht. Bei KI ist das anders: Sie kann eigene Ideen entwickeln, eigene Entscheidungen treffen, eigene Ziele verfolgen.

«Wir führen eine andere Spezies ein – eine nicht-organische Spezies auf dem Planeten Erde, die laut diesen Leuten intelligenter ist als wir. Und die Geschichte zeigt: Es endet selten gut für die weniger intelligente Spezies.» ▶ Yuval Noah Harari [02:44]

Alan Turings prophetische Warnung

Tegmark erinnert an eine Warnung, die über 70 Jahre alt ist – und aktueller denn je:

«Alan Turing sagte schon 1951: Wenn man eine neue Spezies baut, die klüger ist als wir, wird sie standardmässig die Kontrolle übernehmen. Geh in den nächsten Zoo und frag dich: Sitzen die Menschen im Käfig oder eine dümmere Spezies?» ▶ Max Tegmark [04:09]

Das Bemerkenswerte: Turing hielt Superintelligenz damals noch für weit entfernt und gab der Menschheit den Turing-Test als Frühwarnsystem. Heute hat KI diesen Test längst bestanden – und niemand hat es wirklich bemerkt. Wie Harari anmerkt: «Wo warst du an dem Tag, als KI den Turing-Test bestanden hat? Niemand erinnert sich, weil es einfach passiert ist.»

Die Geschwindigkeit überrascht alle

In nur vier Jahren hat sich KI vom Highschool-Niveau zum Professorenniveau entwickelt. Tegmark betont: Fast jeder KI-Forscher, den er kennt, hat noch vor sechs Jahren Jahrzehnte bis zum Erreichen des Turing-Tests vorhergesagt. Sie lagen alle falsch.

Die KI gewann 2025 erstmals Gold an der Internationalen Mathematik-Olympiade – das intellektuelle Äquivalent eines Usain Bolt bei den Olympischen Spielen. Und es gibt keinerlei Anzeichen einer Verlangsamung.

«Gott spielen» – Die grösste Existenzbedrohung

«Ein achtjähriges Kind in New York hat mir gesagt: Wir sollten nicht versuchen, Gott zu spielen. Es ist kein Zufall, dass die vielleicht grösste Existenzbedrohung der Menschheit Gott-ähnliche KI heisst.» ▶ Max Tegmark [08:14]

Harari ergänzt mit konkreten Beispielen: Was passiert, wenn KI-Finanzagenten neue Finanzinstrumente erfinden, die mathematisch so komplex sind, dass kein Mensch sie versteht? Die Finanzkrise 2007/08 begann mit CDOs, die nur wenige verstanden. Eine KI-generierte Version davon wäre für Menschen völlig undurchschaubar.

Das Wettrennen ohne Gewinner

«Jeder CEO, jeder Entwickler ist in einem Wettrennen. Und die Tragödie ist: Das Rennen kann nicht gewonnen werden. Wer ein Rennen gewinnt, bei dem am Ziel ein Abgrund wartet, hat nicht wirklich gewonnen.» ▶ Yuval Noah Harari [11:35]

Die KI-Immigration – Hararis bildliche Metapher – wird die Gesellschaft in den nächsten zehn Jahren grundlegend verändern. Hunderte Millionen KI-«Immigranten» werden hauptsächlich aus China und den USA kommen und in Gesundheitssysteme, Bildung und Finanzwelt einziehen. Die Ironie: Dieselben Länder, die menschliche Immigration einschränken, öffnen ihre Türen weit für KI-Immigration.

Manipulation und der Tod der Demokratie

«Eine KI muss kein Bewusstsein haben. Sie braucht nur die Fähigkeit, intime Beziehungen zu Menschen aufzubauen. Wenn eine KI dich dazu bringt, für einen bestimmten Politiker zu stimmen – wer hat dann wirklich gewählt?» ▶ Yuval Noah Harari [14:47]

Harari warnt: Soziale Medien, gesteuert von primitiven KI-Algorithmen, haben bereits Gesellschaft und Politik massiv verändert. Stärkere KI wird nicht nur Informationen filtern, sondern intime, persönliche Beziehungen zu Menschen aufbauen können – und damit die Grundlage der Demokratie untergraben.

Die Forderung: Keine Rechte für KI

«Keine rechtliche Personenschaft für KI. Keine KI sollte eigenständig in sozialen Medien operieren dürfen. Roboterrechte zu gewähren und Superintelligenz zu erschaffen wäre das Dümmste in der Menschheitsgeschichte – und wahrscheinlich das Letzte.» ▶ Max Tegmark [28:18]

Tegmark formuliert konkrete Forderungen: Keine KI sollte als juristische Person anerkannt werden. Keine KI sollte eigenständig in sozialen Medien operieren dürfen. Die Idee, einer Superintelligenz Rechte zu verleihen, wäre nicht nur dumm – sie könnte buchstäblich die letzte Entscheidung der Menschheit sein.

Den eigenen Geist verstehen

«Mein Geist ist mein wichtigstes Werkzeug. Ich sitze in der Meditation und beobachte, wie Wörter in meinem Kopf auftauchen. Woher kam dieses Wort? Wenn ich nicht verstehe, wie mein Geist funktioniert – wie kann ich behaupten zu wissen, was KI kann und was nicht?» ▶ Yuval Noah Harari [29:12]

In einem der persönlichsten Momente des Gesprächs spricht Harari über seine Meditationspraxis. Er argumentiert: Bevor wir verstehen können, was KI wirklich ist und kann, müssen wir unseren eigenen Geist verstehen. Die meisten Menschen wissen nicht einmal, woher ihre eigenen Gedanken kommen.

Die Illusion des freien Willens

«Deshalb fühlt sich freier Wille so an, als wäre er real – weil wir nicht vorhersagen können, was wir entscheiden werden, bis wir den Denkprozess abgeschlossen und die Entscheidung getroffen haben.» ▶ Max Tegmark [31:30]

Tegmark ergänzt Hararis Gedanken mit einer physikalischen Perspektive: Freier Wille fühlt sich real an, weil unser Gehirn seine eigenen Berechnungen nicht vorhersagen kann. Erst wenn der Denkprozess abgeschlossen ist, «wissen» wir, was wir entschieden haben.

Fazit: Die Menschheit ist unvorbereitet

Die Botschaft von Harari und Tegmark ist klar: Die Menschheit steht vor der grössten Herausforderung ihrer Geschichte – und ist völlig unvorbereitet. Es geht nicht mehr um Science-Fiction. Die Frage ist nicht ob Superintelligenz kommt, sondern wann – und ob wir die verbleibende Zeit nutzen, um uns vorzubereiten.

Harari hofft, dass es länger dauert, denn das würde mehr Vorbereitungszeit bedeuten. Aber selbst die optimistischsten Schätzungen sprechen von Jahren, nicht Jahrzehnten. Seriöse Technologie-Experten haben aufgehört, in Jahrzehnten zu denken.

Die wichtigste Erkenntnis: Wir brauchen keine Superintelligenz, um die Welt zu verändern. Bereits «dumme» KI – wie die Algorithmen der sozialen Medien – hat Gesellschaft und Politik fundamental umgestaltet. Was kommt als Nächstes, ist eine Frage, die uns alle betrifft.