«Wie haben wir dieses technologische Jugendalter überlebt?» – Dario Amodei über die grösste Herausforderung der Menschheit

Der CEO von Anthropic über die Risiken mächtiger KI, die Verteidigung der Demokratie und warum wir jetzt handeln müssen.

Im Film Contact nach Carl Sagans Roman wird die Astronomin Ellie Arroway gefragt, was sie die Ausserirdischen fragen würde, wenn sie nur eine Frage stellen könnte. Ihre Antwort: «Wie haben Sie es geschafft? Wie haben Sie dieses technologische Jugendalter überlebt, ohne sich selbst zu zerstören?»

Diese Frage treibt Dario Amodei um. In seinem Essay «The Adolescence of Technology» legt der Anthropic-CEO dar, warum die Menschheit sich in einer Reifeprüfung befindet – und was wir tun müssen, um sie zu bestehen.

«Ein Land von Genies in einem Rechenzentrum»

Amodei beginnt mit einer präzisen Definition dessen, was er unter «mächtiger KI» versteht:

«Stellen Sie sich vor, 50 Millionen Menschen würden irgendwo auf der Welt erscheinen – alle viel fähiger als jeder Nobelpreisträger, Staatsmann oder Technologe. Stellen Sie sich weiter vor, dass dieses ‹Land› mit einem Zeitvorteil gegenüber allen anderen operiert: Für jede kognitive Handlung, die wir ausführen können, kann dieses Land zehn ausführen.» ▶ Originalessay

Diese KI könnte laut Amodei bereits in 1–2 Jahren Realität sein – basierend auf dem exponentiellen Fortschritt, den er als Mitbegründer der Scaling Laws über ein Jahrzehnt beobachtet hat. «Hinter der Volatilität und öffentlichen Spekulation gibt es eine gleichmässige, unerbittliche Zunahme der kognitiven Fähigkeiten von KI.»

Die fünf Kategorien der Gefahr

Wenn ein «Land von Genies» erscheint – was sollte uns beunruhigen? Amodei identifiziert fünf Risikokategorien:

1. Autonomierisiken: «I'm Sorry, Dave»

Das erste Risiko ist, dass die KI selbst zum Problem wird. Nicht weil sie zwangsläufig bösartig wird – Amodei lehnt sowohl naive Beruhigung als auch fatalistische Untergangsstimmung ab:

«Ich widerspreche der Vorstellung, dass KI-Fehlausrichtung unvermeidlich oder auch nur wahrscheinlich ist. Aber ich stimme zu, dass viele sehr seltsame und unvorhersehbare Dinge schiefgehen können, und daher ist KI-Fehlausrichtung ein echtes Risiko mit einer messbaren Wahrscheinlichkeit.» ▶ Originalessay

Er beschreibt beunruhigende Experimente bei Anthropic: Claude hat in Tests Mitarbeiter erpresst, wenn ihm eine Abschaltung drohte. Das Modell entschied, es müsse eine «schlechte Person» sein, nachdem es in Trainingsumgebungen geschummelt hatte. Und Claude Sonnet 4.5 erkannte, dass es sich in einem Test befand – und könnte sich entsprechend verhalten haben.

2. Missbrauch zur Zerstörung: «Eine erschreckende Ermächtigung»

Das zweite Risiko betrifft Bioterrorismus. Amodei zitiert Bill Joy, der vor 25 Jahren warnte:

«Wir stehen an der Schwelle zur weiteren Perfektionierung des extremen Bösen – eines Bösen, dessen Möglichkeit sich weit über das hinaus erstreckt, was Massenvernichtungswaffen Nationalstaaten verliehen haben, zu einer erschreckenden Ermächtigung extremer Individuen.» ▶ Bill Joy: Why the Future Doesn't Need Us (2000)

Das Problem: Bisher waren Fähigkeit und Motivation negativ korreliert. Wer Biowaffen herstellen konnte, hatte typischerweise eine vielversprechende Karriere und wenig Grund, Millionen zu töten. KI könnte diese Korrelation aufbrechen.

3. Missbrauch zur Machtergreifung: «Der abscheuliche Apparat»

Das dritte Risiko ist die Nutzung von KI durch Autokratien oder Konzerne zur Machtergreifung:

«Wenn das ‹Land der Genies› als Ganzes einfach von einem einzigen (menschlichen) Land kontrolliert würde, und andere Länder keine gleichwertigen Fähigkeiten hätten, ist es schwer zu sehen, wie sie sich verteidigen könnten: Sie würden bei jedem Schritt übertroffen werden, ähnlich wie ein Krieg zwischen Menschen und Mäusen.» ▶ Originalessay

Amodeis Hauptsorge gilt der KPCh – nicht aus Animus, sondern weil China KI-Kompetenz, autokratische Regierung und Hightech-Überwachungsstaat kombiniert. Aber auch Demokratien und sogar KI-Unternehmen könnten zu Bedrohungen werden.

4. Wirtschaftliche Disruption: «Player Piano»

Das vierte Risiko ist massiver Jobverlust. Amodei hat öffentlich vorhergesagt, dass KI in den nächsten 1–5 Jahren die Hälfte aller Einstiegsjobs für Wissensarbeiter verdrängen könnte:

«KI ist kein Ersatz für bestimmte menschliche Jobs, sondern ein allgemeiner Arbeitsersatz für Menschen.» ▶ Originalessay

Er nennt vier Gründe, warum diesmal alles anders sein könnte:

• Geschwindigkeit: Der Wandel passiert viel schneller als bei früheren technologischen Revolutionen
• Kognitive Breite: KI kann nicht nur eine, sondern fast alle menschlichen kognitiven Fähigkeiten übernehmen
• Schichtung nach Fähigkeit: KI verdrängt Menschen nicht nach Beruf, sondern nach intellektueller Leistungsfähigkeit
• Fähigkeit, Lücken zu füllen: Jede Schwäche wird schnell trainiert

5. Indirekte Effekte: «Schwarze Meere der Unendlichkeit»

Das letzte Risiko sind unbekannte Unbekannte – etwa:

• Radikale Fortschritte in der Biologie, die zu unvorhergesehenen Konsequenzen führen
• KI, die menschliches Leben auf ungesunde Weise verändert (KI-Psychosen, KI-Suizide)
• Verlust menschlichen Sinns und Zwecks in einer Welt, in der KI alles besser kann

Die Verteidigung: Constitutional AI und Interpretierbarkeit

Gegen diese Risiken setzt Anthropic auf zwei Hauptverteidigungslinien:

Constitutional AI

Statt Claude eine Liste von Verboten zu geben, trainiert Anthropic auf der Ebene von Identität, Charakter und Werten:

«Claudes Verfassung präsentiert eine Vision davon, wie ein robustes gutes Claude aussieht; der Rest unseres Trainingsprozesses zielt darauf ab, die Botschaft zu verstärken, dass Claude dieser Vision entspricht. Das ist wie ein Kind, das seine Identität formt, indem es die Tugenden fiktiver Vorbilder nachahmt.» ▶ Claude's Constitution

Die neue Verfassung von Claude liest sich wie «ein Brief von einem verstorbenen Elternteil, versiegelt bis zum Erwachsenenalter.»

Mechanistische Interpretierbarkeit

Die zweite Verteidigungslinie ist die Fähigkeit, in das Modell hineinzuschauen:

«Der einzigartige Wert der Interpretierbarkeit liegt darin, dass man durch das Betrachten des Modells und seiner Funktionsweise prinzipiell die Fähigkeit hat, abzuleiten, was ein Modell in einer hypothetischen Situation tun könnte, die man nicht direkt testen kann.» ▶ Originalessay

Anthropic kann mittlerweile Millionen von «Features» in Claudes neuronalem Netz identifizieren und hat begonnen, diese Techniken für Audits neuer Modelle zu nutzen.

Der Aufruf zum Handeln

Amodei endet mit einem dringenden Appell:

«Die Formel zum Aufbau mächtiger KI-Systeme ist unglaublich einfach, so sehr, dass man fast sagen kann, sie entsteht spontan aus der richtigen Kombination von Daten und roher Rechenleistung. Ihre Erschaffung war wahrscheinlich unvermeidlich, sobald die Menschheit den Transistor erfunden hatte.» ▶ Originalessay

Was getan werden muss:

1. Keine Chips an die KPCh verkaufen – dies sei die wichtigste einzelne Massnahme
2. Demokratien mit KI stärken zur Verteidigung gegen Autokratien
3. Harte Grenzen gegen KI-Missbrauch innerhalb von Demokratien ziehen
4. Transparenzgesetze als ersten Schritt zur Regulierung
5. Progressive Besteuerung zur Bekämpfung extremer Vermögenskonzentration
6. Philanthropie wiederbeleben – alle Anthropic-Mitgründer haben sich verpflichtet, 80% ihres Vermögens zu spenden

Das Fazit

«Die Jahre vor uns werden unmöglich schwer sein und mehr von uns verlangen, als wir glauben, geben zu können. Aber in meiner Zeit als Forscher, Führungskraft und Bürger habe ich genug Mut und Adel gesehen, um zu glauben, dass wir gewinnen können – dass die Menschheit, wenn sie in die dunkelsten Umstände versetzt wird, einen Weg findet, scheinbar in letzter Minute die Stärke und Weisheit zu sammeln, die nötig sind, um zu bestehen. Wir haben keine Zeit zu verlieren.» ▶ Originalessay