KI-Forscher sowie Führungskräfte von OpenAI und Anthropic warnen vor einer möglichen Intelligenzexplosion

Ein von dem Nobelpreisträger Geoffrey Hinton und dem Informatiker Yoshua Bengio mitverfasster Bericht warnt davor, dass automatisierte KI-Forschung eine Intelligenzexplosion auslösen könnte, die jahrelangen technischen Fortschritt auf Monate oder weniger komprimieren könnte. The Guardian berichtete am 28. September 2026 über diese Warnung.

Der vorgeschlagene Auslöser

Die Autoren konzentrieren sich auf rekursive Selbstverbesserung: KI-Systeme, die ihre Fähigkeiten nutzen, um die Systeme zu verbessern, die ihnen folgen. Sie argumentieren, dass automatisierte KI-Forschung und -Entwicklung der plausibelste Weg zu einer solchen Beschleunigung ist, da Verbesserungen schnell eingesetzt werden könnten, sobald sie entwickelt sind.

Das Papier hat mehr als 20 Autoren, darunter den Anthropic-Mitbegründer Jack Clark und den Chefwissenschaftler von OpenAI, Jakub Pachocki. Das zentrale Szenario bleibt eine Möglichkeit und ist keine etablierte Prognose. Die Autoren sagen, dass die derzeitigen Produktivitätsgewinne durch KI-gestützte Forschung noch nicht das Niveau erreicht haben, das für eine Intelligenzexplosion nötig wäre, obwohl neuere Systeme sich dieser Schwelle wahrscheinlich nähern.

Warum die Autoren besorgt sind

Der Bericht sagt, dass Systeme, die auf Expertenniveau in der KI-Forschung arbeiten können, einem einzigen Entwickler Zugang zu einer Arbeitskraft verschaffen könnten, die mit Millionen führender menschlicher Forscher vergleichbar ist. Dies könnte den wissenschaftlichen und technologischen Fortschritt beschleunigen, aber auch die Rolle des Menschen bei der Steuerung oder Begrenzung der KI-Entwicklung verringern.

Die Autoren benennen Risiken, darunter biologische und Cyberbedrohungen, die schneller voranschreiten könnten als Gegenmaßnahmen, eine schwächere menschliche Kontrolle über zunehmend leistungsfähige Systeme und Regierungen, die einen bescheidenen Vorsprung in Bereichen wie dem Cyberspace in einen entscheidenden Vorteil umwandeln könnten. Sie erkennen außerdem an, dass Lieferketten, Regulierung und andere praktische Einschränkungen die Auswirkungen verlangsamen könnten und dass KI auch die Geschwindigkeit der Risikobewältigung erhöhen könnte.

Vorgeschlagene politische Maßnahmen

Der Bericht fordert transparente Berichte über Fortschritte in der KI-Forschung und -Entwicklung, einschließlich unabhängiger Prüfer in Unternehmen. Er schlägt außerdem Grenzen für die Geschwindigkeit vor, mit der sich KI-Systeme verbessern können, Vereinbarungen mit Rechenzentren, um ausgewählte Forschungsprojekte zu pausieren, die Isolierung automatisierter Forschungssysteme und Notfallpläne für mögliche Entwicklungen vor.

Evidenz aus aktuellen Systemen

Anthropic zufolge erstellt KI inzwischen 80 % ihres eigenen Codes, während OpenAI autonome KI-Agenten bei Aufgaben wie dem Training neuer Modelle einsetzt. Dies sind von The Guardian berichtete Aussagen der Unternehmen und keine unabhängigen Messungen. Das Papier sagt außerdem, dass KI bis 2028 Forschungsprojekte automatisieren könnte, für die Menschen Monate benötigen würden, und betont zugleich, dass der Zeitpunkt und die Folgen einer möglichen Intelligenzexplosion ungewiss sind.

KI-generierte redaktionelle Illustration; kein Dokumentarfoto.

Quelle: AI godfathers warn of runaway ‘intelligence explosion’