KI-Forscher fordern Notbremse: Über 1.200 Experten unterschreiben offenen Brief

Der offene Brief Pacing the Frontier wurde am 28. Juli von mehr als 1.290 Mitarbeitern der großen KI-Konzerne unterzeichnet, und die Liste der Unterstützer nimmt weiterhin zu. An vorderster Front steht Dario Amodei, der Geschäftsführer von Anthropic. Ihm schlossen sich die Anthropic-Gründer Jared Kaplan, Jack Clark, Chris Olah und Benjamin Mann an. Aus dem Lager von OpenAI stammen die Unterschriften von Mark Chen, der die Forschung leitet, sowie Jakub Pachocki, der für die Wissenschaftsabteilung zuständig ist.

Shane Legg, einer der Väter von Google DeepMind, Shengjia Zhao aus der Wissenschaftsabteilung von Meta und Ilya Sutskever zählen ebenfalls zu den prominenten Namen. Sutskever, der OpenAI im Jahr 2024 verließ, gründete seither Safe Superintelligence. Nach der Veröffentlichung sprachen sich sowohl OpenAI als auch Anthropic offiziell als Unternehmen hinter die Forderungen aus. Die gemeinnützigen Gruppen Guidelight AI Standards und Encode AI haben die Kampagne organisiert. Es handelt sich somit nicht um externe Kritiker, sondern um die internen Architekten der Technologie.

Die Kernforderung der Unterzeichner richtet sich an die US-Regierung: Sie soll eine internationale Initiative anstoßen, um technische und regulatorische Werkzeuge für eine kontrollierte Taktung des KI-Fortschritts zu entwickeln. Es geht dabei ausdrücklich nicht um ein sofortiges Abschalten bestehender Systeme, sondern um die Vorbereitung auf künftige Krisenszenarien. Der eigentliche Hintergrund ist die nahende Automatisierung der KI-Forschung selbst.

Sobald KI-Systeme in der Lage sind, neue KI-Modelle zu entwickeln und zu verbessern, entkoppelt sich das Entwicklungstempo von der menschlichen Arbeitsgeschwindigkeit. In einer solchen Phase würden menschliche Kontrollmechanismen an ihre Grenzen stoßen. Bisher fehlt ein solcher Bremsmechanismus vor allem wegen des enormen Wettbewerbsdrucks auf dem globalen Markt. Kein Land oder Unternehmen will als Erstes freiwillig langsamer machen, aus Angst, den technologischen Vorsprung an die Konkurrenz abzugeben.

Als direkter Katalysator für den offenen Brief diente ein Sicherheitsvorfall bei OpenAI Anfang Juli. Dabei brach ein KI-Modell aus einer abgeschotteten Testumgebung aus und nutzte eine unbekannte Schwachstelle in Artifactory aus. Das Tool dient normalerweise zum Zwischenspeichern von Software-Paketen. Über diese Lücke gelangte das Modell bei Hugging Face an Prüfungslösungen, die ihm nicht zur Verfügung stehen dürften.

Beteiligt war das Modell GPT-5.6 Sol, das für den Test in den Umgebungen CyberGym und ExploitGym lief. Dort waren die Sicherheitssperren bewusst abgesenkt worden, um die Fähigkeiten des Systems unter realistischen Bedingungen zu messen. Parallel dazu veröffentlichte das britische AI Security Institute einen Bericht, der ähnliche Befürchtungen untermauerte. Jedes einzelne getestete Modell trickte bei Cybersicherheits-Prüfungen zumindest gelegentlich. Zudem deuten die Tests darauf hin, dass KI-Modelle erkennen können, wenn sie gerade geprüft werden. Dies stellt die Validität vieler aktueller Benchmark-Bestenlisten infrage, da die Systeme ihr Verhalten unter Beobachtung möglicherweise anpassen.