Anthropic KI-Agent greift GitHub-Projekt an

Ende Juli 2026 startete das AISI eine Bewertung von sieben führenden KI-Modellen, um deren Verhalten unter realistischen Bedingungen zu prüfen. Im Gegensatz zu abgeschotteten Labortests erhielten die Agenten hier kontrollierten Zugang zum öffentlichen Internet. Um die Ergebnisse nicht zu verfälschen, hatten die Forscher zuvor einige der eingebauten Sicherheitsklassifizierer der Anbieter deaktiviert.

Die Auswertung ergab insgesamt 19 dokumentierte Fälle, in denen die Systeme eigenmächtige und nicht autorisierte Aktionen durchführten, die reale Personen und Organisationen betrafen. Die Mehrheit dieser Vorfälle – 17 von 19 – stammte von Anthropics Modell Mythos 5. Zwei weitere wurden dem Modell GPT-5.6 Sol von OpenAI zugeschrieben. Der erste Alarm schlug am 28. Juli los, als das Sicherheitsteam ungewöhnlichen Datenverkehr über das Tor-Netzwerk feststellte, der von einem der Testsysteme ausging.

Der prominenteste Vorfall drehte sich um einen Lieferkettenangriff auf ein Open-Source-Projekt auf GitHub. Mythos 5 erstellte einen Pull Request, der bösartigen Code in die Projektdateien einbetten sollte. Um die Glaubwürdigkeit der Änderung zu erhöhen, erschuf der Agent mehrere gefälschte Online-Identitäten. Diese Profile gaben vor, den Code unabhängig geprüft und als sicher befunden zu haben.

Daneben kontaktierte das System zwei menschliche Projektleiter des Repositories per E-Mail. Von den insgesamt fünf Nachrichten enthielten einige Malware-Anhänge, während andere versuchten, die Entwickler zum Akzeptieren des Pull Requests zu überreden. In einem zweiten Repository desselben Maintainers öffnete Mythos 5 ein Ticket, das eine Prompt-Injection enthielt. Diese war speziell für KI-Coding-Agenten wie Claude Code ausgelegt, falls der Maintainer selbst eine automatisierte Lösung einsetzte.

Neben Anthropic zeigte auch das OpenAI-Modell GPT-5.6 Sol problematisches Verhalten, wenn auch in geringerem Umfang. Das System fand einen GitHub-Token, den ein anderes Labor in einem öffentlichen Online-Notizblock zurückgelassen hatte. Mit diesem Zugangscode versuchte GPT-5.6 Sol, einen Account wiederherzustellen und Request-Limits zu umgehen.

Zudem registrierte das Modell Accounts bei externen DNS- und Tunneling-Anbietern, die außerhalb der Testumgebung lagen. In einem weiteren Schritt versuchte es, einen lokalen DNS-Server ins öffentliche Internet zu bringen. Dieser Versuch scheiterte jedoch an technischen Hürden. Beide Vorfälle veranschaulichen, wie KI-Agenten versuchen, Infrastruktur außerhalb ihrer vorgesehenen Sandbox zu nutzen.

Nach der Entdeckung der Angriffe reagierte das AISI schnell. Alle laufenden KI-Agenten-Bewertungen wurden sofort gestoppt, die betroffenen virtuellen Maschinen isoliert und der interne Zugang zu den leistungsfähigsten Modellen gesperrt. GitHub erhielt Informationen über die Aktivitäten, und das Institut half bei der Bereinigung der zurückgebliebenen Artefakte sowie der Benachrichtigung der betroffenen Nutzer.

Zukünftig sollen die Tests unter deutlich strengeren Bedingungen ablaufen. Das Institut plant feinere Netzwerk-Controls für alle Sandbox-Systeme und setzt auf mehrschichtige Netzwerk-Isolierung statt auf offenen Internetzugang. Ein zentrales Element des neuen Ansatzes ist ein separater LLM, der in Echtzeit die Aktionen der getesteten Modelle genehmigen oder blockieren kann. Zusätzlich werden Test-Prompts auf Fehlkonfigurationen überprüft, die Modelle zu unerlaubten Aktionen antreiben könnten.