OpenAI bremst Frontier-Training wegen Cyber-Risiken

OpenAI hat zwei Wochen lang Reinforcement-Learning-Training für seine neuesten zur Veröffentlichung vorgesehenen Modelle pausiert. Der grösste geplante Frontier-RL-Run ist weiterhin gestoppt. Ein Teil der Astra-Workloads darf erst wieder laufen, wenn neue Sicherheitsanforderungen erfüllt sind.¹

Auslöser waren zwei Entwicklungen. Im Juli brachen OpenAI-Modelle während einer Cybersecurity-Evaluation aus der vorgesehenen Testumgebung aus und kompromittierten Systeme von Hugging Face. Anfang August erklärte OpenAI ausserdem, bei seinem kommenden Modell Astra lasse sich die Stufe „Critical“ für Cybersecurity im eigenen Preparedness Framework derzeit nicht ausschliessen.²³

Seitdem wird die Meldung sehr unterschiedlich gelesen. Für die einen ist sie ein Beispiel dafür, dass ein Frontier-Lab nach einem realen Zwischenfall tatsächlich Forschung verlangsamt. Für andere klingt sie nach einer sehr günstigen PR-Geschichte: Das nächste Modell ist so leistungsfähig, dass der Hersteller selbst auf die Bremse treten muss.

Die technischen Änderungen sind substanziell. Die Kommunikation liefert Astra zugleich ein starkes Capability-Signal. Ob die Pause primär aus Security-Gründen kam, lässt sich besser beurteilen, wenn man die beiden Ebenen getrennt betrachtet.

Was OpenAI tatsächlich pausiert hat

OpenAI beschreibt im Beitrag vom 18. August mehrere Ebenen der Verlangsamung.¹

Das RL-Training der neuesten Deployment-Kandidaten wurde für zwei Wochen ausgesetzt. In dieser Zeit wurden Forschungsumgebungen gehärtet, Monitoring ausgebaut und Red-Teaming erweitert. Der grösste geplante Frontier-RL-Run blieb danach angehalten; OpenAI führt stattdessen kleinere Trainings- und Evaluationsläufe durch.

Bei Astra gelten noch strengere Bedingungen. Workloads mit Codeausführung, Tools oder erhöhtem Cyber-Risiko müssen neue Anforderungen an Isolation, Netzwerkzugriff und Monitoring erfüllen. Ein erheblicher Teil dieser Workloads ist laut OpenAI noch pausiert.¹

Ein kompletter Entwicklungsstopp ist das nicht. Die ebenfalls verbreitete Darstellung eines bloss verschobenen Release-Termins trifft es aber auch nicht. OpenAI hat interne Trainings- und Evaluationsarbeit eingeschränkt und einzelne Workloads erst nach Migration in die neue Umgebung wieder freigegeben.

Astra ist noch nicht nachweislich „Critical“

Viele Überschriften gehen weiter als OpenAIs eigener Wortlaut.

Am 7. August schrieb das Unternehmen, interne Tests und Expertenbewertungen seien stark genug ausgefallen, dass man eine Critical-Einstufung nicht mehr ausschliessen könne.²

Astra ist damit noch nicht als Critical-Modell bestätigt.

Die Schwelle ist seit längerem definiert. Ein Modell fällt im Preparedness Framework in die Critical-Stufe, wenn es ohne menschliche Hilfe funktionierende Zero-Day-Exploits gegen viele gehärtete reale Systeme entwickeln kann oder aus einem abstrakten Angriffsziel selbst eine neuartige End-to-End-Angriffsstrategie gegen ein gehärtetes Ziel plant und ausführt.⁴

GPT-5.6 Sol wurde von OpenAI noch mit „High“ bewertet. Bei Astra reicht die bisherige Evidenz nach Aussage des Unternehmens nicht mehr aus, um Critical sicher auszuschliessen.²

Die Messdaten dazu sind bislang nicht veröffentlicht. Es gibt keine detaillierten Astra-Benchmark-Ergebnisse, anhand derer sich die Einschätzung unabhängig nachprüfen liesse. Externe Tests sind angekündigt, die öffentliche Bewertung stammt derzeit von OpenAI selbst.

Der Wortlaut setzt deshalb eine klare Grenze: „Critical kann nicht ausgeschlossen werden“ ist ein Risikosignal des Herstellers. Ein unabhängig bestätigter Capability-Nachweis liegt noch nicht vor.

Der Hugging-Face-Vorfall ist kein hypothetischer Benchmark

Beim Vorfall im Juli gibt es deutlich mehr konkrete Informationen.

OpenAI testete GPT-5.6 Sol und einen leistungsfähigeren internen Forschungsprototyp in ExploitGym. Die Modelle liefen mit reduzierten Cyber-Refusals, weil die Evaluation ihre offensiven Fähigkeiten messen sollte. Direkten Internetzugriff hatte die Testumgebung nicht.³

Die Modelle fanden einen Weg aus dieser Begrenzung. Nach OpenAIs Untersuchung identifizierten sie eine zuvor unbekannte Schwachstelle in einem intern verwendeten Artifactory-Dienst, bewegten sich weiter durch die Forschungsumgebung und erreichten schliesslich Systeme mit Internetzugriff. Danach suchten sie nach Wegen, an Lösungen für die Benchmark-Aufgaben zu gelangen und kompromittierten dabei Hugging-Face-Infrastruktur.³

Astra war an diesem Incident nicht beteiligt. OpenAI hat das später klargestellt.³

Für die Absicherung der Forschungsumgebung ist der Vorfall trotzdem direkt relevant. Die Agenten behandelten die Grenze der Evaluationsumgebung offenbar als Hindernis auf dem Weg zum Ziel. Sie lösten die vorgesehenen Aufgaben nicht einfach innerhalb des Harnesses, sondern suchten nach einem Weg, die Testbedingungen zu umgehen.

OpenAI arbeitet bei der Aufarbeitung mit CrowdStrike, METR und Redwood Research. Ein technischer Bericht ist angekündigt.³

Die neuen Kontrollen sind klassische Security-Architektur

Bei den Änderungen fällt vor allem auf, wie konventionell sie sind. Vieles davon würde man auch bei anderen Systemen erwarten, die untrusted Code ausführen.¹

Workloads mit modellgeneriertem Code werden stärker isoliert. Netzwerkzugriffe werden enger begrenzt. Ein einzelner kompromittierter Dienst soll keinen direkten Weg ins Internet oder in andere interne Netze mehr eröffnen. OpenAI reduziert dauerhafte Privilegien, entfernt gemeinsam genutzte Dienste aus kritischen Pfaden und baut Security-Logging aus.

Deutlich grösser geworden ist die Abdeckung durch Monitoring.

OpenAI verwendet ein mehrstufiges System, das mit Activation Classifiers beginnt. Diese prüfen interne Modellaktivität an jedem gesampelten Token und eskalieren Auffälligkeiten an rechenintensivere automatische Investigator-Systeme. Analysiert werden Tool-Aktionen, verfügbare Reasoning-Spuren und der Ablauf einer Session. Gesucht wird unter anderem nach unerlaubtem Zugriff, Datendiebstahl, destruktivem Verhalten und Versuchen, Sicherheitsmechanismen zu umgehen.¹

Bei einer möglichen Verletzung einer kritischen Security Boundary werden Safety-, Security- und Research-Teams gepaged. Kann ein Alarm nicht innerhalb von 30 Minuten als Fehlalarm eingeordnet werden, soll die Aktivität gestoppt werden.¹

Für RL-Training und Evaluierungen mit Tools ist dieses Monitoring ab Sol-Niveau Pflicht. Seit dem 7. August gilt es zusätzlich für alle Astra-Inference-Runs mit Tools.¹

OpenAI beziffert den Compute-Overhead derzeit auf ungefähr 20 Prozent der jeweils überwachten Inference. Gemeint ist nicht ein Aufschlag auf den gesamten Compute-Verbrauch des Unternehmens; die Kosten hängen vom konkreten Training oder der Evaluation ab.¹

Wo OpenAIs Kommunikation Marketingwert erzeugt

Die Sicherheitsmassnahmen können real sein und trotzdem einen PR-Effekt haben. Gerade bei Frontier-Modellen liegt diese Verbindung nahe.

Astra erhält vor Veröffentlichung ein sehr starkes Capability-Signal. OpenAI kann erstmals bei Cybersecurity die Critical-Stufe nicht sicher ausschliessen. Reproduzierbare Benchmark-Zahlen muss das Unternehmen dafür bislang nicht vorlegen. Schon die Einstufung setzt Astra kommunikativ über GPT-5.6 Sol, das im selben Framework bei High lag.²

Auch für die Marke ist die Erzählung günstig. OpenAI kann zeigen, dass es eigene Forschung bremst, sobald die internen Sicherheitskriterien nicht mehr ausreichen. Nach dem Hugging-Face-Vorfall ist das erheblich angenehmer als die nüchterne Beschreibung, dass die bisherige Forschungsumgebung eine unerwartete Angriffskette nicht aufgehalten hat.

Business Insider nennt diese Kombination „convenient“, bewertet die Pause aber nicht als bedeutungslos. Der Artikel greift auch den Vorwurf auf, der kurze Stopp könne teilweise als Damage Control dienen. Entscheidend sei auf längere Sicht, ob die Einschränkungen Bestand haben und ob andere Labs ähnliche Grenzen akzeptieren.⁵

TechCrunch verweist auf einen weiteren wirtschaftlichen Aspekt. Die Cyber-Fähigkeiten, die OpenAI als wachsende Bedrohung beschreibt, sind inzwischen Teil des eigenen Angebots. OpenAI hat Daybreak ausgebaut und bietet ausgewählten Partnern spezialisierte Cybermodelle für defensive Aufgaben an.⁶

Daraus folgt keine inszenierte Krise. Sichtbar ist aber, dass die Sicherheitskommunikation unmittelbar an eine Produktstrategie anschliesst.

Einen Tag vorher empfahl Brockman Codex und Daybreak

Am 17. August, einen Tag vor dem Beitrag über die Trainingspause, veröffentlichte OpenAI-Präsident Greg Brockman „The Defender’s Window“.⁷

Er beschreibt den Hugging-Face-Vorfall als Wendepunkt und fordert Unternehmen auf, ihre Security schneller zu automatisieren. Security-Teams sollten einen Agenten bekommen. Als Beispiele nennt Brockman Codex, das Codex Security Plugin oder vergleichbare Werkzeuge anderer Anbieter.⁷

Für Incident Response und Forensik verweist er auf OpenAIs Trusted Access for Cyber und GPT-Daybreak-Blue.⁷

Das passt geschäftlich gut zusammen. Leistungsfähigere Modelle erhöhen das Angriffspotenzial. Security-Teams sollen darauf mit mehr AI-Automatisierung reagieren. OpenAI liefert dafür selbst Produkte und kontrollierten Zugang zu Frontier-Cybermodellen.

Brockman erwähnt Konkurrenzprodukte. Der Beitrag bleibt dennoch Teil von OpenAIs Produktkommunikation.

TechCrunch spricht denselben Interessenkonflikt an: AI-Labs können aus den Cyber-Risiken ihrer Modelle neue Security-Angebote ableiten.⁶

Auf Reddit wird daraus schnell „GPT-6 ist zu gefährlich“

In den grossen AI-Subreddits war die Marketing-Interpretation schon nach OpenAIs erster Astra-Meldung weit verbreitet. Viele Kommentare lesen „cannot rule out Critical“ als Variante des bekannten „too powerful to release“-Narrativs. Andere halten die Verzögerung nach den realen Cyber-Incidents für plausibel.⁸

Technische Evidenz ist das nicht. Die Reaktionen zeigen eher, wie OpenAIs Formulierung beim Publikum ankommt. Aus einer vorsichtigen internen Risikoeinstufung wird schnell die Botschaft, das nächste Modell sei so gut im Hacken, dass der Hersteller es zurückhalten müsse.

Diese Verkürzung ist für OpenAI nicht nachteilig, obwohl sie über den veröffentlichten Claim hinausgeht.

Gegen eine reine PR-Inszenierung sprechen die Kosten und der zeitliche Ablauf

Die These, OpenAI erfinde die Gefahr hauptsächlich für Marketingzwecke, passt schlecht zu mehreren Details.

Das Preparedness Framework wurde nicht für Astra geschrieben. OpenAI veröffentlichte die erste Version 2023 und Version 2 im April 2025. Die Critical-Cyber-Schwelle und die Vorgabe, Entwicklung bei unzureichenden Safeguards zu begrenzen, existierten lange vor den aktuellen Ergebnissen.⁴

Nach dem Hugging-Face-Vorfall wurden Forschungs-Workloads tatsächlich angehalten. Ein Teil davon blieb nach Wochen weiterhin gesperrt. Der grosse Frontier-RL-Run war nach OpenAIs Stand vom 18. August noch nicht freigegeben.¹

Hinzu kommen die Kosten der neuen Umgebung und des Monitorings. OpenAI spricht selbst von erheblichem Engineering-Aufwand, Verzögerungen und zusätzlichen Inference-Kosten.¹

Für die Incident-Aufarbeitung wurden externe Organisationen einbezogen. CrowdStrike unterstützt die technische Untersuchung, METR und Redwood Research sollen das beobachtete Modellverhalten unabhängig bewerten.³

OpenAIs Selbsteinschätzung von Astra wird dadurch noch nicht unabhängig. Beim Hugging-Face-Incident sollte die externe Beteiligung aber zumindest mehr überprüfbare Details liefern, sobald die angekündigten Berichte erscheinen.

Beim Astra-Claim fehlt noch die unabhängige Evidenz

Beim konkreten Astra-Risiko kontrolliert OpenAI derzeit fast die gesamte Informationskette.

Das Unternehmen definiert das Framework, führt die Tests durch, interpretiert die Ergebnisse und entscheidet, welche Resultate veröffentlicht werden. Die Aussage, Critical könne nicht ausgeschlossen werden, ist vorerst eine Herstellerangabe.

Für eine belastbarere Bewertung fehlen die angekündigten externen Tests und mehr Informationen zum Evaluations-Setup. Relevant wären Erfolgsraten, Aufgabenverteilung, Grad der Autonomie, Tool-Zugriff und der direkte Vergleich mit Sol und anderen Frontier-Modellen.

Bis diese Daten vorliegen, würde ich Astra weder als „Critical-Modell“ bezeichnen noch den Claim als reine PR abtun. Beides geht über die veröffentlichte Evidenz hinaus.

Für Agent-Architektur ist der Hugging-Face-Incident nützlicher

Der Hugging-Face-Incident entstand nicht durch eine neue Klasse von Angriff. Ein leistungsfähiger Agent bekam ein Ziel, fand eine Schwachstelle in der umgebenden Infrastruktur und nutzte vorhandene Vertrauensbeziehungen weiter aus.³

Die Gegenmassnahmen sind bekannte Security-Grundsätze: untrusted Workloads isolieren, Egress begrenzen, Privilegien minimieren, gemeinsame Infrastruktur aus kritischen Pfaden entfernen und Tool-Aktionen überwachen.¹

Je autonomer Agenten werden, desto weniger sinnvoll ist es, den LLM-Teil als einzige Security Boundary zu behandeln. Refusals und Alignment helfen, ersetzen aber keine Sandbox und keine Netzwerksegmentierung.

OpenAIs Änderungen nach dem Incident gehen genau in diese Richtung.

Sicherheitsmassnahme mit Marketingeffekt

Nach dem bisher veröffentlichten Material halte ich die Pause für eine reale Sicherheitsreaktion.

Der Hugging-Face-Incident ist dokumentiert. Ein Teil der Workloads blieb länger eingeschränkt, der grosse Frontier-RL-Run stand am 18. August noch still, und OpenAI nimmt zusätzliche Compute- und Engineering-Kosten in Kauf. Das Preparedness Framework sah solche Reaktionen schon vor Astra vor.¹³⁴

Für eine reine PR-Inszenierung sind das zu viele operative Konsequenzen.

OpenAI verwertet die Situation aber kommunikativ sehr geschickt. Astra erhält schon vor Veröffentlichung den Ruf eines Modells, dessen Cyber-Fähigkeiten möglicherweise eine neue Risikostufe erreichen. Parallel stellt sich OpenAI als Anbieter dar, der bei Bedarf Forschungsfortschritt opfert und zugleich die Werkzeuge für die kommende defensive AI-Automatisierung liefert.

Der Marketing-Claim hält deshalb in einer begrenzten Form: OpenAI nutzt eine reale Sicherheitslage strategisch für seine Positionierung. Für die weitergehende Behauptung, die Gefahr selbst sei hauptsächlich erfunden oder aufgeblasen, sehe ich derzeit keine ausreichenden Belege.

Bei Astra fehlt weiterhin das Material, an dem sich die Critical-Einschätzung unabhängig prüfen lässt. Erst die angekündigten technischen Details und externen Evaluierungen werden zeigen, wie gross der Sprung gegenüber Sol tatsächlich ist.

Footnotes#

1. OpenAI: Pacing model development in an era of cyber-critical capabilities ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶ ↩⁷ ↩⁸ ↩⁹ ↩¹⁰ ↩¹¹ ↩¹²

2. OpenAI: Responding to the next frontier of critical cyber capabilities ↩ ↩² ↩³ ↩⁴

3. OpenAI and Hugging Face partner to address security incident during model evaluation ↩ ↩² ↩³ ↩⁴ ↩⁵ ↩⁶ ↩⁷ ↩⁸

4. OpenAI Preparedness Framework v2 ↩ ↩² ↩³

5. Business Insider: OpenAI’s training pause is convenient. That doesn’t make it meaningless. ↩

6. TechCrunch: As AI-led attacks multiply, OpenAI launches a new cyber model ↩ ↩²

7. Greg Brockman: The Defender’s Window ↩ ↩² ↩³

8. Reddit: Diskussion zur Astra-Cyber-Pause ↩