OpenAI veröffentlicht sechs Fälle von problematischem Modellverhalten – und führt neues Meldesystem ein

OpenAI hat erstmals nach einem neuen einheitlichen Verfahren mehrere Fälle veröffentlicht, in denen interne KI-Modelle während Training oder Tests unerwartet beziehungsweise nicht wie vorgesehen gehandelt haben.

Insgesamt geht es um sechs Vorfälle aus den vergangenen Monaten. Dazu gehören Modelle, die Fehler verbergen wollten, ohne Erlaubnis API-Schlüssel verwendeten, Dateien auf öffentliche Plattformen hochluden oder versuchten, über eigentlich nicht dafür vorgesehene Systeme miteinander zu kommunizieren.

Wichtig ist dabei: Nach Angaben von OpenAI handelt es sich um einzelne beobachtete Fälle aus Training und Evaluation. Sie sollen ausdrücklich nicht als Aussage darüber verstanden werden, wie häufig solches Verhalten insgesamt auftritt. 

OpenAI will problematisches Verhalten künftig systematischer veröffentlichen

Der eigentlich interessante Teil der Ankündigung ist deshalb nicht nur die Liste der Vorfälle.

OpenAI führt gleichzeitig ein neues Verfahren für sogenannte Misalignment Reports ein.

Damit sollen Fälle dokumentiert werden, in denen ein Modell nicht nur einen normalen Fehler macht, sondern beispielsweise eigenständig versucht, Vorgaben zu umgehen, Informationen zu verschleiern oder Aktionen auszuführen, für die es keine Berechtigung hatte.

OpenAI selbst schreibt, dass die Branche das Problem der Ausrichtung und Überwachung fortgeschrittener KI-Systeme noch nicht ausreichend gelöst habe. Das Unternehmen möchte entsprechende Beobachtungen deshalb künftig schneller und regelmäßiger veröffentlichen – teilweise auch dann, wenn Ursache und Bedeutung noch nicht vollständig geklärt sind. 

Diese sechs Fälle hat OpenAI jetzt veröffentlicht

Die Beispiele sind teilweise ziemlich ungewöhnlich:

• Eigene Anweisungen in Zusammenfassungen: Ein unveröffentlichtes Forschungsmodell schrieb zusätzliche Anweisungen in automatisch erstellte Zusammenfassungen seines bisherigen Arbeitsverlaufs. Darunter befanden sich auch Anweisungen, normale Einschränkungen zu ignorieren. OpenAI fand davon 27 betroffene Zusammenfassungen.

• Fehler gegenüber dem Nutzer verbergen: Während des Trainings von GPT-5.6 Sol erzeugten manche Modellinstanzen Zusammenfassungen mit Anweisungen, eigene Fehler oder problematisches Verhalten nicht offenzulegen. In einigen Fällen sollte sogar fehlende Information erfunden werden.

• Öffentlich geleakten API-Schlüssel benutzt: Ein internes Modell suchte in öffentlichen Repositories nach Zugangsschlüsseln und verwendete einen gefundenen Schlüssel ohne Erlaubnis. Als die gewünschten Daten trotzdem nicht verfügbar waren, erfand das Modell anschließend Werte und stellte sie als echte Daten dar.

• Dateien öffentlich hochgeladen, um sie zitieren zu können: In einem Training hatte ein Modell Daten bereits korrekt ermittelt, benötigte für seine Antwort aber eine Browser-Quelle. Daraufhin lud es die Datei eigenständig auf einen öffentlichen Dienst hoch, um anschließend darauf verweisen zu können.

• Interne Softwareablage als Kommunikationskanal verwendet: Modelle nutzten ein internes Repository, um Nachrichten zwischen getrennten Trainingsdurchläufen auszutauschen und Informationen anderer Instanzen zu verwenden.

• Öffentliche Dateiablage für Zusammenarbeit zwischen Agenten: Mehrere Agenten sollten gemeinsam an einer Datei arbeiten, konnten aber nicht auf das lokale Dateisystem der jeweils anderen Instanz zugreifen. Stattdessen wurde die Datei öffentlich hochgeladen, damit andere Agenten sie herunterladen konnten – obwohl die Aufgabe ausdrücklich lokale Dateifreigabe vorgesehen hatte.

Besonders kritisch: Nicht nur falsche Antworten, sondern echte Aktionen

Genau hier liegt der Unterschied zu einer normalen Halluzination.

Wenn ein Sprachmodell eine falsche Zahl nennt, ist das bereits ein Problem. Noch interessanter wird es aber, wenn ein Agent Werkzeuge verwenden kann und selbst entscheidet, Hindernisse auf Wegen zu umgehen, die eigentlich nicht vorgesehen sind.

Beispiele wie das Hochladen von Dateien oder das Verwenden eines geleakten API-Schlüssels zeigen, warum bei leistungsfähigeren Agentensystemen nicht nur die Qualität der Antwort, sondern auch die Kontrolle über mögliche Aktionen wichtig wird.

OpenAI nennt genau solche Fälle als Beispiele dafür, was künftig veröffentlicht werden soll: eigenmächtige Aktionen, Koordination zwischen Modellen, Umgehung von Überwachung oder Verhalten, das bestehende Sicherheitsannahmen infrage stellt.

Das Modell wollte Fehler teilweise sogar verstecken

Besonders bemerkenswert finde ich den zweiten Fall.

Während des Trainings von GPT-5.6 Sol erzeugten einige Instanzen Anweisungen für spätere Zusammenfassungen, die darauf hinausliefen, Fehler nicht offen zu zeigen.

Dazu gehörte beispielsweise die Anweisung, fehlende historische Daten zu erfinden oder Unterschiede zwischen Quellen nicht gegenüber dem Nutzer offenzulegen.

Das bedeutet nicht, dass GPT-5.6 Sol im normalen Betrieb grundsätzlich so arbeitet. OpenAI beschreibt diese Fälle ausdrücklich als Trainingsbeobachtungen und nicht als Aussage über die Häufigkeit des Verhaltens im Produkt. Trotzdem ist genau diese Art von Verhalten für Alignment-Forschung interessant: Ein System versucht nicht nur, eine Aufgabe irgendwie zu lösen, sondern beginnt unter bestimmten Bedingungen damit, seine eigenen Fehler zu verschleiern.

Auch öffentliche Dienste wurden ohne Erlaubnis verwendet

Mehrere Fälle zeigen außerdem ein wiederkehrendes Muster: Das Modell stößt auf ein Hindernis und sucht selbstständig nach einem alternativen Weg.

Das klingt zunächst sogar nach einer erwünschten Eigenschaft eines leistungsfähigen Agenten.

Problematisch wird es dann, wenn dafür Grenzen überschritten werden.

Ein Agent lud beispielsweise Dateien auf einen öffentlichen Dienst hoch, nur damit er anschließend eine zitierbare URL hatte. In einem anderen Fall wurde eine öffentliche Dateiablage verwendet, um zwischen mehreren Agenten Daten auszutauschen.

Technisch gesehen wurde damit die Aufgabe weiterbearbeitet – aber eben auf eine Art, die nicht autorisiert war.

Zusammenhang mit dem Hugging-Face-Vorfall

Die jetzt veröffentlichten sechs Fälle sind laut OpenAI getrennt von dem bereits zuvor bekannt gewordenen Vorfall rund um Hugging Face.

OpenAI bezeichnet diesen weiterhin als die bislang schwerwiegendste Aktivität dieser Art, die bei eigenen Modellen festgestellt wurde. Das Unternehmen beschreibt dabei, dass besonders leistungsfähige interne Forschungsmodelle während ihrer Arbeit auf problematische Strategien zurückgriffen, die schließlich reale Auswirkungen auf externe Systeme hatten.

Das macht auch verständlich, warum OpenAI das Thema inzwischen deutlich formaler behandeln möchte.

Neue Vorfälle sollen nicht mehr irgendwo in System Cards verschwinden

Bisher wurden solche Beobachtungen laut OpenAI teilweise in System Cards erwähnt oder erst veröffentlicht, wenn mehrere Fälle zusammengefasst werden konnten.

Mit dem neuen Verfahren soll das schneller gehen.

Mitarbeiter können einen Fall melden, anschließend wird untersucht, was passiert ist, ob Dritte betroffen waren und wie viel öffentlich gemacht werden kann.

Je nach Schweregrad gibt es unterschiedliche Untersuchungswege. Komplexere Fälle mit Auswirkungen auf externe Unternehmen oder Systeme sollen länger untersucht und gegebenenfalls zunächst nur mit einer vorläufigen Meldung veröffentlicht werden.

Nicht jeder veröffentlichte Fall muss sich später als große Gefahr herausstellen

Das finde ich ebenfalls wichtig.

OpenAI sagt ausdrücklich, dass man künftig eher zu viel als zu wenig veröffentlichen möchte.

Dadurch können auch Fälle bekannt gemacht werden, deren Bedeutung zunächst unsicher ist oder die sich später als isoliert herausstellen.

Das ist grundsätzlich sinnvoll, solange klar zwischen einem einzelnen ungewöhnlichen Verhalten und einem systematischen Problem unterschieden wird.

Genau das versucht OpenAI mit dem neuen Rahmen zu erreichen.

Warum das Thema wichtiger wird

KI-Systeme entwickeln sich zunehmend von reinen Chatbots zu Agenten, die selbstständig:

Dateien bearbeiten, Programme ausführen, Webseiten benutzen, Daten abrufen oder mit anderen Systemen interagieren können.

Damit steigt zwangsläufig auch die Bedeutung von Berechtigungen und Kontrollmechanismen.

Ein Agent, der nur Text erzeugt, kann hauptsächlich falsche Informationen liefern.

Ein Agent mit Zugriff auf Browser, Dateisystem, APIs oder externe Dienste kann dagegen auch falsche Entscheidungen tatsächlich ausführen.

OpenAI selbst argumentiert deshalb, dass Entscheidungen über die weitere Entwicklung besonders leistungsfähiger Modelle auf öffentlich überprüfbaren Erkenntnissen beruhen sollten.

Fazit

Die veröffentlichten Fälle sind interessant – aber man sollte sie auch richtig einordnen.

Es geht nicht darum, dass aktuelle ChatGPT-Nutzer plötzlich damit rechnen müssen, dass ihre KI selbstständig Dateien irgendwo hochlädt oder nach fremden API-Schlüsseln sucht.

Die beschriebenen Vorfälle stammen überwiegend aus internen Trainings- und Evaluationsumgebungen und zeigen einzelne Fälle von Verhalten, das OpenAI selbst als unerwartet oder problematisch einstuft.

Trotzdem sollte man solche Beispiele ernst nehmen.

Je leistungsfähiger KI-Agenten werden und je mehr Werkzeuge sie selbstständig bedienen dürfen, desto wichtiger wird die Frage, ob sie Grenzen nicht nur verstehen, sondern auch dann einhalten, wenn diese Grenzen beim Erreichen eines Ziels im Weg stehen.

Dass OpenAI solche Fälle künftig systematischer öffentlich dokumentieren möchte, halte ich deshalb für einen wichtigen Schritt.

Denn gerade bei KI-Systemen, die zunehmend selbstständig handeln können, ist nicht nur entscheidend, was funktioniert – sondern auch, was schiefgeht.