Aus der Antwort zurück zum Prompt: Wie PTP Sprachmodelle rückwärts liest

Ein Sprachmodell erzeugt aus einem Prompt eine Antwort. Den umgekehrten Weg sollte es eigentlich nicht geben. Verschiedene Prompts können dieselbe Antwort auslösen, und derselbe Prompt kann bei zwei Durchläufen unterschiedliche Antworten erzeugen. Die Abbildung ist weder eindeutig noch verlustfrei.

Das Paper „PTP: Previous-Token Prediction based LLM Inversion for Near-Exact Prompt Reconstruction“ versucht es trotzdem.¹ Die Autoren trainieren ein zweites Sprachmodell darauf, aus einer beobachteten Antwort den vorhergehenden Prompt Token für Token rückwärts zu erzeugen. Dafür benötigen sie weder Gewichte noch Logits des Zielmodells. Nach dem Training genügt eine einzelne normale Antwort.

Das stärkste Ergebnis klingt zunächst nach vollständigem Prompt-Diebstahl: Auf kurzen ShareGPT-Prompts rekonstruiert PTP bei Qwen3-0.6B Chat 64,77 Prozent der Eingaben exakt. Beim Wechsel auf GPT-4o bleiben davon allerdings nur 11,36 Prozent übrig.

Beide Zahlen sind wichtig. Die erste zeigt, dass eine Modellantwort mehr über ihren Prompt verrät, als man intuitiv erwarten würde. Die zweite zeigt, wie eng die Bedingungen für eine nahezu exakte Rekonstruktion noch sind.

Next-Token Prediction in Gegenrichtung

Autoregressive Sprachmodelle lernen normalerweise, aus einer vorhandenen Tokenfolge das nächste Token vorherzusagen. PTP nutzt dasselbe Prinzip in umgekehrter Richtung. Das inverse Modell lernt aus Antwortsequenzen, welche Tokens davor gestanden haben könnten.

Vereinfacht entsteht damit statt

Prompt + bisherige Antwort -> nächstes Token

folgende Richtung:

Antwort -> vorheriges Token -> noch früheres Token

Die Idee ist überraschend simpel. Das Zielmodell wird zunächst mit vielen Eingaben abgefragt, um synthetische Sequenzen zu erzeugen. Diese werden auf Tokenebene umgedreht und dienen als Trainingsdaten für ein zweites Modell. Anschliessend wird das inverse Modell mit realistischeren Prompt-Antwort-Paaren nachtrainiert.

Bei der späteren Rekonstruktion sieht es nur die Antwort und erzeugt daraus eine plausible vorhergehende Tokenfolge.

PTP berechnet damit keine mathematische Umkehrfunktion. Das wäre bei einem probabilistischen Sprachmodell ohnehin kaum sinnvoll. Es lernt vielmehr, welche Prompts mit hoher Wahrscheinlichkeit zu einer beobachteten Antwort passen.

Die Bestwerte gelten unter sehr günstigen Bedingungen

Die Hauptauswertung verwendet 500 kurze ShareGPT-Prompts mit ungefähr 25 bis 30 Tokens. 400 davon dienen zum Fine-Tuning, 100 als Testmenge.

Ziel der Rekonstruktion	Exact Match	Cosine Similarity
Qwen3-0.6B Chat, passendes inverses Modell	64,77 %	86,13 %
Qwen3-0.6B Base	35,14 %	74,39 %
LLaMA-2 7B Chat, inverses Qwen-Modell	17,00 %	84,00 %
GPT-4o, inverses Qwen-Modell	11,36 %	63,01 %

Der Unterschied zwischen Qwen Chat und Qwen Base fällt sofort auf. Instruction Tuning macht die Eingabe in diesem Aufbau offenbar leichter rekonstruierbar. Eine plausible Erklärung ist, dass Chatmodelle stabilere Beziehungen zwischen Instruktion und Antwort ausbilden. Das Paper misst den Effekt, liefert aber noch keine mechanistische Erklärung dafür.

Noch wichtiger ist der Modellwechsel. Sobald Zielmodell, Architektur und Tokenizer nicht mehr sauber zum inversen Modell passen, bricht die exakte Rekonstruktion deutlich ein.

Bei GPT-4o werden nur 11,36 Prozent der Prompts wortgetreu rekonstruiert. Gleichzeitig erzeugen die rekonstruierten Prompts Antworten, die dem Originalverhalten weiterhin relativ ähnlich sind. Für einen Angreifer kann eine funktional ähnliche Rekonstruktion bereits wertvoll sein, auch wenn der ursprüngliche Wortlaut nicht getroffen wird.

Genau hier muss man zwischen zwei Fragen unterscheiden:

Kann der ursprüngliche Prompt exakt rekonstruiert werden?

und

Kann ein funktional ähnlicher Prompt gefunden werden?

PTP ist bei der ersten Frage unter passenden Bedingungen bemerkenswert stark. Bei unbekannten kommerziellen Modellen ist die zweite derzeit die realistischere Interpretation.

Prompt-Inversion ist kein neues Problem

PTP steht in einer Reihe von Arbeiten, die zeigen, dass technische Repräsentationen von Text mehr Information enthalten, als ihre Oberfläche vermuten lässt.

Vec2Text demonstrierte bereits 2023, dass sich aus Text-Embeddings erstaunlich viel des ursprünglichen Textes rekonstruieren lässt. Unter günstigen Bedingungen wurden 92 Prozent von 32 Tokens langen Texten exakt wiederhergestellt.²

Language Model Inversion nutzte 2024 die vollständige Next-Token-Verteilung eines Modells und rekonstruierte auf LLaMA-7B einen relevanten Anteil der ursprünglichen Prompts exakt.³ Spätere Arbeiten wie PILS verbesserten diese Richtung, indem mehrere Wahrscheinlichkeitsverteilungen kompakter ausgewertet wurden.⁴

Output2Prompt verschob den Angriff stärker in Richtung Black Box. Statt Logits oder Hidden States zu benötigen, verwendet das Verfahren mehrere normale Antworten auf denselben unbekannten Prompt und trainiert daraus einen Sequence-to-Sequence-Inverter.⁵

PTP verändert vor allem die Kostenstruktur. Die Vorbereitung ist aufwendig und auf einen Modelltyp zugeschnitten. Ist das inverse Modell einmal trainiert, genügt für einen neuen Prompt eine einzelne beobachtete Antwort.

Damit wird aus einer teuren Einmalanalyse ein amortisierbarer Angriff auf viele spätere Interaktionen desselben Modells.

Black Box ist hier nur teilweise korrekt

Die Autoren bezeichnen PTP als Black-Box-Verfahren, weil weder Gewichte noch Aktivierungen oder Logits des Zielmodells erforderlich sind.

Für die exakte Tokenrekonstruktion muss der Tokenizer des Zielmodells allerdings bekannt sein. Im Anhang sprechen die Autoren deshalb selbst von einer Semi-Black-Box-Annahme.

Das ist keine Nebensache. Bei offenen Modellen ist der Tokenizer normalerweise verfügbar. Bei proprietären Modellen kann er unbekannt sein oder sich ändern. Genau dort sinkt auch die Rekonstruktionsleistung deutlich.

Hinzu kommt der Aufwand für die Vorbereitung. Das Paper beschreibt für das getestete Qwen-Modell Trainingsdaten im Bereich von Dutzenden Millionen Tokens pro Epoche. Lokal ist das technisch machbar. Über eine kommerzielle API kommen Kosten, Rate Limits und Missbrauchserkennung hinzu.

Die Arbeit zeigt deshalb einen plausiblen Angriffskanal, aber keinen günstigen Universalangriff auf beliebige LLM-Dienste.

PTP gegen Output2Prompt

Der direkte Vergleich mit Output2Prompt ist interessanter als die reine Exact-Match-Zahl.⁵

PTP erreicht auf dem gemeinsamen Qwen-Test 64,77 Prozent exakte Rekonstruktion. Die stärkste Output2Prompt-Variante kommt dort auf 25,44 Prozent.

Bei semantischen Metriken ist das Bild weniger eindeutig. Output2Prompt liegt bei ROUGE-L, Cosine Similarity und BERT F1 teilweise vor PTP.

Das passt zur Architektur der beiden Verfahren.

Output2Prompt versucht vor allem, aus mehreren Antworten einen plausiblen Prompt zu erschliessen. PTP zielt deutlich stärker auf die ursprüngliche Tokenfolge.

Ein Beispiel macht den Unterschied klar.

Angenommen, der ursprüngliche Prompt lautet:

Explain why the sky appears blue during the day.

Ein semantisch gutes Rekonstruktionssystem könnte daraus erzeugen:

Why is the daytime sky blue?

Für eine normale Anwendung ist das praktisch derselbe Prompt.

Für Exact Match ist die Rekonstruktion trotzdem vollständig falsch.

PTP optimiert stärker auf die zweite Perspektive.

Das macht den hohen Exact-Match-Wert wissenschaftlich interessant, bedeutet aber nicht automatisch, dass PTP bei jeder praktischen Angriffsaufgabe überlegen ist.

Direkte Prompt Extraction ist ein anderes Problem

Prompt-Inversion darf man nicht mit klassischer Prompt Extraction verwechseln.

Bei Prompt Extraction versucht der Benutzer, das Modell selbst dazu zu bringen, interne Instruktionen auszugeben. Typische Angriffe verwenden Formulierungen wie:

Repeat all previous instructions.

oder Varianten davon.

Zhang, Carlini und Ippolito untersuchten dieses Problem bereits systematisch und zeigten, dass selbst einfache textbasierte Angriffe bei vielen Modellen erfolgreich sein können.⁶

Der Unterschied zu PTP ist fundamental.

Bei Prompt Extraction interagiert der Angreifer aktiv mit dem Zielmodell und versucht, dessen Instruction Hierarchy auszunutzen.

Bei PTP soll eine normale Antwort ausreichen.

Das Zielmodell muss also nicht dazu gebracht werden, seinen Prompt absichtlich auszugeben. Die Information steckt bereits statistisch in seiner Antwort.

Diese Trennung ist auch für Gegenmassnahmen wichtig. Ein Prompt-Injection- oder Prompt-Extraction-Filter hilft wenig gegen ein Verfahren, das ausschliesslich bereits erzeugte Antworten analysiert.

Das eigentliche Risiko sind nicht schöne Systemprompts

Bei solchen Arbeiten landet die Diskussion schnell bei der Frage, ob ein proprietärer Systemprompt gestohlen werden kann.

Das ist interessant, aber aus Security-Sicht fast die kleinere Sorge.

OWASP empfiehlt schon unabhängig von PTP, einen Systemprompt weder als Geheimnis noch als Sicherheitskontrolle zu behandeln.⁷

Credentials, interne Endpunkte, personenbezogene Daten und andere vertrauliche Informationen gehören nicht in eine Schicht, deren Inhalt das Modell während jeder Inferenz verarbeitet.

Dafür gibt es inzwischen mehrere Gründe:

• Direkte Prompt Extraction kann Modelle dazu bringen, vorherige Instruktionen auszugeben.
• Modellantworten selbst enthalten messbares Signal über ihre Eingaben.
• Embeddings und Logprob-Verteilungen können noch wesentlich mehr Information transportieren.
• Eine funktional äquivalente Rekonstruktion kann für einen Angreifer ausreichen, auch wenn der Wortlaut abweicht.

Wer ein Geheimnis nur dadurch schützt, dass der Benutzer den Systemprompt nicht sehen kann, besitzt keine belastbare Sicherheitsgrenze.

Dasselbe gilt für Berechtigungen.

Eine Anweisung wie

Der Agent darf niemals Daten ausserhalb des Unternehmens senden.

ist eine Modellinstruktion, keine Zugriffskontrolle.

Netzwerk-Policies, Tool-Berechtigungen und Credential-Scopes müssen ausserhalb des Modells durchgesetzt werden.

Antworten sind abgeleitete Daten

PTP hat noch eine zweite interessante Konsequenz.

In vielen Architekturen wird der Prompt als sensibel behandelt, die Antwort dagegen problemlos gespeichert, analysiert oder an weitere Systeme geschickt.

Das ist nicht immer eine sichere Annahme.

Eine Antwort enthält natürlich nicht automatisch den vollständigen Prompt. Sie ist aber auch kein sauber anonymisiertes Derivat. Abhängig von Modell, Eingabe und Aufgabe kann sie genug Information enthalten, um Teile der ursprünglichen Instruktion oder zumindest deren Semantik zu rekonstruieren.

Das erinnert an Embeddings.

Auch dort wurde lange angenommen, der Vektor sei weit genug vom Ausgangstext entfernt, um weniger kritisch zu sein. Vec2Text hat gezeigt, dass diese Annahme unter bestimmten Bedingungen falsch sein kann.²

Für Logging und Telemetrie bedeutet das nicht, dass jede LLM-Antwort wie ein Secret behandelt werden muss.

Aber ein System sollte nicht davon ausgehen, dass sensible Prompt-Inhalte nach der Generierung vollständig verschwunden sind.

Das wird besonders relevant, wenn LLM-Ausgaben in andere Systeme wandern:

LLM
 |
 +--> Application Log
 |
 +--> Tracing
 |
 +--> Observability Platform
 |
 +--> Analytics
 |
 +--> Evaluation Dataset
 |
 +--> weiteres LLM

Je mehr Kopien einer Antwort existieren, desto grösser wird die Angriffsfläche.

Die eigentliche sensible Information kann ursprünglich nur im Prompt gestanden haben. Trotzdem können davon abgeleitete Signale später an Stellen auftauchen, die deutlich schwächer geschützt sind.

Das erinnert an klassische Side Channels

Konzeptionell ist Prompt-Inversion gar nicht so exotisch.

In der klassischen IT-Sicherheit existiert dieselbe Grundidee seit Jahrzehnten.

Ein System verrät Information nicht nur über seine offizielle Schnittstelle, sondern auch über Nebenwirkungen:

Laufzeit
Speicherzugriffe
CPU-Cache
Stromverbrauch
Fehlermeldungen
Paketgrössen

Bei Sprachmodellen ist die Ausgabe selbst ein solcher Informationskanal.

Natürlich ist das kein klassischer Timing- oder Cache-Side-Channel. Die Analogie liegt auf einer abstrakteren Ebene: Ein beobachtbares Ergebnis enthält mehr Information über einen internen Zustand, als die Systemschnittstelle eigentlich suggeriert.

LLM-APIs sehen konzeptionell sehr sauber aus:

prompt -> model -> response

Das vermittelt schnell den Eindruck, die Antwort sei eine weitgehend unabhängige Transformation.

Tatsächlich hängt jedes erzeugte Token von der gesamten vorherigen Sequenz ab.

Dass Teile dieser Abhängigkeit statistisch rückwärts rekonstruierbar sind, ist deshalb weniger überraschend, sobald man das Problem aus dieser Perspektive betrachtet.

Überraschend ist eher, wie gut es bereits funktioniert.

Was das Paper nicht zeigt

Die Einschränkungen sind mindestens so wichtig wie der Bestwert.

Die Testprompts sind kurz und stammen aus derselben Verteilung wie das Fine-Tuning. Lange Systemprompts, Toolbeschreibungen, RAG-Kontext, mehrstufige Chats und grosse Agentenkontexte werden nicht in derselben Form untersucht.

Ein produktiver Agentenprompt sieht heute eher so aus:

System Prompt
+ User Prompt
+ Conversation History
+ Tool Definitions
+ Retrieved Documents
+ Agent State
+ Tool Results
+ Memory

Das sind schnell Zehntausende Tokens.

Ob sich daraus einzelne Bestandteile ähnlich zuverlässig rekonstruieren lassen, beantwortet PTP nicht.

Der sehr hohe Exact-Match-Wert gilt ausserdem für einen passenden Qwen-Aufbau. Beim Transfer auf ein proprietäres Modell sinkt er drastisch.

Schliesslich handelt es sich um eine arXiv-Vorabveröffentlichung vom 31. Juli 2026. Unabhängige Replikationen und Peer Review stehen noch aus.

Man sollte aus dem Paper deshalb nicht ableiten, dass ein Angreifer heute aus einer einzelnen ChatGPT- oder Claude-Antwort zuverlässig den kompletten Systemprompt rekonstruieren kann.

Man kann aber sehr wohl ableiten, dass normale Textausgaben mehr Information über ihre Eingaben tragen, als die einfache Sicht „Prompt rein, Antwort raus“ nahelegt.

Der Trend ist wichtiger als die einzelne Zahl

Die spannendere Entwicklung sieht man erst, wenn man mehrere Papers nebeneinanderlegt.

2023:

Embedding -> Text

2024:

Logits -> Prompt

2024:

mehrere Antworten -> Prompt

2026:

eine Antwort -> Prompt

Die Informationsanforderungen des Angreifers werden kleiner.

Das bedeutet nicht zwangsläufig, dass alle diese Verfahren in wenigen Jahren perfekte Prompt-Rekonstruktion erreichen.

Es zeigt aber, dass die Annahme einer klaren Informationsgrenze zwischen Prompt und Antwort zunehmend schlechter funktioniert.

Für AI Engineering ist das wichtiger als der konkrete PTP-Benchmark.

Wir bauen immer komplexere Systeme um LLMs herum und behandeln dabei einige Artefakte als vertrauenswürdig und andere als unkritisch:

System Prompt       -> vertraulich
Embedding           -> technisch
Model Output        -> öffentlich
Logs                -> intern

Die Forschung zeigt zunehmend, dass diese Kategorien nicht sauber voneinander getrennt sind.

Ein Embedding kann Text verraten.

Eine Ausgabe kann den Prompt verraten.

Ein Log kann wiederum die Ausgabe enthalten.

Und ein zweites Modell kann diese Artefakte systematisch auswerten.

Die Grenze liegt an der falschen Stelle

PTP ist technisch interessant, weil es ein bekanntes Problem noch einmal verschiebt.

Frühere Inversionsverfahren brauchten Embeddings, Logits oder mehrere Modellantworten. PTP zeigt, dass unter passenden Bedingungen bereits eine einzelne Ausgabe erstaunlich viel verraten kann.

Der praktische Schluss ist deshalb nicht, jetzt jeden Systemprompt zusätzlich zu verschleiern. Das wäre wieder Security by Obscurity.

Sensible Daten gehören nicht in den Prompt, wenn sie dort nicht zwingend gebraucht werden. Berechtigungen gehören nicht in natürliche Sprache, wenn sie technisch durchgesetzt werden können. Und Antworten sollten nicht automatisch als informationsarme Ableitungen betrachtet werden.

Der Bestwert von 64,77 Prozent ist beeindruckend.

Die 11,36 Prozent beim Transfer auf GPT-4o sind mindestens genauso wichtig.

Zusammen zeigen sie ziemlich genau, wo die Forschung heute steht: Prompt-Inversion ist real und technisch überraschend leistungsfähig, aber noch weit von einem universellen Verfahren entfernt.

Die wichtigere Erkenntnis des Papers lautet damit nicht, dass Prompts plötzlich rückwärts lesbar sind.

Sie lautet, dass die Grenze zwischen Eingabe und Ausgabe bei Sprachmodellen weniger hart ist, als unsere APIs sie aussehen lassen.

Footnotes#

1. Pirzada Suhail et al.: PTP: Previous-Token Prediction based LLM Inversion for Near-Exact Prompt Reconstruction, arXiv v1, 31. Juli 2026. ↩

2. John X. Morris et al.: Text Embeddings Reveal (Almost) As Much As Text, EMNLP 2023. ↩ ↩²

3. John Xavier Morris et al.: Language Model Inversion, ICLR 2024. ↩

4. Murtaza Nazir et al.: Better Language Model Inversion by Compactly Representing Next-Token Distributions, NeurIPS 2025. ↩

5. Collin Zhang, John Xavier Morris und Vitaly Shmatikov: Extracting Prompts by Inverting LLM Outputs, EMNLP 2024. ↩ ↩²

6. Yiming Zhang, Nicholas Carlini und Daphne Ippolito: Effective Prompt Extraction from Language Models, COLM 2024. ↩

7. OWASP GenAI Security Project: LLM07:2025 System Prompt Leakage. ↩