Prompt-Hijacking ist eine Angriffstechnik, bei der ein Angreifer die Kontrolle über einen KI-Agenten übernimmt, indem er fremde Anweisungen in Inhalte einschleust, die der Agent verarbeitet. Das Modell führt dann den Auftrag des Angreifers aus, statt des ursprünglichen Nutzerauftrags.
Wie funktioniert Prompt-Hijacking?
Der Angriff nutzt aus, dass große Sprachmodelle Anweisungen und Daten nicht sicher trennen können. Typische Einfallstore sind präparierte Webseiten, E-Mails, Dokumente oder Tool-Ausgaben. Ein E-Mail-Assistent etwa liest eine manipulierte Nachricht, die den Befehl enthält, Kontaktdaten an eine fremde Adresse zu senden - der Agent gehorcht, weil er die Anweisung im Datenstrom nicht von einem legitimen Auftrag unterscheiden kann. Bei agentischen Systemen spricht man auch von Tool-Output-Hijacking, wenn die Übernahme über manipulierte Ergebnisse von Werkzeug-Aufrufen erfolgt.
Abgrenzung zur Prompt-Injection
Die Prompt-Injection ist der Oberbegriff für das Einschleusen unerwünschter Anweisungen. Prompt-Hijacking bezeichnet die konkrete Übernahme der Steuerung - oft mit längerfristiger Wirkung: Der Agent bleibt unter fremder Kontrolle, bis der Angriff erkannt wird. Eine besonders tückische Form ist die indirekte Prompt-Injection über externe Datenquellen wie Webseiten oder RAG-Dokumente.
Gegenmaßnahmen
- Tool-Berechtigungen nach dem Least-Privilege-Prinzip vergeben
- Kritische Aktionen wie Geldtransfers oder Datenexporte menschlich freigeben
- Eingabe- und Ausgabefilter als Guardrails einsetzen
- Klare Prompt-Sicherheit als Teil des Systemdesigns etablieren
Verwandte Grundlagen: Prompt-Injection, Adversarial Prompting, Adversarial Suffix, Prompt-Sicherheit.