Prompt-Sicherheit umfasst alle Maßnahmen, die KI-Anwendungen auf Basis großer Sprachmodelle gegen Manipulation absichern - vor allem gegen Prompt-Injection, Jailbreaks, Prompt-Leaking und Prompt-Hijacking.
Warum ist Prompt-Sicherheit wichtig?
Die OWASP-Liste der zehn größten Risiken für LLM-Anwendungen (LLM Top 10) führt Prompt Injection seit Jahren auf Platz 1. Anders als klassische Schwachstellen wie SQL-Injection gibt es für Prompt-Angriffe kein sicheres Gegenstück zu vorbereiteten Statements: Jede Verteidigung kann mit genügend Kreativität umgangen werden. Deshalb setzt Prompt-Sicherheit auf mehrere, unabhängige Schutzschichten (Defense in Depth).
Wichtige Schutzmaßnahmen
- System-Prompt-Härtung: klare Anweisungshierarchien und Trennzeichen, damit Daten nicht als Befehle interpretiert werden (siehe System-Prompt)
- Eingabe- und Ausgabefilter: verdächtige Muster erkennen, sensible Daten im Antwortstrom blockieren
- Least Privilege: Tools und Berechtigungen so eng wie möglich vergeben
- Menschliche Freigabe für kritische Aktionen wie Zahlungen oder Datenexporte
- Keine Geheimnisse im System-Prompt: API-Keys und interne Anweisungen gehören nicht in den Prompt
Verwandte Grundlagen: Prompt-Injection, Adversarial Prompting, Jailbreak, Adversarial Suffix, Prompt-Hijacking.