Prompt Injection bezeichnet eine kritische Sicherheitslücke und Angriffsform auf Systeme, die auf Künstlicher Intelligenz und großen Sprachmodellen (LLMs) basieren. Dabei schleust ein Angreifer manipulierte Befehle in die Eingabe (den sogenannten „Prompt“) ein, um die internen Sicherheitsbarrieren, Systemanweisungen oder Verhaltensregeln der KI gezielt zu umgehen. Das Ziel ist es, das Modell dazu zu bringen, seine eigentlichen Regeln zu ignorieren, vertrauliche Daten preiszugeben oder unerwünschte Inhalte zu generieren.
| Die zwei Angriffsformen | Funktionsweise und Gefahr |
| Direkte Injection (Jailbreaking) | Der Angreifer versucht die KI im direkten Chat durch logische Kniffe oder manipulative Fragen auszutricksen. |
| Indirekte Injection (Fremddaten) | Die KI liest externe, manipulierte Daten (z.B. E-Mails, Webseiten) ein. Ungeprüft übernimmt das System die darin versteckten Befehle als legitime Anweisung. |
In Web-Infrastrukturen, in denen KI-Assistenten zur automatisierten Kundenberatung oder Datenverarbeitung eingesetzt werden, birgt dies erhebliche Gefahren. Ein Angreifer könnte beispielsweise über eine manipulierte Produktbewertung den Support-Bot eines Webshops dazu bringen, unberechtigte Rabatte zu gewähren, interne System-Prompts offenzulegen oder sensible Kundendaten preiszugeben.
Die technologische Herausforderung: Da Sprachmodelle Befehle und Daten in derselben natürlichen Sprache verarbeiten, ist ein hundertprozentiger Schutz komplex. Entwickler müssen daher auf eine mehrschichtige Sicherheitsarchitektur setzen.
Instagram