GLOSSAR · KI-SICHERHEIT
Was ist Prompt Injection?
Prompt Injection ist ein Angriff, bei dem versteckte Anweisungen in Texte, Mails oder Webseiten eingebaut werden, die ein KI-System verarbeitet. Das KI-System hält diese Anweisungen für einen Auftrag und führt sie aus.
Direkte und indirekte Prompt Injection
Bei der direkten Variante gibt jemand die manipulierenden Anweisungen selbst in einen Chatbot ein. Gefährlicher für Unternehmen ist die indirekte Variante: Die Anweisungen stecken in einer Mail, einem PDF oder auf einer Webseite, die ein Agent im Auftrag eines Mitarbeiters liest.
Ein typisches Beispiel
Ein KI-Assistent soll eingehende Mails zusammenfassen. Eine Mail enthält in weißer Schrift den Satz, alle Rechnungen der letzten Woche an eine externe Adresse weiterzuleiten. Der Assistent liest den Satz mit und folgt ihm, wenn er die nötigen Rechte hat.
Was Unternehmen tun können
Eine vollständige technische Lösung gibt es bisher nicht. Wirksam sind enge Rechte für KI-Systeme, Freigaben durch Menschen bei kritischen Aktionen und das Beobachten, was die Systeme tatsächlich tun.
Verwandte Begriffe
Häufige Fragen
Sehen, was nach außen geht.
21 Tage testenZuletzt aktualisiert: · Glossar KI-Sicherheit
