AEGYS DATALYTICS

GLOSSAR · KI-SICHERHEIT

Was ist Prompt Injection?

Prompt Injection ist ein Angriff, bei dem versteckte Anweisungen in Texte, Mails oder Webseiten eingebaut werden, die ein KI-System verarbeitet. Das KI-System hält diese Anweisungen für einen Auftrag und führt sie aus.

Direkte und indirekte Prompt Injection

Bei der direkten Variante gibt jemand die manipulierenden Anweisungen selbst in einen Chatbot ein. Gefährlicher für Unternehmen ist die indirekte Variante: Die Anweisungen stecken in einer Mail, einem PDF oder auf einer Webseite, die ein Agent im Auftrag eines Mitarbeiters liest.

Ein typisches Beispiel

Ein KI-Assistent soll eingehende Mails zusammenfassen. Eine Mail enthält in weißer Schrift den Satz, alle Rechnungen der letzten Woche an eine externe Adresse weiterzuleiten. Der Assistent liest den Satz mit und folgt ihm, wenn er die nötigen Rechte hat.

Was Unternehmen tun können

Eine vollständige technische Lösung gibt es bisher nicht. Wirksam sind enge Rechte für KI-Systeme, Freigaben durch Menschen bei kritischen Aktionen und das Beobachten, was die Systeme tatsächlich tun.

Häufige Fragen

Sehen, was nach außen geht.

21 Tage testen

Zuletzt aktualisiert: · Glossar KI-Sicherheit