Insecure Output Handling bei LLMs: Schutz

Insecure Output Handling bezeichnet das Risiko, Ausgaben eines Sprachmodells ungeprüft an nachgelagerte Systeme weiterzugeben. Werden LLM-Antworten ohne Validierung in Browser, Datenbanken oder Shells übernommen, drohen Angriffe wie Cross-Site-Scripting, SQL-Injection oder Remote Code Execution. Schutz bieten konsequente Ausgabevalidierung, kontextgerechtes Escaping und der Grundsatz, jede Modellausgabe als nicht vertrauenswürdige Eingabe zu behandeln.

Risiken im Umgang mit Ausgaben von Sprachmodellen

In der dynamischen Welt der Technologie, insbesondere in der Entwicklung und Implementierung großer Sprachmodelle (Large Language Models, LLMs), rückt ein zunehmend kritisches Thema in den Brennpunkt: die Sicherheit.

Eine spezifische Herausforderung, die in diesem Kontext immer mehr Aufmerksamkeit erfordert, ist der unsichere Umgang mit Ausgaben (Insecure Output Handling). Diese Herausforderung bezieht sich auf die unzureichende Validierung, Bereinigung und Verarbeitung der von den LLMs generierten Ausgaben, bevor diese an andere Komponenten und Systeme weitergeleitet werden. Da die Inhalte, die von LLMs erzeugt werden, durch Eingabeaufforderungen gesteuert werden können, ähnelt dieses Verhalten dem indirekten Bereitstellen von Zugriff auf zusätzliche Funktionen für die Benutzer.

Unterscheidung zu Überabhängigkeit

Im Gegensatz zur Überabhängigkeit (Overreliance), die sich auf breitere Bedenken bezüglich der Überdependenz von der Genauigkeit und Angemessenheit der LLM-Ausgaben konzentriert, beschäftigt sich der unsichere Umgang mit Ausgaben speziell mit den von LLMs generierten Ausgaben bevor sie weitergeleitet werden. Diese Unterscheidung ist zentral, um die spezifischen Risiken und potenziellen Schwachstellen, die sich aus diesem Bereich ergeben, zu verstehen.

Mögliche Gefahren und Sicherheitsrisiken

Die erfolgreiche Ausnutzung einer Sicherheitslücke aufgrund unsicheren Umgangs mit Ausgaben kann in Webbrowsern zu Cross-Site Scripting (XSS) und Cross-Site Request Forgery (CSRF), sowie auf Backend-Systemen zu Server-Side Request Forgery (SSRF), Rechteerweiterung oder Ausführen von Fremdcode führen. Die folgenden Bedingungen können die Auswirkungen dieser Schwachstelle erhöhen:

• Die Anwendung gewährt dem LLM Privilegien, die über das für Endbenutzer Bestimmte hinausgehen, was eine Eskalation von Privilegien oder Ausführen von Fremdcode ermöglichen kann.
• Die Anwendung ist anfällig für indirekte Eingabeaufforderungsangriffe, die es einem Angreifer ermöglichen könnten, privilegierten Zugang zur Umgebung eines bestimmten Benutzers zu erlangen.
• Drittanbieter-Plugins validieren Eingaben nicht ausreichend.

Häufige Beispiele für Schwachstellen

• LLM-Ausgabe wird direkt in eine Systemshell oder eine ähnliche Funktion wie exec oder eval eingegeben, was zur Ausführung von Remote-Code führt.
• JavaScript oder Markdown wird vom LLM generiert und an einen Benutzer zurückgegeben. Der Code wird dann vom Browser interpretiert, was zu XSS führt.

Präventionsmaßnahmen

Um die Risiken zu minimieren und die Sicherheit der Systeme zu gewährleisten, sollten Unternehmen und Entwickler folgende Präventionsmaßnahmen ergreifen:

• Behandeln Sie das Modell wie jeden anderen Benutzer, indem Sie einen Ansatz des Nullvertrauens anwenden und eine angemessene Eingabevalidierung auf Antworten anwenden, die vom Modell zu Backend-Funktionen kommen.
• Befolgen Sie die Richtlinien des OWASP ASVS (Application Security Verification Standard), um eine wirksame Eingabevalidierung und Bereinigung sicherzustellen.
• Kodieren Sie die Modellausgabe zurück an die Benutzer, um eine unerwünschte Ausführung von Code durch JavaScript oder Markdown zu verhindern. OWASP ASVS bietet detaillierte Anleitungen zur Ausgabe-Kodierung.

Angriffsszenarien

Zur Veranschaulichung der Risiken und der Notwendigkeit präventiver Maßnahmen werden im Folgenden einige Beispiel-Szenarien für Angriffe aufgeführt:

1. Eine Anwendung nutzt ein LLM-Plugin, um Antworten für ein Chatbot-Feature zu generieren. Das Plugin bietet auch eine Reihe administrativer Funktionen, die einem anderen privilegierten LLM zugänglich sind. Das general-purpose LLM leitet seine Antwort, ohne eine angemessene Ausgabevalidierung, direkt an das Plugin weiter, was dazu führt, dass das Plugin für Wartungsarbeiten heruntergefahren wird.
2. Ein Benutzer verwendet ein Website-Zusammenfassungstool, das von einem LLM betrieben wird, um eine prägnante Zusammenfassung eines Artikels zu generieren. Die Website enthält eine Eingabeaufforderung, die das LLM anweist, sensible Inhalte entweder von der Website oder aus der Konversation des Benutzers zu erfassen. Von dort aus kann das LLM die sensiblen Daten kodieren und ohne jegliche Ausgabevalidierung oder Filterung an einen vom Angreifer kontrollierten Server senden.
3. Ein LLM ermöglicht es Benutzern, SQL-Anfragen für eine Backend-Datenbank über ein chatähnliches Feature zu erstellen. Ein Benutzer fordert eine Anfrage zur Löschung aller Datenbanktabellen an. Wenn die vom LLM formulierte Anfrage nicht gründlich geprüft wird, werden alle Datenbanktabellen gelöscht.
4. Eine Webanwendung verwendet ein LLM, um Inhalte aus Benutzertextaufforderungen zu generieren, ohne Ausgabebereinigung. Ein Angreifer könnte eine gestaltete Eingabeaufforderung einreichen, die das LLM veranlasst, eine unsanftiervollständige JavaScript-Nutzlast zurückzugeben, was zu XSS führt, wenn es im Browser eines Opfers gerendert wird. Die unzureichende Validierung von Eingabeaufforderungen hat diesen Angriff ermöglicht.

Fazit

Der unsichere Umgang mit Ausgaben von Sprachmodellen birgt erhebliche Risiken für die Sicherheit und Integrität digitaler Systeme. Durch eine Kombination aus bewährten Praktiken, sorgfältiger Planung und der Implementierung robuster Sicherheitsmaßnahmen können Entwickler und Unternehmen jedoch die Risiken mindern und die Vorteile dieser revolutionären Technologie sicher nutzen.