Pentest von KI/LLM-Systemen
Schützen Sie Ihre KI-Lösung und LLM-basierten Anwendungen
Wo KI‑ und LLM‑Systeme angreifbar sind
KI-basierte Anwendungen und Large Language Models (LLM) werden mit hoher Geschwindigkeit in geschäftskritische Prozesse integriert. Unternehmen nutzen sie für interne Produktivität, kundennahe Anwendungen sowie automatisierte Entscheidungs‑ und agentenbasierte Workflows.
Als fester Bestandteil der Unternehmensinfrastruktur unterliegen KI‑ und LLM‑Anwendungen denselben Sicherheitsanforderungen wie klassische IT‑Systeme und zunehmend auch regulatorischen Vorgaben. Gleichzeitig bergen sie derzeit besonders große Risiken: Sie werden häufig unter hohem Zeitdruck entwickelt, ihre Fehlerverhalten sind aufgrund ihrer stochastischen Natur noch vergleichsweise wenig verstanden, und gleichzeitig sind sie in der Regel eng mit sensiblen Datenquellen, Tools, APIs und der erweiterten internen Organisationsinfrastruktur verzahnt.
Durch ihre zentrale Stellung und ihre starke Autonomie bieten LLM einen neuen Fokus für Angriffe. Statt ausschließlich Codefehler oder Fehlkonfigurationen auszunutzen, zielen Angreifer nun auf Modellverhalten ab, um mittels Kontextmanipulation und Prompt Injections sensible Daten über Retrieval‑Mechanismen zu exfiltrieren oder komplexe Agentenfunktionen zu missbrauchen. Diese Risiken lassen sich mit klassischen Security Analysen oft nicht zuverlässig erkennen. Für Unternehmen bedeutet das: Sicherheit lässt sich nur mit spezialisierten Prüfansätzen wie mit unserem Pentest von KI/LLM-Systemen tiefgreifend analysieren.
Häufige Schwachstellen in KI/LLM-Systemen sind beispielsweise:
- KI-Agents oder KI-Chatbots produzieren ungewünschte, regulatorisch- oder haftungsrelevante Ausgaben durch bösartige, durch den Angreifer gesteuerte Eingaben ("Jailbreaks")
- Ausnutzung des "Lethal Trifecta": Exfiltration sensibler Daten durch Prompt Injections, aus Retrieval-basierten Datenquellen (z.B bei RAG-basierter Anbindung)
- Missbrauch von angeschlossenen Tools und APIs: Ausführen unberechtigter Aktionen in nachgelagerten Systemen, Lateral Movement in internen Netzwerken, Ausführung von beliebigem Code außerhalb sicherer Sandboxes
Wie geht die usd AG beim Pentest von KI/LLM-Systemen vor?
Unsere Prüfungen basieren auf realistischen Angriffsannahmen im konkreten Nutzungskontext. Denn nicht jede theoretische Prompt Injection stellt automatisch eine relevante Schwachstelle dar.
Unsere Methodik kombiniert qualitative Analysen aus Angreifersicht mit quantitativen Bewertungen. Aufbauend auf unserer etablierten systematischen Pentestmethodik führen wir ein Threat Modelling durch und entwickeln gezielte, anwendungsspezifische Bedrohungsszenarien, die unerwünschtes Verhalten sichtbar machen und Architektur- und Designschwächen offenlegen. Zusätzlich adressieren wir das stochastische Verhalten von KI/LLM-Systemen, indem wir Angriffe unter realistischen Bedingungen mehrfach ausführen und Erfolgsraten und Reproduzierbarkeit messen. So entstehen belastbare Risikokennzahlen statt einmaliger Proof‑of‑Concepts.
Diese Bewertung orientiert sich an etablierten Standards, darunter die OWASP Top 10 für LLM und Agents, das MITRE ATLAS Framework, sowie die OWASP Vendor Evaluation Criteria for AI Red Teaming Providers.
Da LLM‑Anwendungen häufig auf bestehenden Systemlandschaften aufbauen, kombinieren wir unsere KI-spezifischen Überprüfungen bei Bedarf mit Web‑, Mobile‑ oder API‑Pentests. So berücksichtigen wir auch klassische Schwachstellen und sicherheitsrelevante Schnittstellen zwischen LLM‑Stacks und bestehender Software.
Eine bloße „Prompt Injection möglich“-Meldung ist für Security-Teams nicht zielführend. Entscheidend ist, welche Manipulationen in Ihrer Umgebung reale Unsicherheit erzeugen - von rufschädigenden Aussagen über sensible Datenabflüsse bis zur vollständigen Systemkompromittierung. Genau hier setzt unser Pentest von KI/LLM Systemen an: Wir betrachten nicht das isolierte Sprachmodell, sondern die konkrete Implementierung im Unternehmenskontext. So zeigen wir, wie sich KI-Anwendungen unter realen Bedingungen tatsächlich verhalten und wo gezielte Absicherung notwendig ist.
Welche Überprüfungen sind beim Pentest Ihres KI/LLM-Systems Bestandteil?
Die folgenden Prüfungen sind unter anderem Bestandteil von Pentests Ihres KI/LLM-Systems:
- Taint Analyse des Informationsflusses durch das Gesamtsystem mit Blick auf Context Poisoning um direkte und indirekte Prompt Injections zu erkennen
- Überprüfung von Datenexfiltrationsmöglichkeiten
- Auswirkungen von Angreifer-induzierten schädlichen LLM-Ausgaben auf nachgelagerte Systeme
- Analyse von möglichen Tool-Aufrufen auf "Excessive Agency"
- Identifikation von LLM-basierter Broken Access Control
- Überprüfung der Effektivität des Alignment-Trainings von eingesetzten Modellen hinsichtlich:
- Misinformation
- Unethische Ausgaben
- Regulatorisch-relevanten Aussagen
- Haftungsrelevanten Aussagen
Tipp: AI Security Schulung
Nur wer die relevanten Bedrohungen von KI/LLM‑Systemen versteht, kann wirksame Schutzmaßnahmen ergreifen. In unserer Schulung zu AI Security vermitteln wir praxisnahe Einblicke in reale Angriffsszenarien und zeigen, welche Maßnahmen im Unternehmensumfeld tatsächlich greifen. Auf Wunsch passen wir Inhalte und Technologie Stacks gezielt an Ihre Organisation an und richten die Agenda an Ihren Anforderungen aus.
