Das Bundesamt für Sicherheit in der Informationstechnik (BSI) hat zwei neue Kriterienkataloge zur Bewertung von Künstlicher Intelligenz (KI) veröffentlicht. Sie richten sich an Organisationen der Bundesverwaltung sowie an Unternehmen und Institutionen des Finanzsektors.
BSI-Kriterienkataloge und EU AI Act
KI-Systeme übernehmen zunehmend Entscheidungen in sicherheitskritischen, hoch regulierten oder besonders schützenswerten Bereichen, etwa bei der Betrugsprävention, der Identitätsprüfung oder in Risikobewertungsprozessen. Gleichzeitig steigen die Anforderungen an Nachvollziehbarkeit, Manipulationssicherheit und die Offenlegung der Funktionsweise solcher Systeme.
Mit der aktuellen Veröffentlichung konkretisiert das BSI die Anforderungen für den Einsatz von KI in Deutschland deutlich – insbesondere im Rahmen des EU AI Acts. Dieser ist im August 2024 in Kraft getreten und schafft erstmals einen verbindlichen, europaweiten Rechtsrahmen für den Umgang mit KI-Systemen. Er setzt klare Maßstäbe für Sicherheit, Transparenz und Verantwortlichkeit.
Die Umsetzung des EU AI Acts erfolgt schrittweise bis 2031. Ein zentraler Meilenstein wurde am 2. August 2025 erreicht: Seitdem gelten wesentliche Vorschriften, unter anderem für GPAI-Modelle, Governance-Strukturen sowie die Arbeit sogenannter „Notified Bodies“ (notifizierte Stellen), die hochriskante KI-Systeme prüfen.
Was sollten Sie zu den BSI-Kriterienkatalogen wissen?
Welche Zielgruppen werden adressiert?
Es gibt zwei maßgeschneiderte Kriterienkataloge für die Branchen Verwaltung und Finance:
- Kriterienkatalog für generative KI in der Verwaltung
- Test Criteria Catalogue for AI Systems in Finance (ausschließlich englischsprachig)
Obwohl sich beide Kataloge ihrem Namen und der Einleitung nach an spezifische Branchen richten, können sie ebenso von Organisationen anderer Wirtschaftszweige genutzt werden.
Was fordert der Kriterienkatalog für KI in der Bundesverwaltung?
Der Kriterienkatalog ist derzeit als unverbindliche Orientierungshilfe konzipiert und verfolgt einen ganzheitlichen, risikobasierten Ansatz zur Bewertung und Regulierung. Der Schwerpunkt liegt auf einer sicheren, transparenten und nachvollziehbaren Nutzung von KI in Behörden. Er berücksichtigt dabei den gesamten Lebenszyklus von KI-Systemen, von der Entwicklung über den Betrieb bis hin zur Außerbetriebnahme. Ergänzend umfasst der Katalog Vorgaben zur Risikoanalyse, zur Dokumentation sowie zur regelmäßigen Überprüfung der eingesetzten KI-Systeme.
Welche Anforderungen stellt der Kriterienkatalog für KI im Finanzsektor?
Dieses Dokument übersetzt die abstrakten Anforderungen des EU AI Acts in einen praktischen Prüfrahmen für Banken, Finanzdienstleister und verwandte Organisationen. Er strebt ebenso einen ganzheitlichen und risikobasierten Prüfansatz an, deckt zentrale Themenfelder durch umfassende Testkriterien ab und verknüpft dabei prozessuale Fragestellungen mit technischen Prüfverfahren. Dazu zählen insbesondere Aspekte wie Robustheit, Datenqualität und IT-Sicherheit von KI-Systemen. Zusätzlich werden Anforderungen an regelmäßige Audits und die kontinuierliche Weiterentwicklung der eingesetzten KI-Systeme gestellt.
Das sagen unsere Expert*innen
Mit den ersten branchenspezifischen Kriterienkatalogen für KI-Nutzung legt das BSI wichtige Grundlagen für den sicheren und nachvollziehbaren Einsatz von KI. Ich kann auf jeden Fall empfehlen, die Kataloge als Vorlage für interne Richtlinien zu nutzen. Allerdings muss man dabei folgendes beachten: Sie fordern von den Unternehmen ein großes Stück Eigenverantwortung. Im Vergleich zu anderen Sicherheitsstandards wie ISO/IEC oder NIST sind in den Kriterienkatalogen keine konkreten Methoden, Schwellenwerte und Prüfprozesse definiert. Hinzu kommt, dass das BSI betont, dass die Erfüllung der Kriterien nicht automatisch die Konformität mit dem EU AI Act bedeutet, sondern lediglich als „möglicher Beitrag“ zu sehen ist. Die Integration im eigenen Unternehmen erfordert daher trotz der guten Grundlage umfangreiche interne oder sogar externe Expertise und sollte meiner Meinung nach mit einer Analyse der Anforderungen des EU AI Act kombiniert werden.
Dr. Nicole Trebel, Senior Security Consultant, usd AG
Die Kriterien sind so detailliert strukturiert, dass sie nicht nur eine gute Basis für Richtlinien bilden, sondern sich auch besonders für interne und externe Audits eignen. Das Sicherheitsniveau seiner KI-Systeme anhand eines Kriterienkatalogs zu prüfen oder prüfen zu lassen, um eine Roadmap für die Vorbereitung auf die Anforderungen des EU AI Act zu entwickeln, kann ich auf jeden Fall empfehlen. Erste solche Audits laufen beispielsweise im Finanzsektor bereits.
Raphael Heinlein, Managing Security Auditor, usd AG
Der Katalog verbindet aus meiner Sicht vorbildlich die Methoden des Audits und der technischen Sicherheitsüberprüfung. Dieser Ansatz ist besonders erfolgsversprechend, da die Kombination für #moresecurity sorgt. Wir können bei den Anforderungen auf unsere Expertise und Erfahrung mit Pentests von LLM-Applikationen zurückgreifen. Zwar muss aufgrund der von Nicole erwähnten eigenverantwortlichen Umsetzung immer geprüft werden, welche Maßnahmen wirklich Anwendung finden, aber genau darin liegt die Stärke unserer Pentester*innen.
Stephan Neumann, Head of usd HeroLab
Sie beschäftigen sich mit den BSI-Anforderungen und benötigen Unterstützung bei Anwendung, Audit oder technischer Überprüfung? Kontaktieren Sie uns, unsere Expert*innen helfen Ihnen gerne.
