Regulierung & Recht
AI Security & Compliance
KI-Sicherheit ist kein IT-Thema mehr. EU AI Act und NIS-2 definieren verbindliche Anforderungen, OWASP liefert die Checkliste. Wer KI einführt, muss die Risiken kennen — und dokumentieren, wie er sie adressiert.
Diese Seite gibt einen Überblick über die regulatorischen Security-Anforderungen an KI-Systeme. Sie ist keine rechtliche Beratung und ersetzt nicht die Prüfung durch eine Fachkanzlei oder einen IT-Sicherheitsdienstleister.
Zur Einordnung: Diese Seite befasst sich mit den regulatorischen Sicherheitsanforderungen an KI-Systeme — was der Gesetzgeber und Standards von dir verlangen. Die Frage, wie KI selbst die IT-Sicherheit transformiert (neue Angriffe, neue Verteidigung), behandeln wir auf der separaten Seite AI Security Operations.
Warum jetzt
KI-Sicherheit wird regulatorisch erzwungen
Bisher war IT-Sicherheit bei KI oft eine Frage der unternehmerischen Sorgfalt. Das ändert sich 2026 grundlegend: Drei regulatorische Entwicklungen treiben das Thema gleichzeitig.
EU AI Act — Art. 15
Genauigkeit, Robustheit und Cybersicherheit
Hochrisiko-KI-Systeme müssen über den gesamten Lebenszyklus ein angemessenes Niveau an Genauigkeit, Robustheit und Cybersicherheit aufweisen. Art. 15 verlangt einen integrierten, kontinuierlichen Ansatz unter Verwendung etablierter Sicherheitspraktiken und KI-spezifischer Kontrollen.
Das betrifft alle Hochrisiko-Systeme — von KI in der Personalauswahl über Medizinprodukte bis zu kritischen Infrastrukturen. Die Sicherheitsrisikobewertung muss die Systemarchitektur berücksichtigen und dokumentiert werden.
NIS-2-Richtlinie
Sicherheitsanforderungen für kritische Infrastrukturen
Die NIS-2-Richtlinie erweitert Security-Pflichten auf mehr Sektoren und schreibt Risikomanagement, Meldepflichten und Sicherheitsmaßnahmen vor. Unternehmen, die KI in kritischen Prozessen einsetzen, müssen nachweisen, dass sie KI-spezifische Risiken adressieren.
NIS-2 gilt für Unternehmen ab 50 Mitarbeitenden in kritischen Sektoren. Die Kombination aus KI-Einsatz und NIS-2-Pflichten erzeugt neuen Dokumentations- und Prüfungsbedarf.
OWASP Top 10 for LLMs
Die zehn kritischsten Sicherheitslücken in LLM-Anwendungen
Der OWASP-Standard (Version 2025) listet die häufigsten Angriffspunkte: Prompt Injection, Sensitive Information Disclosure, Supply Chain Vulnerabilities, Data & Model Poisoning, Insecure Output Handling, Excessive Agency, System Prompt Leakage, Vector/Embedding Weakness, Misinformation und Unbounded Consumption.
Jedes Unternehmen, das LLM-basierte Anwendungen einsetzt, sollte die OWASP Top 10 als Baseline für Sicherheitsprüfungen nutzen — vergleichbar mit dem OWASP Web Top 10 für Webanwendungen.
Angriffspunkte
Sechs kritische Angriffsvektoren für KI-Systeme
Die OWASP Top 10 for LLM Applications (Version 2025) ist der maßgebliche Standard für Sicherheitslücken in KI-Systemen. Diese sechs Vektoren sollten Führungskräfte kennen, um die richtigen Fragen stellen zu können:
1
Prompt Injection
Ein Angreifer manipuliert die Eingabe eines LLM, um unautorisierten Zugriff zu erlangen, Daten zu extrahieren oder das System zu Fehlentscheidungen zu bewegen. Unterschieden wird zwischen direktem (User Input) und indirektem (dokumentenbasiertem) Injection — letzteres ist besonders tückisch, weil die Manipulation über vertrauenswürdig wirkende Quellen erfolgt.
2
Sensitive Information Disclosure
LLMs geben vertrauliche Informationen preis — entweder aus den Trainingsdaten (Memorization) oder aus dem System Prompt. Die Aufnahme von System Prompt Leakage als eigener Top-10-Eintrag (LLM07) ist eine Reaktion auf reale Vorfälle, bei denen Entwickler Prompt-Inhalte fälschlich als sicher annahmen.
3
Data & Model Poisoning
Angreifer manipulieren Trainingsdaten, Fine-Tuning-Daten oder Embedding-Datenbanken, um das Modell zu vergiften. Resultat: systemische Fehlentscheidungen, die schwer zu erkennen sind, weil das Modell selbst die Fehlerquelle ist.
4
Supply Chain Vulnerabilities
KI-Systeme sind komplexe Abhängigkeitsketten: Basismodelle, Bibliotheken, APIs, Cloud-Dienste, Fine-Tuning-Plattformen. Jede dieser Abhängigkeiten ist ein Angriffspunkt. Die OWASP LLM Supply Chain Vulnerabilities adressiert diese wachsende Angriffsfläche.
5
Excessive Agency
Ein KI-Agent bekommt zu viele Rechte oder Zugriff auf zu viele Systeme. Wenn der Agent kompromittiert ist, kann der Angreifer diese Rechte nutzen, um Schaden anzurichten. Das Prinzip der geringsten Privilegien gilt auch — und besonders — für KI-Agents.
6
Insecure Output Handling
Die Ausgabe des LLM wird ohne Prüfung an nachgelagerte Systeme weitergegeben. Das kann zu Code Injection, Cross-Site-Scripting oder anderen Angriffen führen — je nachdem, wo die Ausgabe landet.
Sicherheitsposture
Was eine gute AI Security Posture ausmacht
Die gute Nachricht: Die meisten Sicherheitsmaßnahmen sind bekannt und etabliert — sie müssen nur auf KI-Systeme angewendet werden. Acht Bausteine einer soliden AI Security Posture:
Risikobewertung nach EU AI Act — ist mein System Hochrisiko? Welche Security-Anforderungen gelten?
OWASP-Baseline — alle LLM-Anwendungen gegen die OWASP Top 10 prüfen, bevor sie in Produktion gehen
Least Privilege für Agents — KI-Agents bekommen nur die Rechte, die sie für ihre Aufgabe brauchen, nicht mehr
Input- und Output-Validierung — Eingaben und Ausgaben des LLM systematisch prüfen und filtern
Prompt Security — System Prompts nicht als sicher annehmen, klare Trennung zwischen System- und User-Prompts
Access Control — Wer darf das Modell nutzen? Welche Daten dürfen in den Prompt? Wohin darf die Ausgabe?
Incident Response — Was passiert, wenn ein KI-System kompromittiert wird? Wer ist verantwortlich?
Dokumentation — Welche Sicherheitsmaßnahmen wurden ergriffen? Nachweis für EU AI Act und NIS-2
Risiken
Typische Fallstricke
Security als nachgelagertes Thema
Viele Unternehmen führen KI ein und denken erst später über Security nach. Dabei sind viele Angriffspunkte architekturbedingt — nachträgliche Absicherung ist oft teurer und weniger wirksam.
Prompt Injection erkennen zu spät
Indirekte Prompt Injections sind schwer zu erkennen, weil sie über Dokumente oder E-Mails in den Kontext gelangen. Klassische Security-Tools erkennen sie nicht.
Supply Chain Blindheit
Die Abhängigkeitskette von KI-Modellen ist oft undurchsichtig. Wer liefert das Basismodell? Wo wird es gehostet? Welche Daten wurden zum Training verwendet? Transparenz ist die erste Voraussetzung für Sicherheit.
Dokumentation unterschätzt
EU AI Act und NIS-2 verlangen Nachweise. Unternehmen, die KI-Sicherheit nicht dokumentieren, stehen im Prüfungsfall ohne Verteidigung da.
Verwandte Perspektiven
AI Security im Kontext
EU AI Act, DSGVO, NIS2 — welche Regularien betreffen euch, und wie hängen sie zusammen?
Organhaftung, D&O — wer haftet, wenn ein unsicheres KI-System Schaden verursacht?
Sicherheit und Compliance sind oft die Hürden, an denen KI-Piloten scheitern, bevor sie in Produktion gehen.
Die andere Seite: Wie KI die IT-Sicherheit transformiert — neue Angriffe, neue Verteidigung, das Agentic SOC.
Keine Rechtsberatung. Diese Seite fasst Informationen aus öffentlich zugänglichen Quellen zusammen. Sie ersetzt keine anwaltliche oder sicherheitstechnische Beratung im konkreten Einzelfall.
Weiterlesen
Quellen und Vertiefung
- →
EU AI Act Service Desk — Article 15: Accuracy, Robustness and Cybersecurity
ai-act-service-desk.ec.europa.eu — Offizielle Erläuterung der Security-Anforderungen an Hochrisiko-KI-Systeme.
- →
OWASP Top 10 for LLM Applications (Version 2025)
owasp.org — Der maßgebliche Standard für Sicherheitslücken in LLM-basierten Anwendungen. Zehn Kategorien, jeweils mit Präventionsempfehlungen.
- →
JRC — Cybersecurity of Artificial Intelligence
publications.jrc.ec.europa.eu — Wissenschaftliche Publikation der EU-Kommission zu KI-spezifischen Sicherheitsrisiken und Kontrollen.
- →
Wraith — The OWASP Top 10 for LLM Applications, Annotated (2026 Edition)
wraith.sh — Kommentierte Version der OWASP Top 10 mit Bug-Bounty-Coverage pro Kategorie.
- →
Skill Sprinters — KI-Risikoklassifikation 2026: Entscheidungsbaum für den Mittelstand
skill-sprinters.de — Praktischer 12-Fragen-Entscheidungsbaum zur EU AI Act Risikoklassifikation.
- →
BSI — Künstliche Intelligenz absichern
bsi.bund.de — Orientierungshilfen und Prüfschritte des Bundesamts für Sicherheit in der Informationstechnik.