Hochrisiko KI-Systeme: Was der EU AI Act von Deployers verlangt
Hochrisiko bedeutet nicht automatisch gefährlich. Es bedeutet: vor dem Einsatz eine Konformitätsbewertung, während des Betriebs menschliche Aufsicht, und Protokollierung.
Welche acht Bereiche der EU AI Act als Hochrisiko definiert, was das für Deployer konkret bedeutet, und wie ihr entscheidet ob euer System betroffen ist.
Was Hochrisiko bedeutet — und was nicht
Der Begriff “Hochrisiko” suggeriert Gefährlichkeit. Das ist eine Fehllektüre. Hochrisiko nach EU AI Act beschreibt den Verwendungskontext — nicht die Qualität oder Zuverlässigkeit eines Systems. Ein hervorragendes, gut getestetes CV-Screening-Tool ist Hochrisiko. Ein kaum genutzter Spam-Filter ist minimal-riskant.
Was Hochrisiko ist
Ein Verwendungskontext in dem Fehler erhebliche Konsequenzen für Menschen haben können — bei Bewerbungen, Krediten, Sozialhilfe, im Strafrecht.
Was Hochrisiko nicht ist
Ein Qualitätsurteil. Dasselbe Modell kann in einem Kontext minimal-riskant sein und in einem anderen Hochrisiko auslösen.
Was das für euch bedeutet: “Unser Tool ist gut” ist keine Antwort auf die Frage ob es Hochrisiko-Pflichten auslöst. Die Risikoklasse hängt am Use Case, nicht am Modell.
Die acht Hochrisiko-Bereiche (Anhang III EU AI Act)
Biometrie
Gesichtserkennung, biometrische Kategorisierung nach sensiblen Merkmalen, Fernidentifikation in Echtzeit.
Kritische Infrastruktur
KI im Management von Strom-, Wasser-, Gas-, Verkehrsinfrastruktur.
Bildung & Ausbildung
Zugangssteuerung zu Bildung, Bewertung von Lernleistungen, Überwachung während Prüfungen.
Beschäftigung & HR
CV-Screening, Beförderungsentscheidungen, Performance Monitoring, Kündigung, Aufgabenzuweisung bei kontraktbasierter Arbeit.
Grundlegende Dienste
Kredit-Scoring, Versicherungspricing, Behördenleistungen, Notfall-Dispatch, Risikoabschätzung in der Sozialhilfe.
Strafverfolgung
Risikobewertung bei Straftaten oder Wiederholungstaten, Aufdeckung von Täuschung, Beweisbewertung.
Migration & Grenzkontrolle
Visum- und Asylentscheidungen, Risikoabschätzung von Migranten, Überwachung an Grenzen.
Justiz & Demokratie
KI-Unterstützung bei Richterentscheidungen, KI die Wahlverhalten beeinflussen kann.
Für die meisten Organisationen am relevantesten: Bereich 4 (HR/Beschäftigung). Alles was KI nutzt um Entscheidungen über Mitarbeiter oder Bewerber vorzubereiten oder zu treffen — CV-Screening, Interview-Analyse, Performance-Scoring, Kündigung — ist Hochrisiko. Wer HR-SaaS einsetzt und nicht geprüft hat ob darin KI-Komponenten stecken: jetzt prüfen.
Pflichten als Deployer — konkret
Als Deployer eines Hochrisiko-Systems habt ihr fünf Kernpflichten:
Konformitätsprüfung vor Einsatz
Prüfen ob der Provider die Konformitätsbewertung durchgeführt hat. CE-Kennzeichnung vorhanden? Technische Dokumentation verfügbar? Registrierung in der EU-Datenbank (für bestimmte Kategorien)? Diese Prüfung ist eure Pflicht — nicht die des Providers.
Menschliche Aufsicht einrichten
Ihr müsst sicherstellen dass eine qualifizierte Person die Outputs überwachen kann. Diese Person muss fähig sein, die Outputs zu verstehen, zu hinterfragen und das System im Bedarfsfall zu stoppen.
Protokollierung
Einsatz-Logs führen und mindestens 6 Monate aufbewahren. Wann wurde das System genutzt, für welche Entscheidung, mit welchem Ergebnis? Automatische Log-Funktion des Providers reicht — wenn ihr sie aktiviert und speichert.
Transparenz gegenüber Betroffenen
Menschen die einem Hochrisiko-System ausgesetzt sind, müssen informiert werden. Bei HR-Tools: Bewerber informieren, dass ihre Bewerbung durch ein KI-System verarbeitet wird.
Datenpflege
Sicherstellen dass Eingabedaten korrekt, vollständig und für den Kontext geeignet sind — soweit ihr das beeinflussen könnt.
Wie ihr klassifiziert — der Drei-Schritt-Check
Ist die Anwendung verboten?
Prüft gegen die Liste verbotener Praktiken: Social Scoring, biometrische Echtzeit-Überwachung in der Öffentlichkeit, Emotionserkennung in Arbeit und Bildung, manipulative Systeme. Wenn ja: sofort einstellen. Gilt seit Februar 2025.
JA → Sofort einstellen
Fällt sie in einen der 8 Hochrisiko-Bereiche?
Nicht nur der offensichtliche Use Case — auch die Subsysteme. Ein HR-Management-Tool mit eingebetteter CV-Analyse: Hochrisiko-Komponente, auch wenn das Gesamt-Tool andere Hauptfunktionen hat.
JA → Hochrisiko-Pflichten gelten
Nein zu beidem?
Prüft auf Transparenzpflichten. Chatbots und KI die Text generiert der als menschlich erscheinen könnte: Kennzeichnungspflicht. Alles andere: minimal riskant, keine spezifischen EU-AI-Act-Pflichten.
Prüft Transparenzpflichten
Was das für euch bedeutet: Die Klassifikation ist keine IT-Aufgabe. Sie ist eine Business-Entscheidung — welchen Use Case setzt ihr mit diesem System um? Der Kontext entscheidet.