Ethik in der KI-Beschaffung
AI Vendor Ethics
Wenn Sie KI einkaufen, kaufen Sie die Ethik des Vendors mit. Bias aus Trainingsdaten, intransparente Modelle, fehlende Exit-Klauseln und Datenverwendung durch Dritte — all das wird mit dem Vertrag importiert. Und der EU AI Act macht Sie als Betreiber dafür verantwortlich. Diese Seite zeigt, worauf es ethisch ankommt: fünf Risiken, fünf Prüffragen, zwölf Klauselfamilien — und woran Sie Ethics Washing bei Vendoren erkennen.
Warum Vendor Ethics?
Standard-IT-Beschaffung ist für KI unzureichend
Der klassische SaaS-Beschaffungsprozess prüft Infrastructure Security, Data Protection und Operational Reliability. Das ist auch bei KI-Vendoren nötig — aber nicht ausreichend. KI-Systeme führen grundlegend neue Risikokategorien ein, die Standard-Frameworks nicht adressieren: Model Opacity, Training Data Provenance, Model Drift, Bias aus Drittdaten. Der EU AI Act zieht eine klare Trennlinie zwischen Provider (Entwickler) und Deployer (Betreiber) — und weist dem Betreiber explizite Sorgfaltspflichten zu, die nur mit vertraglicher Kooperation des Providers erfüllbar sind.
66%
der B2B-Käufer verlangen SOC 2 vor Vertragsschluss — aber SOC 2 deckt keines der KI-spezifischen Risiken ab.
40%
der KI-Vendoren können hochriskante Entscheidungen nicht interpretierbar erklären. (Stanford HAI, 2025)
78%
der Unternehmen haben KI-Prinzipien — aber kein Programm zur Durchsetzung, auch nicht beim Einkauf. (Gartner, 2025)
Die fünf Risiken
Fünf ethische Risiken beim KI-Einkauf
Jeder KI-Einkauf importiert jedes dieser fünf Risiken — unabhängig vom Vendor. Die Frage ist nicht ob, sondern ob der Vendor sie adressiert und ob Sie sie vertraglich absichern.
01
Model Opacity — Black-Box-Risiko
Traditionelle Software führt explizite Logik aus, die auditiert werden kann. Neuronale Netze treffen Entscheidungen durch gelernte Muster, die selbst ihre Entwickler nicht vollständig erklären können. Wenn ein Vendor-Modell einen Kreditantrag ablehnt, eine klinische Entscheidung empfiehlt oder eine Transaktion als betrugsverdächtig flaggt — kann der Vendor erklären, warum?
Fakt: Über 40 Prozent der KI-Vendoren können für hochriskante Entscheidungen keine interpretierbaren Erklärungen liefern. (Stanford HAI, 2025)
02
Training Data Provenance — Unsichtbare Altlasten
KI-Modelle erben die Verzerrungen, Fehler und rechtlichen Risiken ihrer Trainingsdaten. Wenn ein Vendor sein Hiring-Modell auf historischen Daten eines Unternehmens trainierte, das später wegen Diskriminierung verklagt wurde, erbt Ihr Deployment diese Haftung. Die meisten Vendoren geben Trainingsdaten nicht preis — weder Herkunft, Zusammensetzung noch Lizenzstatus.
Fakt: Fehlende Trainingsdaten-Transparenz schafft Copyright- und Privacy-Exposure, die vor Vertragsschluss nicht bewertbar ist.
03
Bias & Diskriminierung durch Dritte
Wenn ein Vendor-Modell diskriminierende Ergebnisse produziert — etwa bei Mieterscreening, Kreditvergabe oder Personalauswahl — haftet in der Praxis der Betreiber, nicht der Vendor. Der EU AI Act stuft viele dieser Anwendungen als Hochrisiko ein und verlangt Konformitätsbewertungen. Der SafeRent-Vergleich 2024 ($2,2 Mio) zeigt: Algorithmische Diskriminierung durch Drittsoftware ist justiziabel.
Fakt: Die Beweislast liegt beim Betreiber: Er muss nachweisen können, dass er angemessene Sorgfalt walten ließ.
04
Datenverwendung durch den Vendor
Was passiert mit Ihren Daten, nachdem Sie sie in ein Vendor-System eingegeben haben? Werden Prompts, Outputs und Embeddings zum Nachtraining verwendet? Werden sie von Menschen gelesen? Landen sie in einem gemeinsamen Modell, das auch Ihre Konkurrenten nutzen? Die meisten Vendor-Templates räumen sich weitreichende Nutzungsrechte ein — die Zero-Data-Retention-Option ist oft ein verstecktes Premium-Feature.
Fakt: Eine fehlende 'No Training on Customer Data'-Klausel ist das häufigste ethische Einfallstor im KI-Einkauf.
05
Vendor-Lock-in als ethisches Risiko
KI-Vendor-Lock-in ist schwerer als klassischer SaaS-Lock-in. Fine-getunte Modelle, Embeddings, Vektordatenbanken und Prompt-Templates sind nicht einfach exportierbar. Fehlende Exit-Klauseln machen einen complianten Vendor-Wechsel strukturell unmöglich — oder so teuer, dass er faktisch nicht stattfindet. Das ist nicht nur ein Kostenrisiko, sondern ein ethisches: Wer nicht wechseln kann, kann auch keine bessere Ethikpraxis wählen.
Fakt: Ein Wechsel des KI-Vendors kostet typisch 2–5x mehr als ein SaaS-Wechsel und dauert 6–18 Monate.
Fünf Prüffragen
Fünf Fragen vor jedem KI-Kauf
Jede dieser fünf Fragen muss vor Vertragsschluss beantwortet sein — schriftlich, nicht mündlich. Für jeden Use Case, der über Low-Risk-Spielerei hinausgeht.
Welche Daten wurden zum Training verwendet?
Der Vendor muss darlegen können: Quellen der Trainingsdaten, Rechtsgrundlage der Erhebung, Umgang mit personenbezogenen Daten, De-Identifizierungsverfahren, demografische Zusammensetzung und Aktualität. Ohne diese Angaben können Sie Bias-Risiken, Copyright-Verstöße und regulatorische Exposure nicht bewerten.
Welche Bias-Tests wurden durchgeführt und mit welchen Ergebnissen?
Der Vendor sollte Fairness-Metriken (Demographic Parity, Equalized Odds, Calibration) pro Modellversion dokumentieren können — disaggregiert nach relevanten demografischen Gruppen. Fehlen diese Daten, hat der Vendor entweder nicht getestet oder die Ergebnisse will er nicht zeigen. Beides ist ein Ausschlusskriterium für Hochrisikoanwendungen.
Werden meine Daten zum Nachtraining oder zur Produktverbesserung genutzt?
Die Antwort muss vertraglich dokumentiert sein — nicht nur mündlich zugesagt. Das 'No Training on Customer Data'-Commitment muss im Vertrag stehen, nicht in einer Privacy Policy, die morgen geändert werden kann. Verlangen Sie explizit die Zero-Data-Retention-Option.
Wurden KI-spezifische Sicherheitstests durchgeführt?
Standard-Penetrationstests reichen nicht. Der Vendor muss testen: Prompt Injection, Data Poisoning, Model Extraction, Adversarial Examples. Der OWASP Top 10 für LLM Applications liefert die Baseline. Verlangen Sie die Executive Summary der Tests.
Was passiert bei Vertragsende?
Können Ihre Daten, Fine-Tuning-Weights und Embeddings exportiert werden? In welchem Format? Innerhalb welcher Frist? Gibt es eine Migrationsunterstützung? Ein Vendor, der diese Frage nicht klar beantworten kann oder will, baut einen Lock-in — ob absichtlich oder nicht.
Zwölf Klauselfamilien
Zwölf Klauselfamilien für KI-Verträge
Standard-SaaS-Verträge decken keine der KI-spezifischen Risiken ab. Ein belastbarer KI-Vendor-Vertrag adressiert alle zwölf Klauselfamilien. Arbeiten Sie mit einer Checkliste, nicht mit der Vendor-Vorlage. Jede fehlende Klausel ist ein Risiko, das Sie aktiv tragen.
Permitted Use & Output Rights
Wem gehören die Outputs? Dürfen sie zum Training konkurrierender Modelle genutzt werden? Gibt es Field-of-Use-Restriktionen?
Customer Data Use Restrictions
Vertragliches Verbot der Nutzung von Kundendaten zum Modelltraining ohne schriftliche Zustimmung. Das ist heute Enterprise-Standard — nicht verhandelbar.
Confidentiality & Trade Secrets
Erstreckt sich auf Prompts, Outputs, Embeddings und derivative Artefakte. Muss Vertragsende überleben, weil Embeddings und Prompt-Logs persistieren.
IP Indemnification
Vendor stellt von Copyright-, Patent- und Trade-Secret-Ansprüchen aus Outputs frei. Große Provider bieten begrenzte Indemnities — Scope und Ausschlüsse prüfen.
AI-Specific SLAs
Nicht nur Verfügbarkeit und Latenz, sondern auch Qualitätsbänder: minimale Accuracy auf Ihrem Evaluierungs-Set, maximale Drift-Toleranz, Remedies bei Unterschreitung.
Model Version Commitment
Version-Pinning, 6–12 Monate Deprecation-Notice, Rollback-Möglichkeit. Kein automatisches Update ohne Ihre Zustimmung.
Sub-Processor Changes
Welche Änderungen an Hosting, Cloud-Region oder Upstream-Modell brauchen Ihre Zustimmung? Was löst ein Kündigungsrecht aus?
Incident Notification
Was ist ein meldepflichtiger Vorfall? Antwortfrist? Welche Informationen müssen geliefert werden? EU AI Act Art. 73 setzt hier Standards.
Audit & Inspection Rights
Recht auf Einsicht in SOC 2, ISO 42001, Model Cards, AI-BOMs, Evaluierungsergebnisse. Rechte, die nur auf dem Papier existieren, versagen im Ernstfall.
Data Localization
Wo wird verarbeitet und gespeichert? GDPR-konforme Cross-Border-Transfers? Vertragliche Zusagen müssen mit der Rechtsgrundlage übereinstimmen.
Bias & Fairness Commitments
Vertragliche Zusagen zu Evaluation, Mitigation und Remediation schädlicher Outputs. Bezug auf NIST AI RMF MEASURE-Familie empfohlen.
Termination & Data Portability
Vollständiger Datenexport in maschinenlesbarem Format, Fine-Tuning-Weight-Rückgabe, 90+ Tage Migrationsunterstützung. Lock-in ist eine Funktion der Exit-Klausel.
Empfehlung: Starten Sie nicht von der Vendor-Vorlage, sondern von Ihrer eigenen Checkliste. Markieren Sie jede Klausel als Required ✓, Required ✗ oder Missing. Unterschreiben Sie erst, wenn alle Required- Einträge auf ✓ stehen. Wo der Vendor nicht zustimmt: Lücke ins Residual-Risiko-Register mit benanntem Owner.
EU AI Act
Was der EU AI Act von KI-Käufern verlangt
Der EU AI Act macht Betreiber (Deployer) von Hochrisiko-KI nicht nur für den eigenen Betrieb, sondern auch für die Auswahl und Überwachung ihrer Vendoren verantwortlich.
Artikel 25 + 26: Deployer-Pflichten
- →Konformitätsprüfung vor Einsatz: Sie müssen vom Vendor bestätigen lassen, dass das System einer Konformitätsbewertung unterzogen wurde, CE-gekennzeichnet ist und die technische Dokumentation vorliegt.
- →Human Oversight ermöglichen: Der Vendor muss Ihnen die Nutzungsanweisungen und technischen Mittel zur Verfügung stellen, damit Sie Ihrer Aufsichtspflicht nachkommen können.
- →Logging und Monitoring: Sie müssen automatisch generierte Logs führen können — das setzt voraus, dass der Vendor diese Logs bereitstellt.
- →Incident Notification: Der Vendor muss ernste Vorfälle melden (Art. 73). Ohne vertragliche Vereinbarung haben Sie keinen Anspruch darauf.
- →Konsequenz: Ohne vertragliche Durchsetzung ist Compliance strukturell unmöglich. Der Vertrag ist das operative Rückgrat Ihres gesamten Governance-Programms.
Red Flags
Ethics Washing bei Vendoren erkennen
Genauso wie im eigenen Unternehmen gilt auch bei Vendoren: Prinzipien ohne Programm sind Ethics Washing. Fünf Warnsignale, bei denen Sie hellhörig werden sollten.
Vage Ethik-Versprechen ohne Evidenz
Ein Vendor, der "ethisch" im Marketingtext führt, aber keine Model Cards, Bias-Test-Ergebnisse, SOC 2-Berichte oder ISO 42001-Zertifikate vorlegen kann, betreibt Ethics Washing.
Unbelegte Leistungsbehauptungen
"Unser Modell hat eine Halluzinationsrate von unter 0,001 Prozent" — ohne Evidenz. Der Texas Attorney General vs. Pieces Technologies (September 2024) war der erste Enforcement-Fall gegen irreführende KI-Leistungsbehauptungen.
Keine Differenzierung nach Risikostufe
Ein Vendor, der für alle Use Cases denselben Due-Diligence-Prozess anbietet, hat verstanden, dass Hochrisikoanwendungen (Hiring, Kredit, Gesundheit) andere Prüftiefe brauchen als Low-Risk-Inhaltsklassifikation.
Verweigerung von Vertragsanpassungen
"Unsere Standard-AGBs gelten für alle Kunden" ist bei KI-Vendoren ein Warnsignal. Wenn ein Vendor keine der zwölf Klauselfamilien verhandeln will, verlagert er alle Risiken auf Sie.
Keine Transparenz über Upstream-Modelle
Viele KI-Produkte bauen auf Fremdmodellen auf (OpenAI, Anthropic, Open Source). Ein Vendor, der nicht offenlegt, welche Modelle in seiner Kette stecken, macht Ihre Risikobewertung unmöglich.
Alternative
Open Source als Ethik-Strategie
Open-Source-Modelle sind kein Allheilmittel, aber sie schließen mehrere der fünf Vendor-Risiken strukturell aus.
Volle Transparenz
Trainingsdaten, Architektur und Limitierungen sind einsehbar. Die Model-Opacity-Lücke wird geschlossen. Bias-Testing kann vom eigenen Team oder unabhängigen Dritten durchgeführt werden.
Datenhoheit
Self-Hosting verhindert Datenabfluss an Dritte. Ihre Prompts, Outputs und Fine-Tuning-Daten verlassen nie Ihre Infrastruktur. Kein Vendor sieht Ihre sensiblen Daten.
Kein Vendor-Lock-in
Modelle können zwischen Hosting-Anbietern migriert werden. Fine-Tuning-Daten bleiben im eigenen Zugriff. Exit kostet Deployment-Zeit, nicht sechsstellige Migrationsprojekte.
Nachteil: Self-Hosting braucht Betriebskompetenz im eigenen Team. Managed Open-Source-Hubs (Together AI, Groq, Replicate) sind ein Mittelweg — aber dann kaufen Sie wieder Vendor-Risiken ein, nur auf einer anderen Ebene.
Selbsttest
Vendor-Ethics-Check: Wie sauber ist Ihre KI-Beschaffung?
Sechs Fragen, die zeigen, ob Ihre Beschaffung ethische Risiken aktiv managed oder importiert.
Kann mir jeder meiner KI-Vendoren Model Cards, Bias-Test-Ergebnisse und SOC 2-Berichte vorlegen?
Habe ich vertraglich dokumentiert, dass meine Daten nicht zum Nachtraining verwendet werden?
Weiß ich, welche Modelle in der Lieferkette jedes Vendor-Produkts stecken?
Habe ich für jeden Hochrisiko-Use-Case einen Exit-Plan, der einen Vendor-Wechsel innerhalb von 90 Tagen erlaubt?
Kann ich meinem Board auf Nachfrage sagen, welche KI-Vendoren wir nutzen, wie wir sie geprüft haben und was in den Verträgen steht?
Habe ich jemals einen Vendor wegen unzureichender Ethikpraxis abgelehnt?
Wenn Sie mehr als zwei Fragen mit Nein beantworten: Ihr Beschaffungsprozess importiert ethische Risiken, die Sie nicht sehen. Der EU AI Act wird sie für Sie sichtbar machen — spätestens bei der ersten Prüfung.
Verwandte Perspektiven
Ethik in der Beschaffung im Kontext
Die Grundlage: Drei-Schichten-Modell, sechs Säulen, acht Schritte — Ethik als Programm, nicht nur als Beschaffungskriterium.
Compliance-Anforderungen, die Vendor-Verträge adressieren müssen: EU AI Act, NIS2, OWASP.
Governance-Strukturen, die Vendor-Risiken steuern — und ohne die Beschaffung blind einkauft.
Open Source als Ethik-Strategie: weniger Black Box, mehr Datenhoheit, kein Lock-in.
Bias-Testing als Teil der Vendor-Due-Diligence: Was Sie selbst prüfen können, bevor Sie unterschreiben.
Wer haftet, wenn ein Vendor-Modell Schaden verursacht? Organhaftung, D&O, Produkthaftung.
Weiterlesen
Quellen und Vertiefung
- →
COMPEL Framework — Contracting Patterns for AI: SLAs, Indemnification, Data Use Restrictions
compelframework.org — Die umfassendste Darstellung der zwölf Klauselfamilien für KI-Vendor-Verträge mit Maturitätsstufen und Verhandlungsstrategie.
- →
GLACIS — AI Vendor Due Diligence Checklist 2026
glacis.io — 56-item-Checkliste über acht Risikokategorien mit Mapping auf EU AI Act, NIST AI RMF, ISO 42001. Inklusive Weiterleitung auf CSA AICM, OWASP Top 10 für LLMs und MITRE ATLAS.
- →
ACC — Procuring AI: Key Considerations and Strategies
acc.com — Risikoklassifikation, Due-Diligence-Prozess, ethische und rechtliche Alignment-Prüfung. 8 Klauselfamilien mit Checkliste.
- →
ThinkTech — AI Procurement Checklist: 47 Questions Before Buying AI Tools
thinktech.ngo — 47 Fragen in sieben Kategorien: Data Handling, Security, Model Transparency, Bias, Legal, Continuity, Vendor Ethics.
- →
Enzai — Third-Party AI: How to Assess Vendor Risk
enz.ai — Fragebogen, Red Flags, vertragliche Schutzmechanismen und fortlaufendes Monitoring unter dem EU AI Act.
- →
EU AI Act — Regulation (EU) 2024/1689, Articles 25, 26, 73
eur-lex.europa.eu — Rechtliche Grundlage: Deployer-Pflichten, Supply-Chain-Verantwortung, Incident Notification.
- →
SafeRent Solutions Settlement — Algorithmic Discrimination
$2,2 Mio Vergleich (November 2024) — Erster Enforcement-Fall gegen algorithmische Diskriminierung durch Drittanbieter-Software im Mieterscreening.
- →
Marktus Gross — AI Act in Einkauf & Vendor Management
markusgross.de — D/A/CH-Perspektive: Warum die Beschaffung die unterschätzte Frontlinie der AI-Act-Compliance ist. Betriebsvereinbarungen, Vertragsgestaltung, Exit-Logik.
- →
Knowlee — AI Vendor Risk Assessment Checklist (35 Questions)
knowlee.ai — Mapping auf EU AI Act Art. 25+26, ISO 42001, GPAI-spezifische Fragen. 35 Fragen in Pre-Contract, AI-Act-spezifisch, Contractual und Ongoing Monitoring.