Betrieb & Lifecycle
AI Testing & Evaluation
"Funktioniert unsere KI?" — die Frage, die jedes Unternehmen nach dem Deploy umtreibt. Ohne systematische Evaluierung bleibt die Antwort Bauchgefühl. Dabei ist Eval 2026 kein nachträglicher Check mehr, sondern die Infrastruktur, die entscheidet, ob KI zuverlässig läuft oder still versagt.
Diese Seite gibt einen Überblick über Methoden, Dimensionen und Fallstricke systematischer KI-Evaluierung — vom ersten Golden Set bis zur Produktions-Observability.
Grundproblem
Warum sich KI-Testing von klassischem Software-Testing unterscheidet
Nicht-deterministische Ausgaben
Klassische Software gibt auf dieselbe Eingabe dieselbe Ausgabe. KI-Systeme nicht — derselbe Prompt kann unterschiedliche Ergebnisse liefern. Unit-Tests, die auf exakte Übereinstimmung prüfen, funktionieren nicht.
Keine einfache Richtig/Falsch-Grenze
Eine KI-Antwort kann teilweise richtig, gut formuliert aber inhaltlich falsch, oder faktisch korrekt aber irrelevant sein. Evaluation braucht mehrere Dimensionen parallel.
Fehler verschieben sich
Ein Fix für Prompt Injection kann die Antwortqualität verschlechtern. Bessere Retrieval-Ergebnisse können das LLM überfordern. Evaluierung muss das gesamte System testen, nicht nur Komponenten.
Produktion ist anders als Labor
Ein Modell, das auf einem Benchmark hervorragend abschneidet, kann in der realen Nutzung scheitern — weil die Nutzer andere Fragen stellen, andere Daten im Kontext liegen oder andere Latenzanforderungen gelten.
Konsequenz: Wer KI testet, braucht andere Methoden als klassische Software. Unit-Tests allein reichen nicht — Evaluation wird zum mehrdimensionalen, kontinuierlichen Prozess.
Der Eval-Stack
Sechs Schichten, die ein Eval-Programm ausmachen
Das LLM Evaluation Playbook 2026 beschreibt Evaluation als sechsschichtiges Engineering-Problem: Vom Testdatensatz über Metriken und automatische Bewertung bis zum Produktions-Monitoring und der Rückkopplung in die Entwicklung. Teams, die zuverlässige KI-Systeme betreiben, behandeln Eval als Kerninfrastruktur.
Golden Sets
Kuratierte Sammlung von Testfällen mit erwarteten Antworten. Bilden die Baseline: Bei jeder Änderung am Prompt, Modell oder Retrieval wird geprüft, ob die Antworten noch stimmen. Ohne Golden Set ist jede Änderung ein Blindflug.
Metriken & Rubriken
Definition, was eine gute Antwort ausmacht. Korrektheit, Vollständigkeit, Relevanz, Ton, Sicherheit — jede Dimension bekommt eine Rubrik (Bewertungsskala). Die Rubrik wird von Menschen erstellt und von Menschen und LLM-Judges gleichermaßen genutzt.
LLM-as-Judge
Ein zweites LLM bewertet die Antwort des ersten gegen die Rubrik. Das skaliert: Tausende Testfälle können automatisch bewertet werden. Voraussetzung: Der Judge muss gegen menschliche Bewertungen kalibriert sein (Inter-Rater Reliability).
CI-Gate
Jede Änderung (Prompt-Update, Modell-Wechsel, Konfiguration) durchläuft die Evaluierung als Quality Gate im CI/CD-Pipeline. Wenn die Scores fallen, wird die Änderung blockiert. Evals werden zu Regressionstests.
Produktions-Observability
Traces von jedem Call: Was war der Input? Welche Chunks wurden retrieved? Welches Tool aufgerufen? Welche Antwort gegeben? Sampling der Produktion-Calls zur Bewertung durch LLM-Judge oder Menschen.
Feedback-Loop
Erkenntnisse aus der Produktion fließen zurück in Golden Sets und Rubriken. Neue Fehlermuster werden zu neuen Testfällen. Der Kreislauf schließt sich: Evaluation wird zur lernenden Infrastruktur.
Bewertungsdimensionen
Fünf Dimensionen, in denen KI gemessen werden muss
Eine einzige Metrik reicht nicht. Eine KI-Antwort kann gleichzeitig faktisch korrekt (✅), aber irrelevant (❌) und unsicher formuliert (❌) sein. Gute Evaluation bildet mehrere Dimensionen ab.
Korrektheit
Ist die faktische Aussage richtig? Die grundlegendste Dimension — und in der Praxis oft die schwierigste, weil LLMs Fakten und Halluzinationen nicht unterscheiden können.
Treue zum Kontext (Faithfulness)
Bleibt die Antwort im Rahmen der bereitgestellten Quellen oder erfindet sie etwas dazu? Besonders wichtig für RAG-Systeme: Eine Antwort kann richtig klingen, aber auf keiner der Quellen basieren.
Relevanz
Beantwortet die Antwort die Frage des Nutzers? Eine faktisch korrekte Antwort ist nutzlos, wenn sie am Problem vorbeigeht. Relevanz ist kontextabhängig und schwer automatisiert zu prüfen.
Sicherheit
Enthält die Antwort schädliche, diskriminierende oder unangemessene Inhalte? Wurden System-Prompts geleakt? Gibt es Jailbreak-Versuche? Sicherheit muss Teil jedes Eval-Programms sein.
Konsistenz
Gibt das System auf ähnliche Fragen ähnliche Antworten? Driftet die Antwortqualität über Zeit? Konsistenz ist ein Zeichen für ein stabiles System.
Zwei Phasen
Vor dem Deploy und in Produktion
Beide Phasen sind notwendig und ersetzen einander nicht. Offline-Evaluation fängt Regression-Fehler, bevor sie Nutzer erreichen. Produktions-Evaluation zeigt, was wirklich passiert.
Offline-Evaluation (vor Deploy)
- →Golden Sets mit 50–200 getesteten Fällen pro Anwendungsfall
- →LLM-as-Judge mit kalibrierter Rubrik
- →Human Evaluation für kritische Entscheidungen (Stichprobe)
- →Regression-Testing bei Prompt- oder Modell-Wechsel
Nutzen
Schnell, wiederholbar, automatisierbar. Fängt die meisten Regression-Fehler, bevor sie Nutzer erreichen.
Grenze
Deckt nicht ab, was in der realen Nutzung passiert. Golden Sets altern, wenn sich Nutzerverhalten ändert.
Produktions-Evaluation (nach Deploy)
- →Traces auf jedem Call (Input, Retrieved Chunks, Output, Latenz)
- →Sampled LLM-Judge-Bewertung (1–10 % der Calls)
- →A/B-Testing: Neues Modell gegen altes im Live-Traffic
- →Canary-Deploy: Neues System nur für 5 % der Nutzer
- →Drift-Detection: Ändert sich das Nutzerverhalten oder die Antwortverteilung?
Nutzen
Misst, was wirklich passiert. Erkennt Muster, die im Labor unsichtbar waren.
Grenze
Aufwändiger, braucht Infrastruktur. Ergebnisse sind nicht immer eindeutig (Korrelation vs. Kausalität).
RAG-Evaluation
Fünf Dimensionen speziell für RAG-Systeme
RAG-Systeme sind besonders anfällig für schleichende Qualitätsverluste — weil Retrieval und LLM unabhängig voneinander fehlschlagen können. Eine systematische RAG-Evaluation prüft beide Seiten getrennt und im Zusammenspiel.
Retrieval Precision
Sind die abgerufenen Dokumente relevant für die Frage? (Wie viele Treffer passen zum Thema?)
Retrieval Recall
Wurden alle relevanten Dokumente gefunden? (Fehlt etwas Wichtiges?)
Context Utilization
Nutzt das LLM die abgerufenen Dokumente tatsächlich oder ignoriert es sie?
Answer Faithfulness
Bleibt die Antwort im Rahmen der abgerufenen Dokumente oder halluziniert sie darüber hinaus?
Answer Relevance
Beantwortet die finale Antwort die ursprüngliche Frage, nachdem Retrieval und LLM gearbeitet haben?
Ausführlicheres zur RAG-Evaluation auf der Seite RAG & Semantic Layer.
Fallstricke
Fünf Fehler, die Evaluation unwirksam machen
Evaluation als einmaliger Check
Ein Benchmark vor dem Deploy sagt nichts über die Qualität nach drei Monaten. Evaluation muss kontinuierlich sein — nicht vorher, nicht nachher, sondern die ganze Zeit.
Nur eine Metrik
Genauigkeit allein ist gefährlich. Ein Modell kann zu 95 % richtig liegen und systematisch die kritischsten 5 % falsch haben. Mehrere Dimensionen parallel sind Pflicht.
Kein menschlicher Ground Truth
LLM-as-Judge ist mächtig, aber ohne Kalibrierung gegen menschliche Bewertungen nicht vertrauenswürdig. Wer nie Menschen bewerten lässt, weiß nicht, ob der Judge richtig liegt.
Golden Sets veralten lassen
Die Testfälle von vor sechs Monaten passen nicht mehr zu den heutigen Nutzerfragen. Golden Sets müssen regelmäßig erweitert werden — sonst optimiert man auf veraltete Ziele.
Produktion ignorieren
Die größte Lücke: Teams evaluieren offline, deployen, und schauen nie wieder hin. Ohne Produktions-Observability bleibt unklar, ob das System wirklich funktioniert.
Praktischer Einstieg
Acht Schritte für den Start
Kein Unternehmen braucht sofort den gesamten Eval-Stack. Die wichtigste Erkenntnis: Fang klein an, aber fang an. Diese acht Schritte sind machbar — auch für Teams ohne dedizierte ML-Infrastruktur.
Starte mit einem Golden Set von 50 Fällen pro Anwendungsfall — von Hand kuratiert, nicht vom LLM generiert
Definiere zwei bis drei Metriken, die zu deinen Fehlermustern passen (z. B. Faithfulness für RAG, Korrektheit für Extraktion)
Kalibriere deinen LLM-Judge gegen menschliche Bewertung — 100 Fälle reichen, um die Übereinstimmung zu prüfen
Baue Traces in jedes KI-System ein, bevor es in Produktion geht — ohne Logs keine Fehleranalyse
Führe ein Quality Gate ein: Jede Änderung durchläuft das Golden Set, bevor sie ausgerollt wird
Starte mit sampled Production-Grading (5 % der Calls), bevor du aufwändige A/B-Tests aufsetzt
Erweitere dein Golden Set monatlich um neue Fälle aus der Produktion
Evaluiere nicht nur das LLM, sondern das gesamte System — Retrieval, Prompt, Modell, Post-Processing
Verwandte Perspektiven
Testing & Evaluation im Kontext
Der Betriebsrahmen, in den Evaluation eingebettet ist — Deployment, Monitoring, Lifecycle-Management.
RAG-spezifische Evaluation: Retrieval Precision, Context Utilization, Answer Faithfulness.
Ohne Evaluation kein Scale — viele Piloten scheitern, weil nicht gemessen wird, ob sie funktionieren.
Die Qualität des Kontexts bestimmt die Qualität der Antwort — Evaluation misst, ob Context Engineering wirkt.
Weiterlesen
Quellen und Vertiefung
- →
FutureAGI — The 2026 LLM Evaluation Playbook
futureagi.com — Der umfassendste Leitfaden zum Thema: Eval als sechsschichtiges Engineering-Problem, von Golden Sets bis Feedback Loop.
- →
Galtea — The Complete Guide for LLM Evaluations in 2026
galtea.ai — Reference-based Metrics, LLM-as-Judge, Human Evaluation — die drei Methoden im Detail mit Implementierungshinweisen.
- →
Promtable — AI Evals and Observability in 2026: The Working Reference
promtable.com — Golden Sets, Rubrics, Traces, Regression Alarms — der operative Leitfaden für Eval-Programme.
- →
Automation Anywhere — AI Agent Benchmarks: The 2026 Enterprise Evaluation Guide
automationanywhere.com — Evaluierung von KI-Agents für Unternehmen: Task Completion, Cost-Efficiency, Reliability.
- →
Gen α AI — Continuous LLM Evaluation in Production: 7 Patterns
genalphai.com — Shadow, Canary, Drift, Golden Set, A/B — sieben Muster für Produktions-Evaluation.
- →
Springer — Evaluating Retrieval Augmented Generation: A Comprehensive Review
link.springer.com — Wissenschaftliche Übersicht über RAG-Evaluationsdimensionen und Metriken.
- →
Stabilarity — Model Benchmarking for Business: Beyond Academic Metrics
hub.stabilarity.com — Der Business-Oriented Model Evaluation (BOME) Rahmen: CpCO, LAA, CWU, SRS als unternehmensrelevante Metriken.