Neues Kapitel hinzufügen

Harness Engineering

„Testinfrastruktur“ für KI-Systeme: Ergebnisse stabilisieren, Regressionen automatisierbar machen und Qualität quantifizierbar machen.

Kernkomponenten

Eval Harness (Evaluierungsinfrastruktur)

  • Definieren Sie den Eingabesatz (golden set) und die Labels
  • Ausgabe-Bewertung definieren (rule-based + LLM judge)
  • Offline-Regression: bei jeder Änderung ausführen

Qualitäts-Gate (Quality Gate)

  • Fehlerschwelle (z. B. Bestehensrate ≥ 95 %)
  • Kritische Anwendungsfälle müssen alle grün sein (Critical Path)
  • Drift-Überwachung und Alarme (Prompt/Modell/Daten)

Beobachtbarkeit (Observability)

  • traceId + prompt/version + Latenz erfassen
  • Beispielhafte Ein-/Ausgaben zur Nachbereitung speichern (anonymisiert)
  • Regression in der Produktion: shadow traffic / canary

Minimal funktionsfähiges Produkt (MVP)

  1. Wählen Sie 20 wichtige Anwendungsfälle aus (Abdeckung der Kernabläufe + häufige Fehlerquellen).
  2. Einen wiederholbar ausführbaren Runner schreiben (sowohl lokal als auch in CI lauffähig).
  3. Definieren Sie 2 Kennzahlen: Bestehensrate, P95-Latenz; legen Sie Gate-Schwellenwerte fest.
  4. Jedes Mal, wenn Sie Prompt/Modell/Retrieval ändern, müssen Sie Regressionstests ausführen und die Ergebnisse protokollieren.
Vorheriges Kapitel: Testen und QualitätNächstes Kapitel: Bereitstellung und Betrieb