Ajouter un nouveau chapitre
Harness Engineering
« Infrastructure de test » pour les systèmes d’IA : stabiliser les résultats, automatiser les régressions et quantifier la qualité.
Composants principaux
Eval Harness (infrastructure d’évaluation)
- Définir l’ensemble d’entrée (golden set) et les étiquettes
- Définir l’évaluation de sortie (rule-based + LLM judge)
- Régression hors ligne : l’exécuter à chaque modification
Portail qualité (Quality Gate)
- Seuil d’échec (par ex. taux de réussite ≥ 95 %)
- Les cas d’usage critiques doivent tous être au vert (critical path)
- Surveillance de la dérive et alertes (prompt/modèle/données)
Observabilité (Observability)
- Enregistrer traceId + prompt/version + latency
- Enregistrer des entrées/sorties échantillonnées pour la rétrospective (anonymisé)
- Régression en production : shadow traffic / canary
Produit minimum viable (MVP)
- Sélectionnez 20 cas d’usage clés (couvrant les parcours principaux + les points d’échec fréquents).
- Écrire un runner réexécutable (exécutable à la fois en local et en CI).
- Définissez 2 indicateurs : taux de réussite, latence P95 ; définissez des seuils de validation.
- À chaque modification du prompt/modèle/recherche, vous devez exécuter des tests de régression et consigner les résultats.