新しい章を追加
Harness Engineering
AI システム向けの「テスト基盤」：結果を安定させ、回帰を自動化可能にし、品質を定量化する。
中核コンポーネント
Eval Harness（評価基盤）
- 入力セット（golden set）とラベルを定義する
- 出力判定を定義する（rule-based + LLM judge）
- オフライン回帰：変更のたびに毎回実行
品質ゲート（Quality Gate）
- 失敗しきい値（例: pass-rate ≥ 95%）
- 主要ユースケースは必ず全て緑（critical path）であること
- ドリフト監視とアラート（prompt/model/データ）
可観測性（Observability）
- traceId + prompt/version + latency を記録する
- サンプルとして入力/出力を保存して振り返りに利用する（匿名化）
- 本番回帰：shadow traffic / canary
最小限の実装（MVP）
- 主要な20件のユースケースを選ぶ（コアの流れ + 失敗の多いポイントをカバー）。
- 1 つの再実行可能な runner を作成する（ローカル/CI の両方で実行可能）。
- 2 つの指標を定義する：合格率、P95 レイテンシー；ゲートのしきい値を設定する。
- プロンプト/モデル/検索を変更するたびに、必ず回帰テストを実行し、結果を記録する。