Fortgeschrittenes Praxisszenario · Szenario 4

RAG in der Praxis

Für Unternehmens-Wissensdatenbanken, private Dokumentenassistenten und Szenarien zur Analyse umfangreicher Codebestände beherrschen Sie den vollständigen RAG-Implementierungsablauf von der Korpusvorbereitung und dem Design der Retrieval-Pipeline bis hin zur Wirksamkeitsbewertung und kontinuierlichen Optimierung, um RAG wirklich zu einem iterativen Engineering-System zu machen.

Lernziele

Den End-to-End-Implementierungsablauf von RAG-DD verstehen und Probleme zur Validierung in die Ebenen Korpus, Abruf und Generierung zerlegen können
In der Lage, das Chunking der Wissensdatenbank, Metadaten, Aktualisierungsmechanismen und Berechtigungsgrenzen zu entwerfen
Die wichtigsten Kompromisse zwischen Abruf, Neu-Ranking und Kontextzusammenstellung verstehen
RAG-Ergebnisse durch Evaluationssets und die Nachbereitung von Fehlern kontinuierlich optimieren können

Methodik

RAG-DD-Workflow

1
Problemdefinition：Klären Sie die Art der Benutzerfrage, die akzeptable Latenz, die Anforderungen an die Zuverlässigkeit der Antwort und ob Quellenangaben erforderlich sind.
2
Korpus-Governance：Bereinigen Sie Dokumente, entfernen Sie Duplikate, fügen Sie Tags hinzu, legen Sie Aktualisierungszeiten und Berechtigungsgrenzen fest und vermeiden Sie es, schmutzige Daten direkt in die Wissensdatenbank zu schicken.
3
Abrufdesign：Die Chunking-Strategie, Vektor- oder Hybrid-Suche, ob ein Re-Ranking nötig ist, und die Kontextstruktur, die letztlich in das Modell eingespeist wird, festlegen.
4
Evaluationsiteration：Optimieren Sie Chunking, Retrieval und Prompt kontinuierlich anhand von Trefferquote, Recall, Antwortgenauigkeit und der Analyse fehlgeschlagener Beispiele.

Design der Abruf-Pipeline

Wissenszerlegung

  • • Semantische Vollständigkeit priorisieren; nicht stumpf nach einer festen Zeichenzahl aufteilen
  • • Jedem Chunk Metadaten wie Quelle, Zeit, Geschäftsdomain und Berechtigungen hinzufügen
  • • Für Architektur-Dokumente, Schnittstellendokumente und Code-Dokumentationen unterschiedliche Chunking-Strategien verwenden

Suche und Re-Ranking

  • • Für allgemeine Fragen und Antworten priorisieren Sie die hybride Suche und berücksichtigen Sie sowohl semantischen Recall als auch exakte Keyword-Übereinstimmung
  • • Bei Analyse-Szenarien mit langem Code ist Re-Ranking in der Regel wirksamer, als einfach nur top-k zu erhöhen
  • • Beim Zusammenstellen des Kontexts Quelle und Hierarchie beibehalten, um zu vermeiden, dass Fragmente aus ihrem ursprünglichen Kontext gelöst werden

Praktische Grundsätze: Zuerst ein RAG entwickeln, das erklären kann, warum es so geantwortet hat, und erst danach eine Antwortqualität anstreben, die intelligenter wirkt.

Bewertung und Governance

  • • Recall-Bewertung: Ob das der Aufgabe entsprechende richtige Dokument gefunden wird
  • • Antwortbewertung: Ob die Antwort korrekt und vollständig ist und die richtige Quelle zitiert
  • • Fehleranalyse: Unterscheiden, ob es sich um einen Abruffehler, eine Kontextverunreinigung oder eine Halluzination in der Generierungsphase handelt
  • • Berechtigungsverwaltung: Dokumente nach Wissensgebiet und Benutzeridentität isolieren, um unbefugte Abrufe zu vermeiden

Anwendung von KI-Tools

Claude verwenden, um Evaluationssets zu entwerfen

Lassen Sie die KI aus historischen FAQs, Tickets und Dokumentverzeichnissen einen Bewertungsfragensatz generieren, der Query-Reformulierung, unklare Formulierungen und Long-Tail-Szenarien abdeckt.

Der Punkt ist nicht, die KI sich selbst bewerten zu lassen, sondern die KI zu nutzen, um schnell Testsamples mit größerer Abdeckung zu erstellen.

Optimieren Sie den Recall mit Vektordatenbanken und Re-Ranking-Modellen

  • • Die Vektordatenbank ist für das initiale Retrieval zuständig und stellt nach Möglichkeit sicher, dass es „gefunden werden“ kann
  • • Das Re-Ranking-Modell platziert die relevantesten Dokumente ganz oben und stellt so sicher, dass sie „genau zugestellt“ werden
  • • Top-K-Vergleiche für fehlgeschlagene Beispiele sind wertvoller, als Prompts blind zu optimieren

Praxisbeispiel

Fall 1: Q&A zur internen Wissensdatenbank

Ziel: Mitarbeitenden ermöglichen, Richtlinien, Abläufe, FAQs und Architekturdokumente in natürlicher Sprache abzufragen und Antworten mit Quellenangaben zurückzugeben.

  • • Korpusquellen: Richtliniendokumente, Wiki, FAQ, SOP
  • • Schlüsseldesign: Dokumenten-Domain-Partitionierung, Berechtigungskontrolle, Version-Aktualisierungszeit
  • • Kernmetriken: Trefferquote, Zitiergenauigkeit, Problemlösungsrate

Fall 2: Abrufverstärkter Assistent für ein großes Code-Repository

Ziel: Codekommentare, README, Architekturentwurfsdokumente und Informationen zu Modulgrenzen kombinieren, um Entwicklern zu helfen, die Implementierungslogik schnell zu lokalisieren.

  • • Korpusquellen: Codebeschreibungen, Architekturdokumente, Schnittstellenverträge, Änderungsprotokolle
  • • Zentrales Design: Den Kontext nach Modulen und Upstream-/Downstream-Beziehungen organisieren, statt nur Codeausschnitte einzufügen
  • • Fehlerschwerpunkte: Abruf veralteter Dokumente, fehlende Modulgrenzen, Fragmente, die vom semantischen Kontext getrennt sind

Checkliste der Lernergebnisse

Fähig sein, je nach Szenario den RAG-Korpus, die Chunk-Aufteilung und die Retrieval-Pipeline zu entwerfen
Die Anwendungsgrenzen von Vektorsuche, hybrider Suche und Re-Ranking verstehen
In der Lage sein, ein minimal nutzbares RAG-Bewertungsset und einen Mechanismus zur Fehlernachbereitung aufzubauen
Weiß, wie man mit Quellenangaben, Berechtigungstrennung und Problemen bei Wissensaktualisierungen umgeht
RAG als ein Engineering-System entwerfen, statt als einmalige Prompt-Technik