Kapitel 6
RAG Retrieval-Augmented Generation
Retrieval-Augmented Generation (RAG) löst durch externe Wissensdatenbanken und Kontextinjektion die Probleme der Wissensaktualisierung, Erklärbarkeit und Kosten großer Modelle und ist die gängige Architektur für Unternehmensanwendungen.
Funktionsweise von RAG
RAG durchsucht externe Wissensdatenbanken und speist relevante Informationen in den Generierungsprozess ein, wodurch wissensgestützte Generierung ermöglicht wird.
Vollständiger Arbeitsablauf
1
Abfrageverständnis: Die Absicht und Bedürfnisse hinter Benutzeranfragen verstehen
2
Vektorisierung：Abfragen in Vektordarstellungen (Embedding) umwandeln
3
Suche: Ähnliche Dokumente in einer Vektordatenbank abrufen
4
Kontextinjektion: die abgerufenen Dokumente als Kontext in den Prompt einspeisen
5
Generieren：Antworten auf Basis des erweiterten Kontexts generieren
Kernkomponenten
- • Vektordatenbank：Vektordarstellungen von Dokumenten speichern (z. B. Pinecone, Weaviate, Milvus)
- • Embedding-Modell: Text in Vektoren umwandeln (z. B. OpenAI Embeddings, BGE)
- • Retriever：Ähnlichkeitssuche ausführen (Vektorsuche, Stichwortsuche, hybride Suche)
- • Generatives Modell: Antworten basierend auf Suchergebnissen generieren (z. B. GPT-4, Claude)
Vorteile von RAG
RAG löst ein zentrales Problem großer Modelle und macht sie besser für Unternehmensanwendungen geeignet.
Wissensaktualisierung
- • Echtzeit-Updates: Die Wissensdatenbank kann jederzeit aktualisiert werden, ohne das Modell neu zu trainieren
- • Domänenwissen：Fachwissen aus einem bestimmten Bereich kann eingebracht werden
- • Aktualität: Kann auf die neuesten Informationen zugreifen
- • Flexibilität: unterschiedliche Abfragen können unterschiedliche Wissensdatenbanken verwenden
Erklärbarkeit
- • Quellenverfolgung: kann bis zum Quelldokument der Antwort zurückverfolgt werden
- • Transparenz: Benutzer können die abgerufenen Dokumente ansehen
- • Vertrauenswürdigkeit: Sie können die Glaubwürdigkeit von Informationsquellen bewerten
- • Audit：Praktisch für Prüfung und Compliance
Kosteneffizienz
- • Kein Fine-Tuning erforderlich: keine Notwendigkeit, Modelle für jeden Bereich feinabzustimmen
- • Wissensdatenbank-Wiederverwendung: Dieselbe Wissensdatenbank kann mehrere Anwendungen bedienen
- • Kostenkontrolle: geringere Kosten im Vergleich zum Fine-Tuning
- • Schnelle Bereitstellung: kann neue Anwendungen schnell bereitstellen
Halluzinationen reduzieren
- • Faktenbasis：Auf Grundlage der abgerufenen Dokumente generieren, um Halluzinationen zu reduzieren
- • Genauigkeit：die Genauigkeit der Antworten verbessern
- • Zuverlässigkeit: Besser geeignet für Szenarien, die genaue Informationen erfordern
- • Qualitätskontrolle: Die Antwortqualität kann durch Qualitätskontrolle der Wissensdatenbank gesteuert werden
Herausforderungen von RAG
RAG ist zwar leistungsstark, steht aber auch vor einigen Herausforderungen, die gelöst werden müssen.
Hängt von der Abrufqualität ab
Die Wirksamkeit von RAG hängt stark von der Abrufqualität ab:
- • Abrufgenauigkeit：Wenn relevante Dokumente nicht abgerufen werden können, führt das zu falschen Antworten
- • Abrufrelevanz：Das Abrufen irrelevanter Dokumente beeinträchtigt die Generierungsqualität
- • Dokumentationsqualität：Die Qualität der Wissensdatenbank beeinflusst direkt die Wirksamkeit von RAG
- • Optimierungsrichtungen: Abrufalgorithmen verbessern, die Dokumentsegmentierung optimieren und hybride Suche verwenden
Latenzprobleme
- • Abruflatenz：Vektorsuche benötigt Zeit
- • Generierungslatenz: Generative Modelle müssen längere Kontexte verarbeiten
- • Gesamtlatenz: Die Gesamtlatenz von RAG ist höher als die der direkten Generierung
- • Optimierung：Caching, asynchrone Abruf, Optimierung von Abrufalgorithmen
Kontextlimit
- • Kontextfenster: Modelle haben Begrenzungen der Kontextlänge
- • Dokumentenauswahl: Aus einer großen Anzahl von Suchergebnissen müssen die relevantesten ausgewählt werden
- • Informationskomprimierung：Abgerufene Dokumente müssen möglicherweise komprimiert oder zusammengefasst werden
- • Lösung：Reranking, Dokumentzusammenfassung, hierarchische Suche
Best Practices für RAG
Wichtige Vorgehensweisen zum Aufbau hochwertiger RAG-Systeme.
Auswahl der Vektordatenbank
Pinecone
Gehosteter Dienst, einfach zu verwenden, geeignet für schnelles Prototyping
Weaviate
Open Source, funktionsreich, unterstützt hybride Suche
Milvus
Hohe Leistung, geeignet für groß angelegte Bereitstellungen
Chroma
Leichtgewichtig und einfach zu integrieren
Abrufstrategie
- • Vektorsuche：Basierend auf semantischer Ähnlichkeit, geeignet für semantische Suchen
- • Schlüsselwortsuche: Basierend auf Schlüsselwortabgleich, geeignet für exakte Treffer
- • Hybride Suche: Die Kombination aus Vektorsuche und Stichwortsuche erzielt bessere Ergebnisse
- • Neuordnung：Ein Re-Ranking-Modell verwenden, um Suchergebnisse zu optimieren
Dokumentenverarbeitung
- • Chunking-Strategie：Angemessen aufteilen und die semantische Integrität bewahren
- • Metadaten: Metadaten hinzufügen (Quelle, Zeit, Typ usw.)
- • Vorverarbeitung：bereinigen, standardisieren, deduplizieren
- • Aktualisierungsmechanismus: Einen Mechanismus für Dokumentaktualisierungen und Versionsverwaltung einrichten
Prompt Engineering
- • Kontextorganisation：abgerufene Dokumente angemessen organisieren
- • Klare Anweisungen：Demonstrieren Sie klar, wie das Modell die abgerufenen Informationen verwenden soll
- • Zitieranforderungen: Das Modell muss Quellen zitieren
- • Qualitätskontrolle: Qualitätskontrollanweisungen hinzufügen (z. B. „Wenn die Informationen unzureichend sind, bitte dies angeben“)
RAG vs. Feinabstimmung: Wie wählen?
Die geeigneten Einsatzszenarien für RAG und Fine-Tuning verstehen und die richtige Wahl treffen.
Szenarien für die Wahl von RAG
- • Wissensaktualisierungen erfolgen häufig：Wissen muss häufig aktualisiert werden
- • Anwendungen in mehreren Bereichen: Es müssen mehrere Bereiche behandelt werden
- • Anforderungen an die Interpretierbarkeit: Die Quelle der Antwort muss nachvollzogen werden
- • Schnelle Bereitstellung：Neue Anwendungen schnell bereitstellen müssen
- • Kostenkontrolle: Kosten müssen kontrolliert werden
Szenarien für die Auswahl des Fine-Tunings
- • Aufgabenspezifisch: man muss bestimmte Aufgabenmuster lernen
- • Stilanpassung：Muss sich an einen bestimmten Ausgabestil anpassen
- • Leistungsoptimierung：Die Leistung muss für bestimmte Aufgaben optimiert werden
- • Wissensverfestigung: Wissen ist relativ stabil und muss nicht häufig aktualisiert werden
- • Latenzempfindlich: extrem hohe Latenzanforderungen
Hybrider Ansatz
In der Praxis können RAG und Fine-Tuning zusammen verwendet werden: Mit Fine-Tuning werden die grundlegenden Fähigkeiten optimiert, und mit RAG wird Domänenwissen eingebracht.
Lernergebnisse
Nach Abschluss dieses Kapitels werden Sie:
- 1Den vollständigen RAG-Workflow (Abruf→Erweiterung→Generierung) und die Kernkomponenten verstehen
- 2Die Vorteile von RAG (Wissensaktualisierung, Interpretierbarkeit, Kosteneffizienz) und die Herausforderungen (Abrufqualität, Latenz, Kontextbeschränkungen) verstehen
- 3Die Best Practices für RAG verstehen (Auswahl der Vektordatenbank, Abrufstrategien, Dokumentverarbeitung, Prompt-Engineering)
- 4In der Lage sein, die Wahl zwischen RAG und Fine-Tuning zu bewerten und je nach Situation die richtigen Architekturentscheidungen zu treffen