RAG-System im Vertrieb: Wie KI mit Ihren eigenen Unterlagen antwortet
Kurz gesagt: Ein RAG-System im Vertrieb arbeitet so: Eine KI durchsucht zu jeder Frage zuerst Ihre freigegebenen Unterlagen, etwa Datenblätter, Bedingungen oder frühere Angebote. Auf dieser Grundlage formuliert sie die Antwort. RAG steht für Retrieval Augmented Generation. Die Antwort nennt ihre Quellen, sodass ein Mensch sie prüfen kann, bevor etwas an Kunden geht.
Inhalt15 Abschnitte
- 01Was ist RAG? Eine Erklärung ohne Technikjargon
- 02Wie funktioniert ein RAG-System im Vertrieb konkret?
- 03Anwendungsfälle: Wo RAG im Vertrieb hilft
- 04Ein Beispiel aus dem Arbeitsalltag
- 05Grenzen: Was RAG nicht kann
- 06Datenqualität: Die Antwort ist so gut wie die Unterlage
- 07Zugriffsrechte und Datenschutz bei RAG im Vertrieb
- 08Was die Wissensbasis liefert und was der Verkäufer prüft
- 09Checkliste: Sind Sie bereit für RAG?
- 10RAG oder Fine-Tuning: Was ist der Unterschied?
- 11Wie führen Sie RAG im Vertrieb Schritt für Schritt ein?
- 12Wie messen Sie die Qualität der Antworten?
- 13So fragen Sie eine Wissensbasis richtig: Formulierungen für den Alltag
- 14Häufige Fragen
- 15Fazit
RAG im Vertrieb beschreibt eine Arbeitsweise, bei der eine KI erst in Ihren eigenen, freigegebenen Unterlagen nachschlägt und dann antwortet. Die Abkürzung steht für Retrieval Augmented Generation, sinngemäß: Antworten erzeugen, gestützt auf vorher abgerufene Quellen. Für Vertriebsleiter ist ein RAG-System wichtig, weil ein Sprachmodell ohne diese Stütze nur sein allgemeines Wissen kennt und nichts über Ihre Produkte, Bedingungen und Kunden.
Das zeigt sich im Alltag schnell. Ein Verkäufer fragt die KI nach der Lieferzeit einer Produktvariante und erhält eine flüssige, aber frei formulierte Antwort. Woher die Angabe stammt, verrät sie nicht.
Einen Überblick über Einsatzfelder, Grenzen und erste Schritte finden Sie auf der Themenseite KI im Vertrieb.
Was ist RAG? Eine Erklärung ohne Technikjargon
Stellen Sie sich eine neue Kollegin vor, die sehr gut formulieren kann, Ihr Unternehmen aber nicht kennt. Fragen Sie sie nach Ihren Zahlungsbedingungen, kann sie nur raten. Geben Sie ihr dagegen den Ordner mit den aktuellen Bedingungen und sagen: „Lies erst nach und antworte dann“, erhalten Sie eine belastbare Auskunft. Genau das leistet RAG.
Ohne RAG antwortet die KI aus dem, was sie beim Training gelernt hat. Dieses Wissen ist allgemein und endet an einem Stichtag. Mit RAG erhält sie zu jeder Frage die passenden Stellen aus Ihren Unterlagen und stützt ihre Antwort darauf. Weitere Begriffe aus diesem Umfeld erklärt das KI-Glossar für Vertriebsleiter.
Wie funktioniert ein RAG-System im Vertrieb konkret?
Der Ablauf besteht aus vier Schritten, die für den Nutzer in wenigen Sekunden ablaufen:
- Frage stellen: Der Verkäufer fragt in normaler Sprache, zum Beispiel nach den Garantiebedingungen für ein bestimmtes Produkt.
- Suchen: Das System durchsucht die freigegebenen Dokumente nach Stellen, die inhaltlich zur Frage passen. Es findet auch Passagen, die andere Wörter verwenden als die Frage.
- Antwort erzeugen: Die KI erhält die Frage zusammen mit den gefundenen Stellen und formuliert daraus eine Antwort.
- Quellen zeigen: Die Antwort verweist auf die Dokumente, aus denen sie stammt. Der Verkäufer kann nachlesen und prüfen.
Der vierte Schritt ist für den Vertrieb der wichtigste. Eine Antwort ohne Quelle ist eine Behauptung. Eine Antwort mit Quelle lässt sich in einer Minute prüfen.
Anwendungsfälle: Wo RAG im Vertrieb hilft
RAG lohnt sich überall dort, wo Wissen in vielen Dokumenten verteilt ist und oft gebraucht wird. Drei Felder stehen im Vordergrund:
- Produktwissen: Datenblätter, Preislogik, Lieferbedingungen und technische Freigaben sind schnell auffindbar. Der Verkäufer muss nicht mehr im Innendienst nachfragen, um eine einfache Auskunft zu erhalten.
- Ausschreibungen: Fragenkataloge wiederholen sich. Das System schlägt Antworten aus früheren, freigegebenen Angeboten vor und nennt die Quelle. Mehr dazu im Beitrag Ausschreibungen schneller beantworten.
- Onboarding: Neue Kolleginnen und Kollegen stellen ihre Fragen an die Wissensbasis und erhalten Antworten aus Handbuch, Playbook und Schulungsunterlagen, zu jeder Uhrzeit und ohne Scheu vor der dritten Nachfrage.
Hinzu kommen kleinere Fälle, etwa die Suche nach vergleichbaren abgeschlossenen Projekten oder nach der gültigen Fassung einer internen Regel.
Ein Beispiel aus dem Arbeitsalltag
Ein Beispiel als durchgespielte Situation: Ein Vertriebsmitarbeiter im Großhandel ist seit drei Wochen im Unternehmen. Ein Kunde fragt am Telefon, ob ein Artikel für den Einsatz im Außenbereich freigegeben ist und welche Rückgaberegel gilt. Bisher hätte er einen Rückruf zugesagt und zwei Kollegen gefragt.
Jetzt stellt er die Frage an die Wissensbasis. Das System findet das Datenblatt und die Rückgaberichtlinie, fasst beide Punkte zusammen und zeigt die Fundstellen an. Er öffnet das Datenblatt, sieht die Freigabe bestätigt und gibt dem Kunden die Auskunft noch im Gespräch. Bei der Rückgabe steht in der Quelle eine Ausnahme für Sonderanfertigungen. Die erwähnt er ausdrücklich.
Zwei Formulierungen, die in solchen Situationen helfen. Am Telefon: „Ich lese das kurz in unserem aktuellen Datenblatt nach, damit Sie eine verlässliche Auskunft bekommen.“ In der E-Mail danach: „Die Angabe stammt aus unserem gültigen Datenblatt, das ich Ihnen anhänge. Für Ihren Sonderfall kläre ich die Rückgabe mit unserer Fachabteilung und melde mich bis morgen.“
Grenzen: Was RAG nicht kann
RAG senkt das Risiko erfundener Antworten, es beseitigt es nicht. Vier Grenzen sollten Sie kennen:
- Die KI kann eine Stelle falsch zusammenfassen oder eine Einschränkung übersehen.
- Steht die Antwort in keinem Dokument, muss das System das sagen. Ist es schlecht eingestellt, füllt es die Lücke mit allgemeinem Wissen.
- Tabellen, Zeichnungen und eingescannte Seiten werden oft schlechter erfasst als Fließtext.
- RAG kennt nur, was hinterlegt ist. Wissen, das nur in den Köpfen erfahrener Kollegen steckt, findet es nicht.
Wie Sie mit erfundenen Antworten umgehen, vertieft der Beitrag über KI-Halluzinationen im Vertrieb.
Datenqualität: Die Antwort ist so gut wie die Unterlage
Die meiste Arbeit bei RAG liegt nicht in der Technik, sondern im Aufräumen. Liegen drei Fassungen einer Preisliste im Ordner, greift das System irgendeine davon. Legen Sie deshalb vor dem Start fest, welche Dokumente gelten, wer sie pflegt und wie veraltete Fassungen entfernt werden. Dasselbe Prinzip gilt für Kundendaten, wie der Beitrag zur Datenqualität im CRM zeigt. Als Faustregel, die Sie an Ihre Lage anpassen sollten: Lieber mit wenigen gepflegten Dokumenten starten als mit dem gesamten Laufwerk.
Zugriffsrechte und Datenschutz bei RAG im Vertrieb
Eine Wissensbasis macht Inhalte auffindbar, die vorher in Unterordnern verborgen waren. Das ist ihr Zweck und zugleich ihr Risiko. Kalkulationen, Verträge einzelner Kunden oder Personalunterlagen dürfen nicht für jeden abrufbar sein. Das System muss die Rechte beachten, die für die Dokumente gelten.
Klären Sie außerdem, wo die Daten verarbeitet werden und ob personenbezogene Angaben enthalten sind. Beziehen Sie Datenschutzbeauftragte, IT und Rechtsabteilung früh ein. Dieser Beitrag ersetzt keine Rechtsberatung. Die Grundsätze finden Sie im Beitrag Kundendaten und KI: fünf Regeln.
Was die Wissensbasis liefert und was der Verkäufer prüft
Ein AI Sales Consultant führt RAG für einen eng umrissenen Anwendungsfall ein, als Entlastung des Teams.
- Die KI übernimmt: passende Stellen finden, zusammenfassen, Quellen anzeigen, Entwürfe für Antworten an Kunden oder für Ausschreibungen vorschlagen.
- Beim Menschen bleibt: die Quelle prüfen, die Lage des Kunden einschätzen und entscheiden, was hinausgeht. Preise, Liefertermine, Zusagen und alles Verbindliche gibt der zuständige Verkäufer frei.
Die gesparte Suchzeit ist für Kundengespräche gedacht, ein Stellenabbau ist damit nicht verbunden. Wer weniger sucht, hat mehr Zeit für die Fragen, die im Value Based Selling den Unterschied machen.
Checkliste: Sind Sie bereit für RAG?
- Ein Anwendungsfall ist benannt, zum Beispiel Produktauskünfte für den Innendienst.
- Die gültigen Dokumente sind bestimmt, veraltete Fassungen entfernt.
- Für jedes Dokument gibt es einen Verantwortlichen, der es aktuell hält.
- Zugriffsrechte sind geprüft und im System abgebildet.
- Datenschutz, IT und Rechtsabteilung sind einbezogen.
- Das System zeigt Quellen an und sagt, wenn es nichts findet.
- Das Team weiß, dass es bei Auskünften an Kunden zuerst die Quelle öffnet.
- Sie haben zwanzig bis dreißig typische Fragen gesammelt, mit denen Sie die Antworten testen.
RAG oder Fine-Tuning: Was ist der Unterschied?
RAG gibt der KI zur Laufzeit die passenden Textstellen mit. Fine-Tuning verändert das Modell selbst durch ein Nachtraining mit eigenen Beispielen. Daneben gibt es einen dritten, einfachen Weg: Sie kopieren ein Dokument direkt in den Prompt.
| Merkmal | Dokument im Prompt | RAG | Fine-Tuning |
|---|---|---|---|
| Wissen kommt aus | dem eingefügten Text | einer durchsuchten Wissensbasis | dem nachtrainierten Modell |
| Neue Fassung einspielen | neu einfügen | Dokument austauschen | erneut trainieren |
| Quelle prüfbar | ja, Text liegt vor | ja, mit Fundstelle | in der Regel nein |
| Passt für | einzelne Dokumente | viele, wechselnde Unterlagen | festen Stil oder festes Format |
Für die typischen Fragen im Vertrieb ist die Wahl meist eindeutig. Preislisten, Bedingungen und Datenblätter ändern sich. Bei RAG tauschen Sie das Dokument aus. Die nächste Antwort stützt sich auf die neue Fassung. Ein nachtrainiertes Modell kennt die Änderung erst nach einem weiteren Training und kann nicht zeigen, woher eine Angabe stammt.
Fine-Tuning hat seinen Platz dort, wo es um Form geht: ein bestimmter Schreibstil, ein festes Ausgabeformat, eine Fachsprache. Beide Verfahren lassen sich kombinieren, für den Einstieg ist das selten nötig.
Unterschätzen Sie den einfachen Weg nicht. Wenn es um ein einzelnes Dokument geht, etwa die Unterlagen einer Ausschreibung, reicht oft das Einfügen in den Prompt mit einer genauen Anweisung. Wie eine solche Anweisung aufgebaut ist, zeigt der Beitrag Prompt im Vertrieb: Aufbau und Vorlagen.
Wie führen Sie RAG im Vertrieb Schritt für Schritt ein?
In sechs Schritten, vom kleinen Dokumentenbestand zur geprüften Erweiterung. Der häufigste Fehler ist, alle Laufwerke anzubinden und danach auf gute Antworten zu hoffen. Die umgekehrte Reihenfolge führt schneller zum Ziel.
- Fragen sammeln: Notieren Sie eine Woche lang, was Verkäufer im Innendienst, in der Technik oder bei Kollegen nachfragen. Diese Liste zeigt, welche Dokumente Sie brauchen.
- Bestand eingrenzen: Wählen Sie nur die Unterlagen, die diese Fragen beantworten. Oft sind das Datenblätter, Bedingungen und das Vertriebshandbuch. Wie ein solches Handbuch aufgebaut ist, beschreibt der Beitrag Sales Playbook erstellen.
- Soll-Antworten festlegen: Schreiben Sie zu den Testfragen die richtige Antwort und die richtige Quelle auf, bevor Sie das System fragen. Sonst haben Sie später keinen Maßstab.
- Mit kleiner Gruppe testen: Drei bis fünf Personen nutzen die Wissensbasis im Alltag und melden jede falsche oder unvollständige Antwort.
- Ursachen beheben: Ordnen Sie jede Meldung zu. Fehlt das Dokument? Ist es veraltet? Wurde die richtige Stelle nicht gefunden? Wurde sie falsch zusammengefasst?
- Erweitern: Nehmen Sie weitere Dokumente und Nutzer erst auf, wenn die Testfragen stabil richtig beantwortet werden.
Benennen Sie von Beginn an eine Person, bei der die Meldungen ankommen. In kleinen Teams ist das oft jemand aus dem Innendienst, der die Unterlagen ohnehin kennt. Ohne diese Zuständigkeit sammeln sich die Hinweise in Fluren und Chats. Die Wissensbasis wird mit der Zeit schlechter statt besser.
Wie messen Sie die Qualität der Antworten?
Mit einem festen Satz von Testfragen, den Sie nach jeder Änderung erneut durchlaufen lassen. Ein Eindruck wie „funktioniert ganz gut“ reicht nicht, wenn Verkäufer die Antworten im Kundengespräch verwenden.
Bewerten Sie jede Testantwort nach drei Kriterien:
- Inhalt richtig: Stimmt die Antwort mit der Soll-Antwort überein, einschließlich aller Einschränkungen und Ausnahmen?
- Quelle richtig: Verweist sie auf das gültige Dokument und nicht auf eine alte Fassung?
- Lücke erkannt: Sagt das System bei Fragen, zu denen nichts hinterlegt ist, dass es nichts gefunden hat?
Für das dritte Kriterium brauchen Sie Fangfragen. Nehmen Sie bewusst einige Fragen in den Test auf, deren Antwort in keinem Dokument steht. Antwortet das System trotzdem flüssig, ist es zu großzügig eingestellt.
Rechenbeispiel mit angenommenen Werten: Ihr Test umfasst 30 Fragen, davon 5 Fangfragen. Bei 21 der 25 regulären Fragen stimmen Inhalt und Quelle. Das sind 84 Prozent. Von den 5 Fangfragen beantwortet das System 4 korrekt mit „nicht gefunden“, eine beantwortet es frei. Diese eine Antwort verdient mehr Aufmerksamkeit als die Quote, denn genau solche Fälle führen zu falschen Auskünften.
Ergänzen Sie den Test um zwei Beobachtungen aus dem Alltag: wie oft die Wissensbasis genutzt wird und ob die Rückfragen an Innendienst und Technik zurückgehen. Sinkt die Nutzung, fragen Sie nach dem Grund. Meist war eine einzelne falsche Antwort der Auslöser.
So fragen Sie eine Wissensbasis richtig: Formulierungen für den Alltag
Auch mit RAG hängt die Antwort an der Frage. Eine Wissensbasis sucht nach Stellen, die inhaltlich zur Eingabe passen. Je genauer die Frage den Fall beschreibt, desto treffender sind die Fundstellen.
Vier Gewohnheiten helfen:
- Den Fall nennen: Statt „Wie ist die Rückgabe geregelt?“ besser „Welche Rückgaberegel gilt für Sonderanfertigungen bei Bestandskunden?“
- Eine Frage je Eingabe: Lieferzeit, Garantie und Mindestmenge einzeln abfragen. Sammelfragen führen zu lückenhaften Antworten.
- Nach der Fassung fragen: „Aus welchem Dokument und von welchem Stand stammt diese Angabe?“
- Ausnahmen abfragen: „Gibt es in den Unterlagen Einschränkungen oder Ausnahmen zu dieser Regel?“
Für die Arbeit an Ausschreibungen eignet sich eine Formulierung wie diese: „Suche in den freigegebenen Antworten früherer Angebote nach Aussagen zu unserer Zertifizierung. Zitiere die Stelle wörtlich und nenne das Dokument. Wenn du nichts findest, schreibe: nicht hinterlegt.“
Wörtliche Zitate sind bei verbindlichen Themen sicherer als Zusammenfassungen. Bei einer Zusammenfassung kann eine Einschränkung verloren gehen. Ein Zitat lässt sich mit dem Original vergleichen.
Vereinbaren Sie im Team außerdem eine Regel für den Umgang mit dem Ergebnis: Auskünfte zu Preisen, Fristen und Zusagen gehen erst an den Kunden, wenn die Quelle geöffnet und gelesen wurde. Für Alltagsfragen, etwa wo eine Vorlage liegt, genügt die Antwort selbst. So bleibt die Prüfung dort gründlich, wo ein Fehler teuer wäre. Bei Kleinigkeiten bremst sie nicht.
Häufige Fragen
Was bedeutet RAG einfach erklärt?
RAG steht für Retrieval Augmented Generation. Die KI sucht zu einer Frage erst passende Stellen in hinterlegten Dokumenten und formuliert ihre Antwort auf dieser Grundlage. So antwortet sie mit Ihrem Wissen und nicht nur mit allgemeinem.
Verhindert RAG, dass die KI falsche Antworten gibt?
RAG verringert das Risiko deutlich, schließt Fehler aber nicht aus. Die KI kann Stellen falsch zusammenfassen oder veraltete Dokumente verwenden. Deshalb gehören Quellenanzeige und das Nachlesen in der Quelle dazu.
Wird die KI bei RAG mit unseren Daten trainiert?
Bei RAG werden die Dokumente zur Laufzeit durchsucht und der KI als Kontext mitgegeben. Das ist etwas anderes als ein Training des Modells. Wie ein Anbieter mit Ihren Daten umgeht, regelt der Vertrag, den Sie mit IT und Rechtsabteilung prüfen sollten.
Welche Dokumente eignen sich für RAG im Vertrieb?
Geeignet sind gepflegte, eindeutige Unterlagen wie Datenblätter, Bedingungen, Playbooks, Schulungsunterlagen und freigegebene Antworten aus früheren Ausschreibungen. Ungeeignet sind Entwürfe, doppelte Fassungen und Dokumente ohne Verantwortlichen.
Was ist der Unterschied zwischen RAG und einer normalen Dokumentensuche?
Eine Dokumentensuche liefert eine Liste von Dateien, in denen Sie selbst nachlesen. RAG liefert eine ausformulierte Antwort auf Ihre Frage und nennt die Fundstellen dazu. Außerdem findet RAG auch Passagen, die andere Wörter verwenden als die Frage. Das Nachlesen in der Quelle bleibt bei verbindlichen Auskünften trotzdem Pflicht.
Braucht man für RAG im Vertrieb eine eigene Software?
Nicht unbedingt. Entscheidend ist, ob ein vorhandenes Werkzeug Ihre Dokumente durchsuchen kann, Quellen anzeigt und Zugriffsrechte beachtet. Prüfen Sie das an Ihren eigenen Testfragen und nicht an der Vorführung des Anbieters. Wann ein eigenes Werkzeug die bessere Wahl ist, behandelt der Beitrag KI-Werkzeug oder Standardsoftware.
Fazit
RAG macht aus einer allgemeinen KI ein Werkzeug, das mit Ihrem eigenen Wissen arbeitet und seine Quellen nennt. Der Nutzen entsteht dort, wo Ihr Team heute sucht, nachfragt und wartet. Die Voraussetzung sind gepflegte Unterlagen und geregelte Zugriffsrechte. Wer eine Auskunft an Kunden weitergibt, liest vorher die Fundstelle. Für den Anfang genügen ein Anwendungsfall und die zwanzig Fragen, die Ihr Team am häufigsten stellt. Mit dem Vertriebs-Zeitcheck schätzen Sie ab, wie viel Zeit die Suche heute bindet.
Mehr zum Thema: alle Beiträge zu KI im Vertrieb im Überblick →