Früher oder später stößt jedes Unternehmen, das mit generativer KI arbeitet, an dieselbe Grenze. Ein allgemeines Modell schreibt flüssige Texte, kennt aber weder Ihre Produkte noch Ihre Richtlinien noch die Preisänderung von letzter Woche. Dann schlägt jemand im Team einen von zwei Wegen vor: „Wir sollten RAG nutzen“ oder „Wir sollten ein Modell feintunen“.
Beides sind echte Verfahren, und sie lösen unterschiedliche Probleme. Wer das falsche wählt, bezahlt meist für den schwierigeren Weg und bekommt trotzdem nicht die Antworten, die er wollte.
Dieser Leitfaden erklärt beide Ansätze verständlich, zeigt, wo welcher passt, und behandelt die Fragen zu Kosten, Pflege und Datenschutz, die eine Führungskraft vor der Freigabe stellen sollte.
1. Retrieval-Augmented Generation in einem Absatz
Bei Retrieval-Augmented Generation (RAG) bleibt das Modell, wie es ist. Es bekommt aber bei jeder Frage das passende Material mitgeliefert. Ihre Dokumente werden in Abschnitte zerlegt und so indexiert, dass man sie nach Bedeutung durchsuchen kann, nicht nur nach Stichworten. Stellt jemand eine Frage, sucht das System die relevantesten Abschnitte heraus, gibt sie zusammen mit der Frage an das Modell und lässt es auf dieser Grundlage antworten.
Man kann es sich wie eine Prüfung mit offenem Buch vorstellen. Das Modell bringt die Sprachfähigkeit mit, Ihre Dokumente liefern die Fakten. Weil die Antwort aus konkreten Abschnitten entsteht, kann das System zeigen, aus welchem Dokument welcher Teil stammt.
Unser KI-Scribe für Arztpraxen, Notermed, arbeitet so, wenn er Fragen aus den Leitlinien, Formularen und Abläufen einer Praxis beantwortet.
Für Führungskräfte: RAG gibt einem Modell Zugriff auf Ihre Informationen, ohne das Modell selbst zu verändern.
2. Fine-Tuning in einem Absatz
Fine-Tuning verändert das Modell. Man nimmt ein bestehendes Modell und trainiert es mit einer Reihe von Beispielen weiter, meist Paaren aus „das ist die Eingabe“ und „das ist das gewünschte Ergebnis“. Danach neigt das Modell dazu, Ergebnisse zu liefern, die Ihren Beispielen ähneln, ohne dass man sie ihm jedes Mal zeigen muss.
Ist RAG die Prüfung mit offenem Buch, dann ist Fine-Tuning ein Training. Es prägt, wie das Modell schreibt und sich verhält. Um ihm Fakten beizubringen, die sich ändern, taugt es wenig, denn was es gelernt hat, bleibt auf dem Stand vom Ende des Trainings.
Für Führungskräfte: Fine-Tuning verändert das Verhalten eines Modells. Um es bei Fakten aktuell zu halten, ist es kein verlässlicher Weg.
3. Wann Retrieval besser passt
Setzen Sie auf Retrieval, wenn die Antworten von Fakten abhängen, die in Ihren Dokumenten stehen und sich ändern: Produktkataloge, Richtlinien, Verträge, Support-Artikel, interne Abläufe. Sie aktualisieren ein Dokument, indexieren es neu, und die nächste Antwort berücksichtigt die Änderung. Ein neues Training ist dafür nicht nötig.
Retrieval ist auch die naheliegende Wahl, wenn Menschen die Antwort überprüfen müssen. In regulierten Bereichen, oder überall dort, wo eine falsche Antwort Folgen hat, zählt der Satz „Das steht in Abschnitt 4 der Richtlinie von 2026“ mehr als eine elegante Formulierung.
Außerdem lassen sich Berechtigungen gut abbilden. Die Suche kann auf die Dokumente beschränkt werden, die ein Nutzer, ein Team oder ein Kunde sehen darf. Als wir die Dokumentensuche in Notermed gebaut haben, musste die Suche jeder Praxis in deren eigenen Dokumenten bleiben, und diese Einschränkung musste in der KI-Suche selbst greifen, nicht nur in der Datenbank.
Für Führungskräfte: Beginnt Ihre Frage mit „Was steht in unseren Unterlagen zu…“, haben Sie ein Retrieval-Problem.
4. Wann sich Fine-Tuning lohnt
Fine-Tuning ist sinnvoll, wenn es um gleichbleibende Form geht und nicht um fehlendes Wissen. Einige Beispiele: Die Ausgabe muss jedes Mal einer strengen Struktur folgen, der Ton muss einem Hausstil entsprechen, der sich schwer in Anweisungen fassen lässt, oder eine eng umrissene Klassifizierung soll in großer Menge auf einem kleineren, günstigeren Modell laufen.
Es kann sich auch lohnen, wenn Sie sorgfältige Anweisungen mit guten Beispielen schon ausprobiert haben und das Modell trotzdem abweicht. Diese letzte Bedingung ist wichtig. Aktuelle Modelle folgen ausführlichen Anweisungen gut, und vieles, wofür man früher Fine-Tuning brauchte, lässt sich heute mit einer klaren Anweisung und einigen Beispielen erreichen.
Beide Ansätze lassen sich auch kombinieren. Ein System kann aktuelle Fakten abrufen und an ein Modell übergeben, das auf das gewünschte Format feingetunt wurde. Für die meisten Unternehmen ist das ein späterer Schritt, kein Ausgangspunkt.
Für Führungskräfte: Ziehen Sie Fine-Tuning in Betracht, wenn sich das Modell anders verhalten soll, und erst, nachdem gute Anweisungen eine faire Chance hatten.
5. Was Aufbau und Pflege jeweils kosten
Retrieval verlangt Vorarbeit an Ihren Dokumenten: bereinigen, in sinnvolle Abschnitte teilen, festlegen, was indexiert wird, und prüfen, ob die richtigen Abschnitte zurückkommen. Die laufenden Kosten steigen mit der Zahl der Fragen, weil jede Antwort zusätzlichen Text an das Modell schickt. Zur Pflege gehört, den Index mit Ihren Dokumenten synchron zu halten.
Fine-Tuning verlangt einen Bestand an hochwertigen Beispielen, die jemand schreiben oder auswählen muss, dazu das Training selbst und den Betrieb eines eigenen Modells. Unterschätzt wird meist die Pflege. Ändert sich Ihr Styleguide oder stellt der Anbieter das Basismodell ein, müssen die Beispiele überarbeitet und das Training oft wiederholt werden.
Auch Retrieval kennt dieses Problem. Der Suchindex hängt vom Modell ab, das ihn erzeugt hat, ein Modellwechsel bedeutet also, die Dokumente neu zu indexieren. Genau das haben wir getan, als Notermed auf Amazon Bedrock umgezogen ist, in einen neuen Speicher, während der alte für einen Rollback erhalten blieb. Das ist beherrschbar, gehört aber in den Plan.
Für Führungskräfte: Fragen Sie nach den Kosten im zweiten Jahr, nicht nur nach der Entwicklung. Dort unterscheiden sich die beiden Ansätze am stärksten.
6. Was mit Ihren Daten geschieht
Bei Retrieval bleiben Ihre Dokumente in einem Speicher, den Sie kontrollieren. Nur die für eine Frage relevanten Abschnitte gehen an das Modell, unter dem Vertrag, den Sie mit dem Anbieter haben. Muss ein Dokument entfernt werden, löschen Sie es aus dem Index, und es taucht in keiner Antwort mehr auf.
Beim Fine-Tuning werden Ihre Beispiele Teil der Modellgewichte. Einen einzelnen Datensatz später wieder herauszuholen, ist praktisch nicht möglich, und jeder, der das Modell nutzt, kann Ergebnisse erhalten, die von Daten geprägt sind, die er nie sehen sollte. Enthalten Ihre Trainingsbeispiele personenbezogene oder vertrauliche Daten, braucht es vor dem Training eine sorgfältige Prüfung, unter der DSGVO etwa mit Blick auf das Recht auf Löschung, und womöglich einen anderen Ansatz.
In beiden Fällen gelten die üblichen Fragen: welcher Anbieter, welche Region, was der Anbieter mit Ihren Daten tun darf und welchen Vertrag Sie abschließen können. In Kanada gehören PIPEDA und die Regeln Ihrer Branche dazu, in Europa die DSGVO.
Für Führungskräfte: Wenn Sie eine Information später vielleicht löschen oder einschränken müssen, halten Sie sie aus den Trainingsdaten heraus und stellen Sie sie über Retrieval bereit.
7. Warum die meisten Projekte mit Retrieval und guten Anweisungen beginnen
Die meisten ersten Anfragen aus Unternehmen drehen sich darum, aus den eigenen Informationen zu antworten, und genau dafür wurde Retrieval entwickelt. Es ist schneller aufgesetzt und leichter zu aktualisieren, zu prüfen und rückgängig zu machen. Klare Anweisungen, einige Beispiele in der Anfrage und die Vorgabe, nur aus dem abgerufenen Material zu antworten, decken einen großen Teil dessen ab, was Unternehmen brauchen.
Fangen Sie dort an, testen Sie mit einer Reihe echter Fragen, deren richtige Antworten Sie kennen, und messen Sie, wo es hakt. Liegen die Lücken bei fehlenden oder veralteten Fakten, verbessern Sie Dokumente und Suche. Stimmen die Fakten, aber Form oder Ton passen immer wieder nicht, ist das der Zeitpunkt, Fine-Tuning zu prüfen, mit echten Belegen als Begründung.
Für Führungskräfte: Lassen Sie sich vor der Freigabe eines Fine-Tuning-Budgets zeigen, wo Retrieval und gute Anweisungen bei echten Fragen an ihre Grenzen stoßen.
Kurz gesagt
RAG gibt dem Modell Ihre Fakten im Moment der Antwort. Fine-Tuning verändert, wie sich das Modell verhält. Für wechselnde Informationen, Quellenangaben und Zugriffsrechte je Nutzer passt Retrieval besser und ist leichter zu pflegen und zu schützen. Fine-Tuning lohnt sich für gleichbleibendes Format, einen festen Ton oder eng umrissene Aufgaben in großer Menge, sobald gute Anweisungen ausprobiert wurden. Die meisten Geschäftsprojekte sollten mit Retrieval beginnen.