Die meisten Unternehmen, die nach generativer KI fragen, wollen kein neues Produkt. Sie wollen, dass das CRM, das Kundenportal oder das interne Werkzeug, das sie bereits nutzen, etwas besser entwirft, zusammenfasst, sortiert oder sucht.
Das ist ein vernünftiges Ziel und meist ein kleineres Projekt als befürchtet. Das Risiko liegt woanders: eine Funktion, die Daten abfließen lässt, mehr kostet als sie spart oder vor einem Kunden selbstbewusst etwas Falsches schreibt.
Dieser Leitfaden behandelt die Entscheidungen, die diese Risiken klein halten. Er richtet sich an die Person, die das Projekt freigibt, nicht an die Entwickler, und stützt sich auf die KI-Funktionen, die wir in unseren eigenen Produkten im Produktivbetrieb einsetzen.
1. Wählen Sie für den Start genau eine eng umrissene Aufgabe
„KI ins CRM bringen“ ist kein Anwendungsfall. „Eine Antwort an einen neuen Interessenten aus den Angaben entwerfen, die schon im Datensatz stehen“ schon. Ebenso „ein langes Support-Ticket zusammenfassen, bevor ein Mitarbeiter es öffnet“ oder „Rechnungsnummer, Datum und Betrag aus einer hochgeladenen PDF-Rechnung auslesen“.
Eine gute erste Aufgabe hat drei Vorteile. Jemand erledigt sie heute von Hand, Sie wissen also, wie ein gutes Ergebnis aussieht. Fehler lassen sich günstig abfangen, bevor sie einen Kunden erreichen. Und sie kommt oft genug vor, dass sich ein paar gesparte Minuten pro Fall summieren.
Widerstehen Sie der Versuchung, am ersten Tag ein allgemeines Chatfenster freizuschalten. Ein offenes Eingabefeld lädt zu Fragen ein, auf die das System nie vorbereitet wurde, und es ist viel schwerer zu testen als eine Funktion mit einer Eingabe und einem erwarteten Ergebnis.
Für Führungskräfte: Formulieren Sie den ersten Anwendungsfall in einem Satz mit klarer Eingabe und klarem Ergebnis. Gelingt das nicht, ist er noch nicht reif für die Umsetzung.
2. Legen Sie fest, wohin Daten dürfen, bevor Sie ein Modell wählen
Jede Anfrage an ein Sprachmodell schickt einen Teil Ihrer Daten an den Betreiber dieses Modells. Die erste Frage lautet deshalb: welcher Anbieter, in welcher Region, unter welchem Vertrag?
Die gängigen Optionen sind unterschiedlich aufgebaut. Amazon Bedrock stellt Modelle mehrerer Hersteller innerhalb Ihres AWS-Kontos bereit, in der Region Ihrer Wahl. Azure OpenAI Service bietet die Modelle von OpenAI innerhalb von Microsoft Azure an, mit eigenen regionalen Bereitstellungen und Unternehmensbedingungen. Die OpenAI-API direkt ist oft der schnellste Einstieg. Jede dieser Optionen kann die richtige sein. Entscheidend ist, die Bedingungen zur Datennutzung und Speicherdauer zu lesen, zu prüfen, ob das gewünschte Modell in der benötigten Region angeboten wird, und zu klären, ob Sie den Vertrag unterzeichnen können, den Ihre Branche verlangt, in Europa etwa einen Auftragsverarbeitungsvertrag nach DSGVO.
Als wir Notermed, unseren KI-Scribe für Arztpraxen, wegen einer HIPAA-Anforderung auf Amazon Bedrock umgezogen haben, lag die eigentliche Arbeit nicht im Modellwechsel. Sie lag darin, es unmöglich zu machen, dass Patientendaten die freigegebene Grenze verlassen. Die Anwendung startet heute nicht, wenn jemand sie auf einen nicht freigegebenen Anbieter richtet.
Für Führungskräfte: Halten Sie die Datenregel zuerst schriftlich fest (welche Daten, welcher Anbieter, welche Region) und fragen Sie Ihr Team, wie der Code sie durchsetzt.
3. Behalten Sie einen Menschen in der Schleife und bauen Sie die Oberfläche dafür
In der ersten Version bereitet die KI vor, und ein Mensch entscheidet. In Notermed entwirft die KI die klinische Notiz, die Ärztin oder der Arzt prüft und unterschreibt sie. In AgentlyLeads, unserem eigenen CRM, kann der Assistent eine E-Mail entwerfen, aber nichts davon wird ohne menschliche Freigabe versendet.
Das funktioniert nur, wenn die Prüfung leichtfällt. Zeigen Sie den Entwurf neben der Quelle, aus der er stammt. Machen Sie Korrekturen mit einem Klick möglich. Markieren Sie Felder, bei denen die KI unsicher war, statt sie zu verstecken. Dauert das Prüfen länger als das Selberschreiben, hören die Leute entweder auf, die Funktion zu nutzen, oder sie hören auf zu prüfen. Das Zweite ist schlimmer.
Hilfreich ist auch, früh festzulegen, was die KI nie tun darf. In einer medizinischen Notiz heißt das: nie eine Diagnose raten und nie Befunde ergänzen, die niemand erwähnt hat. Ihre Liste sieht anders aus, aber Sie sollten eine haben.
Für Führungskräfte: Lassen Sie sich die Prüfansicht schon in der ersten Demo zeigen. Wie schnell jemand einen Entwurf freigeben oder korrigieren kann, entscheidet über die Nutzung.
4. Testen Sie mit Ihren echten Dokumenten, bevor sich jemand darauf verlässt
Saubere Beispieldaten verdecken Probleme. Echte Eingaben kommen als eingescannte PDFs, weitergeleitete E-Mail-Verläufe, Tabellen mit verbundenen Zellen und in Eile getippte Notizen. Als wir Notermed mit echten Uploads getestet haben, scheiterten manche Dateien schlicht, weil sie die Eingabegrenze des Modells überschritten. Saubere Testdateien hätten das nie gezeigt.
Sammeln Sie vor dem Start echte Beispiele, wo nötig anonymisiert, und halten Sie für jedes fest, wie eine richtige Antwort aussieht. Lassen Sie jede Version der Funktion gegen diesen Bestand laufen. Ändert jemand die Anweisungen oder tauscht das Modell, zeigt derselbe Bestand, ob die Qualität gestiegen oder gesunken ist, bevor ein Kunde es merkt.
Für Führungskräfte: Verlangen Sie einen Testbestand aus Ihren eigenen Daten und lassen Sie sich die Ergebnisse bei jeder Änderung an Anweisungen oder Modell zeigen.
5. Setzen Sie jeder Anfrage eine Kostengrenze
Sprachmodelle werden danach abgerechnet, wie viel Text hinein- und herausgeht. Eine Funktion, die in der Demo günstig wirkt, kann teuer werden, sobald sie jede Nacht für jeden Datensatz und jeden Kunden läuft. Lange Dokumente und Chatverläufe, die immer weiter wachsen, sind die üblichen Verdächtigen.
Die Abhilfe liegt meist im Entwurf. Schicken Sie dem Modell nur den Teil des Datensatzes, den es braucht. Nutzen Sie das kleinste Modell, das Ihren Testbestand besteht. Speichern Sie Antworten zwischen, die sich nicht ändern. Legen Sie ein Monatsbudget pro Funktion und ein Nutzungslimit pro Kunde fest, damit ein einzelnes großes Konto nicht das ganze Budget aufbraucht.
Für Führungskräfte: Fragen Sie, was eine Anfrage ungefähr kostet und was passiert, wenn ein einzelner Kunde die Funktion zehnmal öfter nutzt als erwartet.
6. Protokollieren, hinter einem Schalter ausrollen, Rückweg offenhalten
Sie werden wissen wollen, was gesendet wurde, welches Modell geantwortet hat, wie lange es dauerte und was der Nutzer mit dem Ergebnis gemacht hat. Mit diesem Protokoll klären Sie Beschwerden, verfolgen die Ausgaben und zeigen einem Prüfer, was passiert ist. Achten Sie aber auf den Inhalt: Enthalten die Eingaben personenbezogene Daten, braucht das Protokoll denselben Schutz wie das Quellsystem.
Rollen Sie die Funktion hinter einem Feature-Flag aus. Zuerst für interne Nutzer, dann für eine kleine Kundengruppe, dann für alle. Geht etwas schief, schalten Sie sie ohne neues Deployment ab. Behandeln Sie Modellwechsel genauso. Als Notermed das Modell wechselte, haben wir den Dokumentenindex in einem neuen Speicher aufgebaut und den alten behalten, um in Minuten zurückwechseln zu können.
Für Führungskräfte: Lassen Sie sich vor dem Start zeigen, wie Ihr Team die KI-Funktion für einen einzelnen Kunden abschaltet und wie lange das dauert.
7. Legen Sie vor dem Start fest, woran Sie Erfolg messen
Wählen Sie einige Kennzahlen, die direkt an die Aufgabe aus Abschnitt 1 anknüpfen. Wie oft übernehmen Nutzer den Entwurf unverändert, wie oft bearbeiten oder verwerfen sie ihn? Wie lange dauert die Aufgabe jetzt im Vergleich zu vorher? Was kostet die Funktion pro Monat und pro Nutzung? Wie oft muss ein Prüfer einen inhaltlichen Fehler korrigieren?
Messen Sie den manuellen Ausgangswert, bevor die Funktion live geht, sonst fehlt Ihnen der Vergleich. Schauen Sie sich die Zahlen nach einigen Wochen erneut an. Eine Funktion, die still und leise niemand mehr nutzt, sagt Ihnen etwas, auch wenn sich keiner beschwert.
Für Führungskräfte: Einigen Sie sich vorab auf zwei oder drei Kennzahlen und einen Ausgangswert. Ohne sie kann die KI-Funktion nicht belegen, dass sie ihr Geld wert ist.
Kurz gesagt
Generative KI in bestehende Software zu bringen, gelingt am besten als enge, umkehrbare Änderung: eine Aufgabe, eine schriftliche Datengrenze, ein Mensch, der das Ergebnis freigibt, Tests mit echten Dokumenten, eine Kostengrenze und ein Schalter zum Abschalten. Stimmt das alles, wird die Wahl des Modells zu einer der leichteren Entscheidungen im Projekt.