KI-Integration · LLM-Funktionen für bestehende Software

KI in die Software bringen, die Sie bereits betreiben, ohne das Produkt aufs Spiel zu setzen.

Die meisten Unternehmen brauchen kein neues KI-Produkt. Sie brauchen ein bestehendes System, das zusammenfasst, klassifiziert, entwirft, sucht oder extrahiert. Die KI-Integration von CS2 bringt LLM-Funktionen in ein bestehendes Produkt oder internes System für Unternehmen in Kanada, den USA und im deutschsprachigen Raum, hinter einer Anbieterabstraktion, mit Datenschutzgrenzen, Kosten- und Latenzbudgets und einem Rollout, den Sie in einer Minute abschalten können.

Laufende KI-Produkte
3
Laufende REST-Endpunkte
130+
Jahre am Backend eines Tier-1-Telekommunikationsanbieters
10
Wann Sie das brauchen

Wenn der richtige Schritt ist, KI hinzuzufügen statt neu anzufangen

Ihr Produkt funktioniert, und Kunden wollen KI darin

Zusammenfassungen, intelligente Suche, vorformulierte Antworten. Die Funktionsliste ist klar. Die Frage ist, wie man sie hinzufügt, ohne das zu destabilisieren, was sich bereits verkauft.

Ein interner Prozess ertrinkt in Dokumenten

Rechnungen, Schadensmeldungen, Anträge, Support-Tickets. Jemand liest jedes einzelne und tippt es in ein System. Ein LLM kann den ersten Durchgang übernehmen, wenn die Ausgabe strukturiert und geprüft ist.

Ihre erste KI-Funktion hängt an einem einzigen Anbieter

Der Anbieter hat die Preise geändert, oder die Compliance verlangt jetzt einen anderen. Sie brauchen eine Abstraktionsschicht und einen sicheren Weg zum Wechsel.

Latenz oder Kosten haben den Piloten beendet

Die Funktion lief, brauchte aber zu lange oder kostete mehr, als sie einsparte. Der echte Betrieb braucht für beides ein Budget, festgelegt je Funktion.

Ihre Daten müssen innerhalb einer Grenze bleiben

Gesundheits-, Finanz- oder personenbezogene Daten dürfen nur zu Anbietern gelangen, die durch die passende Vereinbarung abgedeckt sind. Die Integration muss das im Code durchsetzen, nicht nur in einer Richtlinie.

Was wir tun

KI-Integration, gebaut, um gemessen und zurückgenommen werden zu können

Anbieterabstraktion und Anbieterwechsel

Eine Schnittstelle für die Modellschicht, sodass AWS Bedrock, OpenAI, Anthropic oder ein selbst gehostetes offenes Modell per Konfiguration getauscht werden können. Notermed haben wir auf diesem Weg vollständig von OpenAI auf Bedrock umgestellt.

Datenschutzgrenzen

Regeln, welche Daten zu welchem Anbieter gelangen dürfen, im Code durchgesetzt. Wo die Compliance es verlangt, startet die Anwendung nicht, wenn ein nicht freigegebener Anbieter konfiguriert ist.

Latenz- und Kostenbudgets

Jede Funktion erhält ein Antwortzeitziel und ein monatliches Ausgabenbudget. Wir wählen das kleinste Modell, das den Testsatz besteht, cachen stabile Antworten und begrenzen die Nutzung je Kunde.

Rollout per Feature-Flag

KI-Funktionen werden abgeschaltet ausgeliefert, erreichen zuerst eine kleine Gruppe und lassen sich je Kunde ohne Deployment abschalten. Jede Anpassung fällt bei einem Fehler auf das Standardverhalten zurück.

Qualitätsmessung

Ein Evaluationsdatensatz aus Ihren echten Eingaben, bewertet bei jeder Prompt- und Modelländerung. Sie sehen Qualität als Zahl, bevor Kunden irgendetwas bemerken.

Suche in Ihren eigenen Daten

Fragen und Antworten über Ihre Dokumente mit einem Vektorspeicher, sicher neu indexiert bei Modellwechsel und je Kunde getrennt bis in die Suche selbst.

Nachweise

Integrationsarbeit aus eigenen Produkten und aus Konzern-Backends

Produkt, vollständig im Eigentum

Anbieterwechsel bei Notermed

Der KI-Scribe lief auf OpenAI. Eine HIPAA-Anforderung hat die gesamte KI-Schicht auf AWS Bedrock verlagert: ein neues Modell, neu indexierte Dokumentenspeicher mit Rollback-Pfad, strikte Eingabegrenzen für echte PDFs. Die Kernlogik des Produkts hat sich kaum verändert.

Die sieben Lehren lesen

Produkt, vollständig im Eigentum

AgentlyLeads

KI, nachträglich in ein laufendes CRM eingebaut. Die über 130 REST-Endpunkte und 49 Datenmodelle gab es zuerst; der MCP-Connector mit 57 Werkzeugen kam obendrauf, mit OAuth 2.1 und Mandantentrennung bei jedem Aufruf.

Referenz lesen

Referenzprojekt, Konzern

Vodafone Kabel Deutschland

Integration in große Systeme ist Backend-Arbeit. CS2 hat drei Jahre (10/2022 bis 10/2025) am REST-Backend für den Außendienst von Vodafone Kabel Deutschland unter der DSGVO gearbeitet: Java, Spring Boot, Kubernetes, AWS, Jenkins.

Referenzprojekte ansehen
So arbeiten wir

Vier Schritte von Ihrem Code zur produktiven KI-Funktion

  1. System und Daten prüfen

    Wir lesen Ihre Architektur, finden die Integrationspunkte und klassifizieren die Daten, die jede Funktion berühren würde. Das entscheidet, welche Anbieter überhaupt infrage kommen.

  2. Eine Funktion hinter einem Flag prototypisieren

    Die erste Funktion kommt in Ihren echten Code, abgeschaltet, auf echten Eingaben. Ihr Team sieht sie innerhalb weniger Wochen im Zusammenhang arbeiten.

  3. Härten

    Anbieterabstraktion, Datenschutzregeln im Code, Kosten- und Latenzbudgets und ein Evaluationsdatensatz, der bei jeder Änderung läuft.

  4. Ausrollen und messen

    Flag an für eine kleine Gruppe, dann breiter, mit Qualität und Ausgaben je Funktion im Blick. Ihr Team erhält das Betriebshandbuch und den Notausschalter.

Technologie

Womit wir integrieren und worauf wir bauen

  • Anbieterunabhängige Modellschicht (AWS Bedrock, OpenAI, Anthropic)
  • Spring AI (Java)
  • Model Context Protocol (MCP)
  • PostgreSQL + pgvector
  • Redis-Caching
  • Feature-Flags
  • Java 17 + Spring Boot
  • NestJS und Node.js
  • Next.js + TypeScript
  • REST- und ereignisgesteuerte Integration
  • AWS (ECS Fargate, Lambda, S3 + CloudFront)
  • Terraform, GitHub Actions, Jenkins
FAQ

Fragen zur KI in bestehender Software

Können Sie KI in Software einbauen, die CS2 nicht gebaut hat?

Ja, das ist der Normalfall. Wir lesen zuerst Ihren Code und finden die passenden Integrationspunkte, ob REST-API, Message Queue oder Datenbankschicht. Zu unserer Backend-Erfahrung gehören drei Jahre in der Außendienstplattform von Vodafone Kabel Deutschland, die CS2 ebenfalls nicht selbst begonnen hat.

Wie schwer ist ein späterer Wechsel des KI-Anbieters?

Mit einer Anbieterabstraktion ist der Wechsel selbst Konfiguration. Die Arbeit liegt drum herum: Vektorspeicher neu indexieren, den Evaluationsdatensatz erneut laufen lassen und mit echten Dokumenten testen, weil sich die Modellgrenzen unterscheiden. Bei Notermed war der Umzug ein kurzes Projekt, und der Rest des Produkts lief weiter wie zuvor.

Wie schützen Sie unsere Daten?

Wir klassifizieren die Daten, die jede Funktion berührt, und schreiben im Code fest, welcher Anbieter sie erhalten darf. Bei Notermed kann die Anwendung nicht starten, wenn sie auf einen Anbieter außerhalb der HIPAA-Grenze zeigt. Die Kundentrennung gilt auch innerhalb der KI-Suche, nicht nur in der Datenbank.

Was kostet eine LLM-Integration im Monat?

Das hängt von Volumen, Modell und Textmenge je Anfrage ab. Deshalb legen wir vor dem Start ein Monatsbudget je Funktion fest, statt zu raten. Kleinere Modelle, Caching und strikte Eingabegrenzen bringen die Rechnung meist deutlich unter die erste Schätzung. Die Nutzung wird je Funktion und je Kunde protokolliert, damit das Controlling sie sieht.

Wie messen Sie, ob die KI-Funktion etwas taugt?

Mit einem Evaluationsdatensatz aus Ihren echten Eingaben und den Ausgaben, die Ihre Fachleute akzeptieren würden. Jede Prompt- oder Modelländerung wird daran bewertet, bevor sie ausgeliefert wird. Im Betrieb verfolgen wir Annahmen, Korrekturen und Rücknahmen je Funktion, sodass Qualität eine Zahl ist, die Sie beobachten können.

Was passiert, wenn sich die KI-Funktion im Betrieb falsch verhält?

Sie schalten sie per Feature-Flag ab, je Kunde oder insgesamt, ohne Deployment. Anpassungen fallen bei Fehlern auf das Standardverhalten zurück, und der alte Index oder das alte Modell bleibt für ein Rollback verfügbar. Das planen wir vor dem Start ein, weil die Frage immer kommt.

In welche Technologien integrieren Sie?

Java und Spring Boot, Node.js und NestJS, Next.js und TypeScript auf der Anwendungsseite; PostgreSQL und Redis für Daten; AWS für die Infrastruktur. Spricht Ihr System REST oder veröffentlicht es Ereignisse, können wir uns anbinden. Andere Technologien bewerten wir im ersten Gespräch anhand der Integrationspunkte.

Sagen Sie uns, welches System zuerst KI bekommen soll.

Bringen Sie das Produkt oder interne Werkzeug mit und die Funktion, nach der Ihre Nutzer immer wieder fragen. In 30 Minuten sagen wir Ihnen, wo sie andockt, wohin die Daten dürfen und wie die erste Version hinter einem Flag aussieht.