RAG-gestützter Chatbot für interne Wissensdatenbanken mit privaten LLMs

Über unseren Kunden

Unser Kunde arbeitete in einem umfangreichen internen Wissensökosystem, das technische Dokumentationen, Betriebsabläufe, Richtlinien und projektbezogene Informationen umfasste, die über mehrere Repositories verteilt waren.

Aufgrund der Komplexität und Fragmentierung dieser Wissenslandschaft fiel es Mitarbeitenden schwer, relevante Informationen schnell zu finden. Da die gespeicherten Daten zudem sensible interne Informationen enthielten, benötigte der Kunde eine vollständig private KI-Lösung ohne Abhängigkeit von externen cloudbasierten LLM-Anbietern.

• Region: Europa
• Branche: Enterprise-Software / Wissensmanagement
• Projektlaufzeit: ca. 1 Monat

Herausforderungen

Herkömmliche Suchsysteme erwiesen sich als unzureichend, um große und unstrukturierte interne Wissensbestände effizient zu durchsuchen. Daher identifizierten wir folgende zentrale Herausforderungen:

• Komplexe und fragmentierte Struktur der internen Wissensdatenbanken
• Schwierigkeiten, relevante und präzise Informationen schnell zu finden
• Große Mengen an teilstrukturierten und unstrukturierten Daten
• Bedarf an kontextbezogener und dialogorientierter Informationssuche
• Strenge Anforderungen an Datenschutz und Informationssicherheit
• Verzicht auf externe KI-Anbieter beim Umgang mit vertraulichen Unternehmensdaten

Hauptziele

Um den Zugang zu Unternehmenswissen zu verbessern und gleichzeitig die Vertraulichkeit der Daten zu gewährleisten, definierten wir folgende Ziele:

• Entwicklung eines KI-gestützten Chatbots für die interne Wissensdatenbank
• Implementierung fortschrittlicher RAG-Workflows für kontextbezogene Informationsabfrage
• Einsatz vollständig lokaler bzw. privater LLM-Inferenz
• Steigerung der Produktivität von Mitarbeitenden und Verbesserung der Informationsfindung
• Sicherstellung der geschützten Verarbeitung vertraulicher Unternehmensdaten
• Aufbau einer skalierbaren und wartbaren Architektur für Wissensretrieval und Informationszugriff

Projektübersicht

Wir entwickelten einen privaten, RAG-gestützten Chatbot, der Mitarbeitenden den Zugriff auf die interne Wissensdatenbank über eine dialogbasierte Oberfläche ermöglicht.

Das System indexiert interne Dokumente, verarbeitet Benutzeranfragen, ruft kontextrelevante Informationen ab und generiert präzise KI-gestützte Antworten mithilfe lokaler LLM-Modelle.

LangChain orchestriert die Retrieval- und Generierungspipeline, während PostgreSQL mit pgvector Dokumentenmetadaten sowie Vektorindizes für die semantische Suche speichert. Für die sichere und vollständig private Inferenz kommt ein lokal betriebener Ollama-Server zum Einsatz.

Lösung

Die entwickelte Lösung kombinierte fortschrittliche Retrieval-Mechanismen mit privater LLM-Inferenz und schuf damit einen sicheren Wissensassistenten für Unternehmen.

Dabei kamen folgende Techniken zum Einsatz:

• Intelligentes Text-Chunking basierend auf Dokumenttyp und Inhalt
• Single- und Multi-Query-Augmentation
• Dynamische Similarity Scores auf Basis der Suchergebnisse
• Cross-Encoder-Reranking
• Open-Source-Embedding-Modelle
• Dynamische Erweiterung des Kontextfensters
• Zusammenfassung langer Kontexte

Der Chatbot liefert kontextbezogene Antworten auf Basis interner Dokumentation, während sämtliche Datenverarbeitung innerhalb der kontrollierten Infrastruktur des Kunden bleibt.

Hauptfunktionen der Plattform

• Dialogbasierte KI-Oberfläche für den Zugriff auf internes Unternehmenswissen
• Fortschrittliche Retrieval-Augmented-Generation-(RAG)-Workflows
• Automatisches Embedding neuer und geänderter Wissensdateien, darunter Bilder, PDFs, Markdown-, Word-, Excel- und TXT-Dateien
• Lokale/private LLM-Inferenz ohne Drittanbieter-APIs
• Semantische Suche über strukturierte und unstrukturierte Dokumente hinweg
• Kontextbezogene Antwortgenerierung
• Sichere Verarbeitung vertraulicher Unternehmensinformationen

Technologie-Stack

Für sicheres Wissensretrieval im Enterprise-Umfeld setzten wir eine private KI-Architektur ein, die für lokale Inferenz und kontextbezogene Suche optimiert wurde.

• Backend: Python-basierte Services mit LangChain-Orchestrierung, LangGraph für agentische Workflows
• Datenbank: PostgreSQL + pgvector für Wissensindexierung und Retrieval-Speicherung
• LLM-Laufzeitumgebung: Ollama für lokales/private Model Serving, Open-Source-Embedding- und Inferenzmodelle wie BGE-M3 und Qwen3.*
• KI-Workflow: Fortschrittliche RAG-Pipelines und semantische Retrieval-Logik

Kernteam

• Solution Architect: Entwarf die RAG-Architektur und sichere KI-Workflows.
• AI Engineers: Implementierten Retrieval-Pipelines und die Integration lokaler LLMs.
• Backend Engineers: Entwickelten Services für Indexierung, Speicherung und Chatbot-Funktionalität.
• DevOps Engineers: Verwalteten die lokale Inferenzinfrastruktur und Deployments.
• QA Engineers: Validierten Retrieval-Genauigkeit und Antwortqualität.