Wissensabruf ohne die Pilotfalle
Ein Assistent, der in der Demo gut antwortet, kann im Betrieb still scheitern. Was zu mesen ist, wo Grenzen gehören und wo menschliche Prüfung nach wie vor hingehört.
Von IT NET Solution
Demos sind kuratiert. Jemand wählt das Dokument aus, stellt die naheliegende Frage und liest die Antwort laut vor. Der Betrieb ist unkuratiert: Eine Kollegin stellt eine leicht falsche Frage zu einer veralteten Richtlinie und erhält eine selbstsichere, gut formatierte Antwort, die zufällig falsch ist.
Den Korpus begrenzen, bevor der Prompt optimiert wird
Die Abrufqualität ist vor allem eine Entscheidung darüber, was in den Index darf. Drei Dokumentfamilien mit klaren Verantwortlichen, einem Prüfrhythmus und eindeutiger Versionierung schlagen eine vollständige Ablage, die seit Jahren niemand gelesen hat.
- Überholte Versionen ausschließen, statt darauf zu hoffen, dass das Ranking sie verdrängt.
- Quellberechtigungen in den Abruf übernehmen, damit der Assistent nichts zeigt, was die Person nicht öffnen dürfte.
- Dokument, Version und Abschnitt an jede Antwort hängen und die Quellenangabe sichtbar machen.
- Festlegen, was der Assistent ablehnen soll, und diese Ablehnungen wie jede andere Anforderung testen.
Evaluation ist ein kleiner, unspektakulärer Fragensatz
Ein brauchbares Evaluationsset besteht aus fünfzig echten Fragen mit vereinbarten Antworten und den Passagen, die sie belegen. Es ist nicht beeindruckend, verwandelt aber „der Assistent fühlt sich besser an“ in eine Regressionsprüfung, die nach jeder Änderung an Chunking, Prompts oder Modell-Routing läuft.
Wo ein Mensch weiterhin hingehört
Kundengerichtete Texte, vertragliche Aussagen und alles, was das Unternehmen bindet, sollten von jemandem geprüft werden, der dafür verantwortlich ist. Die Aufgabe des Assistenten ist es, schnell einen belegten Entwurf zu erstellen; die Freigabe bleibt ein ausdrücklicher Schritt, und die Prüfung wird protokolliert.
Themen
- Enterprise-KI
- RAG
- Evaluation
- Governance
Weiterlesen
Modellzugang im Unternehmen steuern
Teams, die mehrere KI-Anbieter einführen, sammeln schnell Schlüssel, Kosten und inkonsistentes Verhalten an. Ein Gateway-Modell für Routing, Protokollierung und kontrollierte Änderung.
Indurant erweitert den Wissensabruf um weitere Sprachen
Unsere Plattform für Unternehmenswissen ruft nun ungarische und englische Dokumente in derselben Anfrage ab – mit Quellenangaben und dem Berechtigungsmodell der Quellsysteme.
Ein belegter Wissensassistent für ein Dienstleistungsunternehmen
Ein illustratives KI-Programm: Richtlinien, Verträge und technische Dokumentation wurden über Retrieval beantwortbar gemacht, wobei bestehende Berechtigungen und Quellenangaben erhalten blieben.
Arbeiten Sie an etwas Ähnlichem?
Beschreiben Sie die Systeme, die Rahmenbedingungen und was sich ändern soll. Wir skizzieren einen realistischen Weg und die Abwägungen dahinter.