Künstliche Intelligenz7 Min. Lesezeit

Wissensabruf ohne die Pilotfalle

Ein Assistent, der in der Demo gut antwortet, kann im Betrieb still scheitern. Was zu mesen ist, wo Grenzen gehören und wo menschliche Prüfung nach wie vor hingehört.

Von IT NET Solution

Demos sind kuratiert. Jemand wählt das Dokument aus, stellt die naheliegende Frage und liest die Antwort laut vor. Der Betrieb ist unkuratiert: Eine Kollegin stellt eine leicht falsche Frage zu einer veralteten Richtlinie und erhält eine selbstsichere, gut formatierte Antwort, die zufällig falsch ist.

Den Korpus begrenzen, bevor der Prompt optimiert wird

Die Abrufqualität ist vor allem eine Entscheidung darüber, was in den Index darf. Drei Dokumentfamilien mit klaren Verantwortlichen, einem Prüfrhythmus und eindeutiger Versionierung schlagen eine vollständige Ablage, die seit Jahren niemand gelesen hat.

  • Überholte Versionen ausschließen, statt darauf zu hoffen, dass das Ranking sie verdrängt.
  • Quellberechtigungen in den Abruf übernehmen, damit der Assistent nichts zeigt, was die Person nicht öffnen dürfte.
  • Dokument, Version und Abschnitt an jede Antwort hängen und die Quellenangabe sichtbar machen.
  • Festlegen, was der Assistent ablehnen soll, und diese Ablehnungen wie jede andere Anforderung testen.

Evaluation ist ein kleiner, unspektakulärer Fragensatz

Ein brauchbares Evaluationsset besteht aus fünfzig echten Fragen mit vereinbarten Antworten und den Passagen, die sie belegen. Es ist nicht beeindruckend, verwandelt aber „der Assistent fühlt sich besser an“ in eine Regressionsprüfung, die nach jeder Änderung an Chunking, Prompts oder Modell-Routing läuft.

Wo ein Mensch weiterhin hingehört

Kundengerichtete Texte, vertragliche Aussagen und alles, was das Unternehmen bindet, sollten von jemandem geprüft werden, der dafür verantwortlich ist. Die Aufgabe des Assistenten ist es, schnell einen belegten Entwurf zu erstellen; die Freigabe bleibt ein ausdrücklicher Schritt, und die Prüfung wird protokolliert.

Themen

  • Enterprise-KI
  • RAG
  • Evaluation
  • Governance
Zugehörige Leistung: Künstliche Intelligenz

Arbeiten Sie an etwas Ähnlichem?

Beschreiben Sie die Systeme, die Rahmenbedingungen und was sich ändern soll. Wir skizzieren einen realistischen Weg und die Abwägungen dahinter.