Visszakeresés a pilotcsapda nélkül
Egy visszakereső asszisztens, amely bemutatóban jól válaszol, produkcióban csendben elbukhat. Mit mérjünk, mit határoljunk, és hol marad még helye az emberi felülvizsgálatnak.
Szerző: IT NET Solution
A bemutatók válogatottak. Valaki kiválasztja a dokumentumot, felteszi a kézenfekvő kérdést, és felolvassa a választ. A produkció válogatatlan: egy kolléga kicsit pontatlanul kérdez rá egy elavult szabályzatra, és magabiztos, szépen formázott választ kap, amely éppenséggel téves.
A korpuszt határoljuk, ne a promptot hangoljuk
A visszakeresés minősége elsősorban arról szól, mi kerülhet be az indexbe. Három dokumentumcsalád egyértelmű tulajdonossal, felülvizsgálati ritmussal és egyértelmű verziózással felülmúl egy egész tárhelyet, amelyet évek óta senki nem olvasott.
- A hatályon kívüli verziókat kizárjuk, nem a rangsorolásra bízzuk elrejtésüket.
- A forrásjogosultságokat átvisszük a visszakeresésbe, így az asszisztens nem mutathat meg olyat, amit a felhasználó nem nyithatna meg.
- Minden válaszhoz dokumentum, verzió és szakasz tartozik, a hivatkozás pedig látható.
- Döntsük el, mit kell az asszisztensnek megtagadnia, és teszteljük ezeket a megtagadásokat mint bármely más követelményt.
Az értékelés rövid, unalmas kérdéssor
Egy hasznos értékelési készlet ötven valós kérdés, egyeztetett válaszokkal és az őket alátámasztó részletekkel. Nem látványos, de az „érzésre jobb az asszisztens” helyett olyan regressziós ellenőrzéssé válik, amely a darabolás, a promptok vagy a modellirányítás minden változása után lefut.
Hol marad még helye az embernek
Az ügyfél felé menő szöveget, a szerződéses kijelentéseket és mindazt, ami kötelezi a vállalatot, olyan kollégának kell jóváhagynia, aki felelős érte. Az asszisztens feladata, hogy gyorsan, forrásokra támaszkodó tervezetet készítsen; a jóváhagyás továbbra is külön lépés, és a felülvizsgálat naplózódik.
Témák
- Vállalati AI
- RAG
- Értékelés
- Irányítás
Kapcsolódó írások
A modellhozzáférés irányítása a vállalatnál
A több AI-szolgáltatót bevezető csapatok gyorsan kulcsokat, költségeket és következetlen viselkedést halmoznak fel. Egy gateway-modell az irányításra, a naplózásra és az ellenőrzött változtatásra.
Az Indurant többnyelvű visszakereséssel bővült
Vállalati tudásplatformunk mostantól ugyanabban a lekérdezésben keres magyar és angol dokumentumok között, megőrizve a hivatkozásokat és a forrásrendszerek jogosultsági modelljét.
Forrásokra támaszkodó tudásasszisztens egy szolgáltató szervezetnél
Szemléltető AI-program: szabályzatok, szerződések és műszaki dokumentáció vált kérdésfeltevéssel elérhetővé visszakereséssel, a meglévő jogosultságok és a forráshivatkozások megőrzésével.
Hasonló kihíváson dolgozik?
Írja le a rendszereket, a korlátokat és azt, min szeretne változtatni. Felvázolunk egy reális utat és az mögötte lévő kompromisszumokat.