Jelenleg az a mondás hogy a finomhangolásos tanítás helyett jobb irány a RAG (Retrieval-Augmented Generation). A finetune-al könnyű úgy elbabrálni a modell súlyait hogy legagyul és elkezd felejteni.

A RAG-nál azt csinálják hogy valami vector db-be beindexelik a dokumentumokat, és a user által írt szöveg alapján előkeresnek releváns szakaszokat amelyekben elhangzanak a kifejezések, majd ezt a háttérben a backend hozzácsapja az LLM context-jéhez hogy annak "tudatában" válaszoljon.
Összességében sokkal jobb eredményt ad, kevesebb hallucinációval.
Illetve a vector db-ben hozzátehetsz hivatkozásokat a szöveg részletekhez így citációkat is meg tudsz jeleníteni, hogy honnan jött a válasz, így a user jobban utána tudjon olvasni és leellenőrizni az LLM által generáltakat. (alapvetően sose szabad benne megbízni)

MemGPT-t próbáltam ami helyben futtatható és tudott ilyet, agent-et lehetett definiálni dokumentumok felett.

De épp tegnap találtam egy ilyet, még csak beletekergettem, rendesen nem volt időm végig nézni. [Building a RAG Application Using Open-source Models (Asking Questions from a PDF Using Llama2)]

Majd számolj be mire jutottál, érdekel. De lehet jobb lesz a céltopikjában.

[ Szerkesztve ]