Megpróbálkozom helyileg futtatni az LLM-et: (nem mintha az openai drága lenne de sokkal poénosabb lenne mindent helyben futtatni)

Ez megy CPU only módban, nem feltétlenül kell hozzá cuda.
Helyi erőforrás megvan rá (36 szál 4.5ghz, 128Gb DDR4 4000)
https://github.com/LostRuins/koboldcpp/releases

A másik pedig aminek még nem néztem utána:
https://github.com/oobabooga/text-generation-webui/releases

Még mindíg nem találtam meg az igazi legjobb ár érték arányú budget cuda gyorsítót.
Nagyon a Tesla P40 felé hajlok (24Gb vram) de az nvidia CMP kártyák is jók lehetnének.

LLM modellt meg valami cenzúramenteset választok, szóljon be, legyenek kemények az npc-t.

[ Szerkesztve ]