LLM

https://habr.com/ru/companies/minerva_media/articles/909130/

KoboldCPP.EXE

https://github.com/LostRuins/koboldcpp

https://lmstudio.ai/

Если есть 30+ гигов RAM то лучше qwen3:30b-a3b использовать. Качество отличное 30b размеру соответствует, и с приемлемой скоростью вообще без GPU работает.