Nie lubicie AI pracującej na serwerze korporacji gdzieś w chmurze? Proszę bardzo, https://ollama.com/ AI opensource, którą uruchomimy na własnym komputerze, bez potrzeby posiadania połączenia z Internetem. Nie trzeba mieć nawet RTX’a, wystarczy sam procesor, choć akceleracja znacznie przyspiesza generowanie odpowiedzi.
Wrażenia? Uruchamiałem model mistral, który akceptowalnie działa na samym procesorze. Nie jest to ta sama jakość co topowe czatboty dostępne w chmurze, nie oczekujcie ze będzie poprawnie posługiwać się językiem innym niż Angielski.
Niemniej jednak model ten sprawdził mi się już w kilku przypadkach (zwłaszcza pytany o zagadnienia związane z programowaniem, choć pewnie lepiej by się sprawdził jeden z modeli dedykowanych jak DeepSeek Coder). Mistral często odpowiada na poziomie porównywalnym do chmurowych czatbotów.
Jest dostępnych sporo innych modeli do Ollamy - library. Np jest dostępny mistral-large - można założyć, ze będzie znacznie lepszy (mistral 4GB vs mistral-large 69GB)
Uważasz, że Twój RTX nie jest wystarczająco wygrzany? Spróbuj mistral-large 
OK spróbowałem, samo jego uruchomienie unieruchomiło komputer na dosyć długi czas i musiałem zabić proces, żeby odzyskać kontrolę. Pamięć RAM była wolna ale CPU i dysk się grzały. Może z solidnym RTX’em ten model nabierze skrzydeł.
Jest też fajne GUI https://lmstudio.ai/ do uruchamiania różnych modeli lokalnie.
