Tutaj mamy samo AI, na stronie.
Do akceleracji można wykorzystać kartę GFX.
Jak zainstalować lokalnie? Bardzo prosto. Pobieramy sobie LM-STUDIO , we właściwościach pliku zaznaczamy, że ma to być wykonywalne, i odpalamy.
Na głównym ekranie wybieramy wersję środkową, czyli dla zaawansowanych, i w wyszukiwarce klepiemy bielik.
Wyskakują nam orły, wybieramy sobie wersje 2.3, i program nam pobiera a potem ładuje.
I w zasadzie to tyle, można teraz sobie odpalić lokalnie i się bawić.
Da się też postawić serwer, który umożliwia interakcję modeli załadowanych do LM-Studio z internetem.
LM Studio jest fajne, trochę sie tym bawiłem i moje doświadczenia z uruchamiania lokalnych modeli są takie, że one wiele potrafią ale ‘w bystrości’ i ilości opcji daleko im do tych chmurowych.
Dla przykładu swego czasu Deepseek, jako pierwszy opracował wydajny model działający szybko lokalnie. Ten model można dodać w LM Studio i faktycznie działa szybciej od wielu słabszych modeli. Działa jako-tako nawet na samym CPU, co jest wielkim sukcesem. Ostatnio OpenAi również udostępniło jakieś swoje modele na Open Source.
Jednak to nie jest to co potrafi chmura. Dla przykładu w ChatGPT jest pamięć, jest interakcja pomiędzy czatami (nawet w darmowej wersji), nie wspominając juz o trybach pogłębionych, które potrafią przez 20 minut przetrząsać internet żeby skompilować odpowiedź.
Tak czy inaczej, jakie doświadczenia z używania Bielika? Zastanawiam się czy warto wróci do tematu modeli lokalnych.
Na razie dopiero zainstalowałem i jeszcze nie miałem czasu na jakieś większe testy.
Mam zamiar dać mu dostęp do internetu, co da się już zrobić, i zaprząc go do roboty, może nawet kilka takich. Jestem ciekawy, czy da się zrobić projekt całkowicie autonomiczny, który daje efekt, na którym mi zależy. Halucynacje można by minimalizować, poprzez zwielokrotnienie. Ciekawe też, czy po pewnym czasie nie zacznie się to rozjeżdżać, bo w chwili obecnej to jest spory problem większości lokalnych modeli, zresztą te nie lokalne, mają to samo.
ale co chcesz osiągnąć? bo nie napisałeś chyba.
Pamięć, sequencial thinking dało by się pewnie opierdzielić poprzez MCP, tylko musi być całkiem niezły model. Na jakim sprzęcie to odpalasz?
Ja u siebie wszystko co testowałm co się mieściło na karcie było zbyt słabe według mnie. ( 6GB)
Na Xeonie 5222, 128 ramu, plus rtx 3060.
Na i7 11800 z 3070, 64 ramu.
Działa, przynajmniej na tyle, że spokojnie da się rozmawiać, uzyskiwać odpowiedzi itd. ale jakieś bardziej wymagające trochę czasu zajmują, tym niemniej jak na razie nie miałem czasu obciążyć tego czymś naprawdę poważnym. Zajmę się trochę później, bo tak mi dowaliło pracy ostatnio, że nie bardzo wiem, gdzie mam ręce włożyć.
Chcę, aby przy pomocy pośrednika model przeszukiwał internet, np. wyszukując zadany problem, sporządzał z tego raport, i tak kilka takich modeli pracujących jednocześnie. Następnie chcę, aby wyniki tych raportów, były wczytywane przez inny model, który na ich podstawie dokona finalnej analizy i przygotuje podsumowanie w ramach zadanych wytycznych.
Teraz zdaje się że Deep Search zostaje zastąpione trybem agenta. To jest jeszcze lepsza rzecz. Potrafi logować się na strony, przeglądać je we wbudowanej przeglądarce (działa jakby patrzeć na pulpit zdalny maszyny wirtualnej), klikać sięgając po materiały które normalnie się nie indeksują lub które są za loginem i hasłem → https://chatgpt.com/pl-PL/features/agent → na dole jest filmik
W przeglądarce to wygląda tak (opcja Agent → Raporty)
Oczywiście rozumiem, że chcesz zrobić lokalnie jak najwięcej się da a nie korzystać z chmury. Przy okazji można się sporo nauczyć jak programować na bazie modeli językowych, do czego też się zabieram od jakiegoś czasu.
