Open WebUI to świetne narzędzie do lokalnego uruchamiania wielomodalnych wielkich modeli językowych, ale nie wszystkie modele są dostępne do pobrania bezpośrednio przez panel internetowy OWUI. Na szczęście modele GGUF można pobrać zewnętrznie, a następnie przesłać do OWUI poprzez eksperymentalny import GGUF. Tutaj pokażę Ci krok po kroku jak zaimportować taki model.
W tym temacie założono, że masz już uruchomione Open-WebUI. Jeśli nie, zapoznaj się z poprzednim samouczkiem:
CzatGPT lokalnie? Asystenci AI/LLM do uruchomienia na Twoim komputerze – pobierz i zainstaluj
Mogą Cię również zainteresować:
Minitest: wizja robota? Multimodalna AI LLaVA i analiza zdjęć warsztatowych - w 100% lokalna
Zacznijmy od rozważenia, czym jest GGUF.
GGUF, czyli GPT-Generated Unified Format, jest następcą formatu GGML (GPT-Generated Model Language), wydanego 21 sierpnia 2023 r. GGUF to format pliku używany do przechowywania modeli podobnych do GPT na potrzeby wnioskowania. Modele GGUF mogą działać zarówno na GPU, jak i CPU, i zapewniają rozszerzalność, stabilność i wszechstronność.
Szczegóły dotyczące GGUF można znaleźć na stronie Witryna z przytuloną twarzą .
Najpierw będziesz potrzebować modelu GGUF.
Przejdź do https://huggingface.co/models i przeglądaj modele do pobrania.
Nie wszystkie modele są dostępne w GGUF. Zatem filtruj wpisy według GGUF:
Na przykład pobierzmy TheBloke/Mistral-7B-Instruct-v0.2-GGUF
Wybrałem wersję mistral-7b-instruct-v0.2.Q8_0.gguf.
Poczekaj na zakończenie pobierania:
Teraz wprowadź ustawienia, będziesz musiał teraz załadować pobrany model.
W sekcji modeli znajdź formularz przesyłania GGUF:
Wybierz plik, który chcesz przesłać:
Teraz musisz być bardzo cierpliwy. Nie zamykaj tej strony. Obecnie nie jest wyświetlany dobry raport o postępie.
Wreszcie, po zakończeniu importu, będziesz mógł wybrać nowy model na stronie głównej:
Twój model jest teraz gotowy do uruchomienia:
I to wszystko! W ten sposób możesz oczywiście uruchomić dowolny model GGUF, o ile Twój sprzęt go obsługuje!
Czy udało Ci się uruchomić w ten sposób niektóre modele? Który model GGUF jest Twoim ulubionym? Daj mi znać i bądź na bieżąco.
Fajne? Ranking DIY Pomogłem? Kup mi kawę.
