Jak uruchomić najnowsze modele Gemma3 za pomocą Ollama WebUI? Naprawa wewnętrznego błędu serwera 500
TL;DR
- Rozwiązuje błąd 500 przy uruchamianiu multimodalnych modeli Gemma 3 w Ollama WebUI na Dockerze.
- Przyczyną jest przestarzały rdzeń Ollama 0.6.1 w pakiecie Docker, który nie obsługuje najnowszych modeli Gemma 3.
- Obejście polega na pobraniu Ollama 0.6.2 z wydań GitHub, zatrzymaniu Dockera i uruchomieniu lokalnie `ollama.exe serve`.
- Po przełączeniu trzeba ponownie pobrać modele; wariant 1B nie działa z obrazami, więc lepiej zacząć od 4B, a 27B testowo działa na 7-letnim notebooku.
- W testach 27B poprawnie odczytywał godzinę i wykrył uszkodzenie żarówki, choć nadal dawał mylące odpowiedzi; autor ocenia go lepiej niż LLaVA.
Wygenerowane przez model językowy.
Próbujesz uruchomić najnowsze multimodalne modele AI Gemma3 , ale ciągle otrzymujesz błąd 500 w Ollama WebUI?
Oto rozwiązanie, ale najpierw kilka słów o Gemma 3. Gemma 3 to kolekcja lekkich, otwartych modeli zbudowanych w oparciu o te same badania i technologię, które napędzają modele Gemini 2.0. Modele Gemma 3 są zaprojektowane do szybkiego działania bezpośrednio na urządzeniach i są dostępne w różnych rozmiarach (1B, 4B, 12B i 27B), co pozwala wybrać najlepszy model dla konkretnego sprzętu i potrzeb wydajnościowych.
Modele te są bardzo łatwe do pobrania z biblioteki Ollama i uruchomienia, ale pakiet Ollama Docker Package jest dostarczany z przestarzałą wersją Ollama 0.6.1, więc nie można ich uruchomić bezpośrednio, przynajmniej do czasu aktualizacji pakietu Docker. Pokażę tutaj proste obejście.
Error 500 issue .
Zakładam więc, że masz już taką konfigurację Dockera:
Ollama core i Ollama Web interface są uruchomione w dockerze.
Jeśli nie, możesz pobrać Ollama WebUI tutaj .
Prawdopodobnie pobrałeś już Gemma3 w interfejsie użytkownika Ollama Web UI, ale gdy spróbujesz go uruchomić, otrzymasz:
500: Ollama: 500, message='Internal Server Error', url='http://host.docker.internal:11434/api/chat'
Tak jak na zrzucie ekranu.
.
Przyczyna problemu
Jest to spowodowane tym, że Docker używa przestarzałego rdzenia Ollama, a mianowicie wersji 0.6.1, przynajmniej w moim przypadku. Można to sprawdzić uruchamiając:
C:\Users\user>docker run --rm ghcr.io/open-webui/open-webui:ollama ollama --version
Warning: could not connect to a running Ollama instance
Warning: client version is 0.6.1
Próbowałem ją zaktualizować, ale nie znalazłem sposobu. Na szczęście jest obejście...
Najprostsze rozwiązanie .
Pobierz Ollamę bezpośrednio z zakładki Wydania:
https://github.com/ollama/ollama/releases/tag/v0.6.2
Wybierz pakiet dla swojego systemu operacyjnego, w moim przypadku był to ollama-windows-amd64.zip.
Najpierw zamknij ollamę w Dockerze:
.
Wyodrębnij go i uruchom, jak w:
ollama.exe serve
Teraz, o ile ustawienia portów są zgodne, interfejs Ollama WebUI z dockera powinien być w stanie dotrzeć do nowego rdzenia ollama. Możesz również sprawdzić jego wersję:
W:\TOOLS\ollama-windows-amd64>ollama.exe --version
Warning: could not connect to a running Ollama instance
Warning: client version is 0.6.2
Więc teraz używasz nowszej Ollamy. .
Oznacza to, że będziesz musiał ponownie pobrać modele AI. Do tej pory pobrałem tylko najmniejszą Gemmę.
Można też pobrać większy model:
.
Sprawdźmy czy działa
Teraz słowo ostrzeżenia - najmniejszy model 1b nie działa z obrazami, więc sugeruję zacząć od 4b.
Pierwsze testy Gemmy 3 .
Nadszedł czas na małe testy Gemmy 3. Pobawiłem się z i zdecydowałem się zaprezentować model 27b, ponieważ wydaje się on bardziej niezawodny niż mniejsze. Jednak nadal mogę go uruchomić na moim 7-letnim notebooku do gier ROG.
Fajnie, że potrafi poprawnie odczytać godzinę.
Nieźle, zauważył nawet lekkie uszkodzenie żarówki.
Spróbujmy czegoś trudniejszego.
No cóż, niestety nadal popełnia błędy i może dawać mylące wyniki, ale i tak jest lepiej niż LLaVA którą testowałem w przeszłości....
Podsumowanie .
Okazuje się, że uruchomienie nowych modeli Gemma 3 lokalnie jest bardzo proste. Jedynym problemem jaki napotkałem była przestarzała wersja Ollamy w Dockerze, ale miejmy nadzieję, że pakiet Docker również zostanie wkrótce zaktualizowany, więc nie napotkasz tego problemu w przyszłości.
Jeśli chodzi o samą Gemmę 3, to wydaje się ona bardzo obiecująca, zwłaszcza jej większe wersje. Na pierwszy rzut oka wydają się lepsze niż LLaVa, ale teraz zamierzam przeprowadzić więcej testów.
Zostawię je na inny temat.
Czy próbowałeś również uruchomić Gemma 3, a jeśli tak, to jakie są Twoje doświadczenia?
Jeśli jesteś bardziej zainteresowany Gemmą 3, możesz też po prostu zamieścić tutaj obraz lub podpowiedź, a ja przetestuję z nią Gemmę.
Inżynier programista z wieloletnim doświadczeniem embedded i full stack developer.
Specjalizuje się w: embedded, Full-Stack Developer
p.kaczmarek2 napisał 14403 postów
o ocenie 12335 , pomógł 650 razy.
Jest z nami od 2014 roku.
Komentarze