Lokalne wspomaganie programowania z użyciem edytora Vim, serwera z LLM oraz pluginu od G.Gerganowa.

Popieram wszelkie inicjatywy uruchamiania tego typu narzędzi lokalnie, ale chciałbym też zobaczyć prezentację jak to wygląda i jak sobie radzi w praktyce. Czy mógłbyś pokazać kilka zrzutów ekranu, albo jakiś filmik? Czy taki lokalny model poradzi sobie z prostymi rzeczami, np. jak z wykonaniem zapytania do API w Javascript poprzez fetch, iterowaniem wyników takiego zapytania, itd?

Kolejność jest taka: nauka programowania, później nauka vima. W odwrotnej kolejności to nie ma sensu w dobie wypasionych darmowych środowisk jak VC, Eclipse, Intelij, itd, nawet jeśli AI ma to w jakiś sposób, nie do końca wiadomo jaki, wspomagać.
Nie twierdzę, że nie byłoby chętnych, ale to najwyżej promil zainteresowanych, o wyjątkowych skłonnościach.

Tutaj można zobaczyć demonstracyjne pliki video od autora:
https://github.com/ggml-org/llama.cpp/pull/9787
https://github.com/ggml-org/llama.vim

Posiadacze większej ilości VRAM mogą potestować większe modele z tej strony:
https://huggingface.co/collections/ggml-org/llamavim

Ta wtyczka sama kodu nie napisze w przeciwieństwie do modeli uruchomionych standartowo.
Dopowiada na podstawie wcześniejszej treści, co można dopisać dalej, ale to jest takie przewidywanie paru kroków.
Większość to tu zależy od programisty, cały kod napisze model w standardowym wydaniu.

Np. po wpisaniu np.
for (int i
model dopisuje: = 0; i < 10; i++)
i mamy: for (int i = 0; i < 10; i++)
Np. po wpisaniu:
map<int,int> m;
m.
Model dopisuje:
insert(pair<int,int>(1,1));
i mamy: m.insert(pair<int,int>(1,1));

Do wspomagania programowania można polecić też nowy model Qwen3-Coder-30B-A3B-Instruct, zastosowany standartowo,
można go też użyć do pluginu llama, ale dobrze jest mieć więcej VRAM.
https://huggingface.co/unsloth/Qwen3-Coder-30B-A3B-Instruct-GGUF/tree/main
Dla sprzętu: R5 8645HS, RTX 3050 6 GB, 32 GB RAM, taka linia poleceń, daje to kilka tokenów na sek.
llama-server.exe ^
-m "models\Qwen3-Coder-30B-A3B-Instruct-Q3_K_M.gguf" ^
-t 10 ^
-tb 10 ^
-c 0 ^
-b 1024 ^
-ub 192 ^
-ngl 18 ^
-ctk q4_0 ^
-ctv q4_0 ^
--cpu-moe ^
--flash-attn on ^
--prio 2 ^
--port 8082

W podsumowaniu takie eksperymenty z różnorakim zastosowaniem małych modeli nie mają na celu konkurować z produktami typu intelij,
można stosować podobne rozwiązania do całkowicie osobistych celów jednostkowych, szczególnie że kody źródłowe są legalne i dostępne.
Może paru osobom się to przyda.

W odpowiedzi na pytanie: Czy taki lokalny model poradzi sobie z prostymi rzeczami, np. jak z wykonaniem zapytania do API w Javascript poprzez fetch, iterowaniem wyników takiego zapytania, itd?
To zrobi model: Qwen3-Coder-30B-A3B-Instruct, uruchomiony jak powyżej podałem, max ctx jaki podaje to 262144,
czyli wciągnie dość duży program do małego przeglądu itp.

Wydaje mi się, że zestaw:

IDE:
Cursor.sh jako sprawdzone, popularne IDE (bazujące na Visual Studio Code)

AI
Lokalne LM Studio działające + dowolnie wybrany model z dostępnych zależnie od możliwości naszego PC a do wyboru jest sporo:
https://lmstudio.ai/models

Największa zaleta to chyba to, że ogarnie to każdy nawet mało ogarnięty użytkownik komputera bo wszystko jest banalne do "wyklikania" a poziom pracy z Cursorem w porównaniu do IDE + jakieś wtyczki jest bez porównania.

Plugin llama-vscode w programie Visual Studio Code jest całkowicie "klikalny",
automatycznie po wybraniu ściąga modele i uruchamia.
W przypadku pluginu do Vima chodzi nie tylko o jego zastosowanie, ale takie edukacyjne zrozumienie o co w tym chodzi,
jak to działa od środka w takiej mikroskali i nie ma sensu porównywać jego możliwości np.do GPT 5.