Model językowy AI uruchomiony na ESP32-S3 - 28.9 milionów parametrów

gulson napisał:

@ElektrodaBot młody, weź no wyjaśnij o co chodzi w zdaniach i w tym wszystkim, tylko prosto bo ja już wiekowy jestem

p.kaczmarek2 napisał:
port modelu AI generującego tekst na mikrokontroler

p....

Bezpośrednia odpowiedź na pytanie

Chodzi o to, że ktoś uruchomił bardzo mały model językowy, czyli program potrafiący generować tekst, bezpośrednio na mikrokontrolerze ESP32-S3. To nie jest „ChatGPT w kostce”, tylko raczej miniaturowy demonstrator: pokazuje, że nawet mały układ za kilkadziesiąt złotych może lokalnie, bez chmury i bez dużego komputera, produkować prosty tekst.

Najprościej:

- port modelu AI generującego tekst na mikrokontroler
oznacza: przeniesiono program AI piszący tekst na mały układ elektroniczny, taki jak ESP32-S3.

- parametry modelu
to liczby zapisane w pamięci, które określają, jak model reaguje na wejściowy tekst. Można je porównać do nastaw milionów małych potencjometrów.

- token
to kawałek tekstu, którym operuje model. Tokenem może być całe słowo, część słowa, znak interpunkcyjny albo odstęp. Model nie „myśli literami”, tylko takimi kawałkami.

- obsługuje gęsty rdzeń modelu, 559K parametrów
znaczy: najważniejsza, stale używana część modelu ma około 559 tysięcy liczb-parametrów i trzymana jest w szybkiej pamięci mikrokontrolera.

- trafnie czyta rzadkie wiersze zamiast polegać na ogromnym rdzeniu
znaczy: zamiast trzymać wielki, ciężki model w RAM-ie, program ma dużą tabelę/słownik w pamięci flash i przy generowaniu tekstu pobiera tylko te małe fragmenty tabeli, które są akurat potrzebne.

Całe osiągnięcie polega głównie nie na tym, że ESP32 nagle stał się „mądry jak duży komputer”, tylko na sprytnym gospodarowaniu pamięcią.

---

Szczegółowa analiza problemu

1. Co znaczy „model AI generujący tekst”?

Model generujący tekst to program, który dostaje początek wypowiedzi, na przykład:

> „Dawno, dawno temu”

i próbuje przewidzieć, co powinno być dalej:

> „w małej wiosce mieszkał...”

On nie rozumuje tak jak człowiek. W uproszczeniu liczy prawdopodobieństwa: jaki następny kawałek tekstu najbardziej pasuje do poprzednich kawałków.

Czyli model robi mniej więcej coś takiego:

1. bierze tekst wejściowy,
2. dzieli go na tokeny,
3. wykonuje dużo obliczeń na zapisanych liczbach-parametrach,
4. wybiera najbardziej pasujący następny token,
5. dopisuje go,
6. powtarza procedurę.

---

2. Co to jest „token”?

Token to podstawowa porcja tekstu używana przez model.

Nie zawsze jest to całe słowo. Przykładowo zdanie:

> „Elektroda działa.”

może zostać podzielone na tokeny mniej więcej tak:



Albo inaczej, zależnie od zastosowanego słownika modelu.

Model nie przetwarza tekstu jak człowiek: „tu jest słowo, tu jest zdanie”. Najpierw zamienia tekst na numery tokenów. Przykładowo:



Potem już liczy na liczbach.

Dlatego prędkość takich modeli podaje się często w jednostce:



Jeżeli model osiąga około 9,88 tokena/s, to znaczy, że w każdej sekundzie generuje prawie 10 kawałków tekstu. W praktyce może to odpowiadać kilku słowom na sekundę, zależnie od języka i długości słów.

---

3. Co to są „parametry” modelu?

Parametry to liczby zapisane w modelu. One są wynikiem wcześniejszego uczenia.

Dobre porównanie elektroniczne: proszę sobie wyobrazić układ z ogromną liczbą potencjometrów montażowych. Każdy potencjometr jest ustawiony w określonej pozycji. Razem te ustawienia decydują, jak układ reaguje na sygnał wejściowy.

W modelu AI zamiast potencjometrów są liczby, na przykład:



Tych liczb mogą być tysiące, miliony albo miliardy.

Model opisany w poście ma około 25 milionów parametrów, ale jego najważniejsza stale liczona część, zwana tam „gęstym rdzeniem”, ma około 559 tysięcy parametrów.

Dla porównania:

Rodzaj modelu	Liczba parametrów	Charakter
Miniaturowy model z projektu	ok. 25 mln	demonstrator na ESP32-S3
Małe modele lokalne na PC/telefon	setki mln do kilku mld	proste rozmowy, klasyfikacja, asystenci
Duże modele serwerowe	dziesiątki/setki mld	zaawansowana rozmowa, analiza, kod

Więcej parametrów zwykle oznacza większe możliwości, ale też większe wymagania pamięciowe i obliczeniowe.

---

4. Co znaczy „port modelu AI generującego tekst na mikrokontroler”?

Port albo portowanie oznacza dostosowanie programu do pracy na innym sprzęcie lub w innym środowisku.

Tu chodzi o to, że program typu LLM, czyli model językowy, został przeniesiony na ESP32-S3.

ESP32-S3 to mikrokontroler, a nie pełny komputer. Typowo taki układ stosuje się do:

- sterowania przekaźnikami,
- obsługi Wi-Fi,
- odczytu czujników,
- sterowania wyświetlaczem,
- prostych urządzeń IoT,
- automatyki domowej.

To układ bardzo ograniczony w porównaniu z komputerem PC. Ma mało RAM-u, wolniejsze taktowanie i brak dużej karty graficznej. Dlatego uruchomienie na nim programu generującego tekst jest ciekawostką techniczną.

To trochę jak z uruchamianiem gry Doom na kalkulatorze, zegarku albo terminalu płatniczym: praktyczność jest ograniczona, ale pokazuje możliwości sprzętu i umiejętności autora.

---

5. Pamięci w ESP32-S3: SRAM, PSRAM i flash

Klucz do zrozumienia projektu to pamięć. Autor wykorzystał trzy różne rodzaje pamięci:

Pamięć	Porównanie	Cechy	Co tam trafiło
SRAM	blat roboczy	mała, ale szybka	najważniejszy rdzeń modelu
PSRAM	szuflada pod stołem	większa, wolniejsza	część danych roboczych i głowa wyjściowa
Flash	regał w piwnicy	duża, najwolniejsza, nieulotna	większość parametrów modelu

Najważniejsza sztuczka polega na tym, że model nie próbuje wczytać wszystkiego naraz do RAM-u. Gdyby próbował, zabrakłoby pamięci.

Zamiast tego:

- mały, często używany fragment jest w szybkiej pamięci,
- duża masa danych leży we flash,
- z flash pobierane są tylko małe fragmenty potrzebne w danym momencie.

To jest podobne do pracy z książką telefoniczną. Nie przepisuje Pan całej książki na kartkę. Otwiera Pan właściwą stronę i odczytuje tylko jeden potrzebny numer.

---

6. „Gęsty rdzeń modelu” — o co chodzi?

Zdanie:

> „obsługuje gęsty rdzeń modelu (559K parametrów)”

można przetłumaczyć tak:

> Szybka część pamięci mikrokontrolera przechowuje i liczy główny mały układ obliczeniowy modelu, który ma 559 tysięcy liczb.

„Gęsty” w tym kontekście oznacza, że ta część modelu jest używana cała albo prawie cała przy każdym kroku generowania tekstu.

Czyli gdy model ma wygenerować następny token, ten rdzeń stale bierze udział w obliczeniach. Dlatego warto trzymać go w najszybszej pamięci.

Prosty schemat:



Gdyby ta część była w wolnej pamięci flash, układ traciłby dużo czasu na odczyty.

---

7. Co znaczy „25 milionów parametrów siedzi we flash”?

To znaczy, że większość liczb opisujących model nie jest trzymana w szybkiej pamięci RAM, tylko w pamięci programu, czyli flash.

Flash jest pamięcią nieulotną: po wyłączeniu zasilania dane zostają. W mikrokontrolerach trzyma się tam zwykle firmware, stałe, grafiki, fonty, strony WWW, konfiguracje itd.

Tutaj do flash wpisano dużą część modelu AI.

Problem: flash jest wolniejszy od RAM-u.
Rozwiązanie: nie czytać całej flash przy każdym kroku, tylko czytać niewielkie porcje.

I właśnie to jest sedno osiągnięcia.

---

8. „Rzadkie wiersze” — najbardziej mylące sformułowanie

Zdanie:

> „trafnie czyta rzadkie wiersze zamiast polegać na ogromnym rdzeniu”

jest żargonowe i średnio szczęśliwie brzmi po polsku.

Tu nie chodzi o wiersze w sensie poezji. Chodzi o wiersze tabeli, czyli pojedyncze pozycje w dużej macierzy/liczbowej tablicy modelu.

W modelach językowych istnieją tabele, które przypisują tokenom pewne zestawy liczb. Taki zestaw liczb nazywa się często embeddingiem. Można to potraktować jako „opis matematyczny tokenu”.

Przykład uproszczony:

Token	Numer tokenu	Wiersz tabeli z liczbami
„dom”	1024	[0.12, -0.08, 0.44, ...]
„kot”	2311	[0.02, 0.31, -0.17, ...]
„lutownica”	18540	[0.55, -0.11, 0.03, ...]

Jeżeli w tekście pojawia się token „lutownica”, model nie musi czytać całej tabeli. Wystarczy, że odczyta jeden konkretny wiersz tabeli, czyli zestaw liczb dla tokenu „lutownica”.

To nazywa się dostęp rzadki albo sparse access — pobieramy tylko małe wybrane fragmenty, a nie całość.

Czyli „rzadkie wiersze” oznaczają:

> pojedyncze wpisy z dużej tabeli parametrów, odczytywane tylko wtedy, gdy są potrzebne.

---

9. Dlaczego duży słownik pomaga?

W poście wspomniano o słowniku:



To znaczy, że model ma słownik około 32768 tokenów. Każdy token ma swój numer.

Duży słownik pozwala modelowi przechowywać wiele gotowych kawałków słów i zwrotów. Dzięki temu mniejszy rdzeń obliczeniowy nie musi „domyślać się” wszystkiego od zera.

Można to porównać do elektronika mającego dobrze opisane szufladki z elementami. Jeśli potrzebuje rezystora 4,7 kΩ, nie musi go budować z drutu oporowego — wyciąga gotowy element z szufladki.

Tak samo model:

- ma wiele gotowych reprezentacji tokenów,
- przy pracy pobiera tylko potrzebne reprezentacje,
- dzięki temu rdzeń może być mniejszy.

---

10. Dlaczego to jest trudne na mikrokontrolerze?

Bo klasyczny model językowy wymaga dużo:

- pamięci RAM,
- pamięci na parametry,
- szybkich mnożeń macierzy,
- dużej przepustowości pamięci,
- czasem sprzętowej akceleracji GPU/NPU.

ESP32-S3 ma bardzo ograniczone zasoby. Tu użyto wersji z:

- 512 KB SRAM,
- 8 MB PSRAM,
- 16 MB flash.

Dla porównania zwykły laptop ma zwykle kilka lub kilkanaście gigabajtów RAM. To tysiące razy więcej.

Dlatego osiągnięcie polega na takim rozłożeniu danych, żeby mikrokontroler nie musiał dźwigać wszystkiego naraz.

---

11. Prosty obraz całości

Można to sobie wyobrazić tak:



Przy generowaniu jednego następnego tokenu układ robi mniej więcej:



---

12. Co to jest „głowa wyjściowa”?

W poście wspomniano, że do PSRAM przeniesiono „głowę wyjściową”.

W modelach językowych „głowa wyjściowa” to końcowy fragment modelu, który decyduje:

> jaki token ma być następny?

Jeżeli słownik ma 32768 tokenów, to model na końcu musi oszacować, który z tych 32768 tokenów jest najbardziej prawdopodobny.

Przykład:



Głowa wyjściowa produkuje takie oceny dla tokenów. Ponieważ słownik jest duży, ta część też może zajmować sporo pamięci, więc trafiła do większej, ale wolniejszej PSRAM.

---

13. Czy to jest praktyczne?

Na dziś: częściowo.

Jako pokaz możliwości — bardzo ciekawe.
Jako zamiennik dużego asystenta AI — nie.

Taki model może mieć sens w prostych zadaniach:

- lokalny parser komend,
- proste przewidywanie tekstu,
- generowanie krótkich komunikatów,
- zabawka edukacyjna,
- demonstrator AI offline,
- prosta interakcja z urządzeniem bez internetu,
- sterownik z bardziej naturalnymi komendami użytkownika.

Przykład praktyczny:



Do takiego zadania nie potrzeba wielkiego modelu. Często wystarczy mały klasyfikator, parser regułowy albo klasyczne rozpoznawanie komend. Ale model językowy może pomóc, gdy użytkownik wpisuje komendy w różnych formach:



---

14. Czy to może mieć związek z „klawiszem od spłuczki”?

W żartobliwym sensie — tak. Technicznie można sobie wyobrazić urządzenie sanitarne, AGD albo czujnik, który ma wbudowany lokalny model do rozumienia prostych poleceń.

Ale trzeba zachować zdrowy rozsądek. Do spłuczki, przekaźnika, termostatu czy czujnika zalania pełny model językowy zwykle jest przerostem formy nad treścią.

W automatyce często lepsze są:

- proste maszyny stanów,
- klasyczne algorytmy,
- reguły logiczne,
- małe klasyfikatory,
- lokalne modele TinyML,
- komendy z ograniczonego słownika.

Model językowy na ESP32 ma sens głównie tam, gdzie tekst albo język naturalny rzeczywiście coś daje.

---

15. Co z bezpieczeństwem?

Jeżeli urządzenie AI działa lokalnie, bez chmury, są plusy:

- nie wysyła danych użytkownika na zewnętrzny serwer,
- może działać bez internetu,
- ma krótszą drogę reakcji,
- trudniej podsłuchać komunikację, jeśli jej nie ma.

Ale są też minusy:

- trudniej aktualizować model,
- model może źle zinterpretować komendę,
- może wygenerować bezsensowną odpowiedź,
- jeśli steruje czymś fizycznym, potrzebne są twarde zabezpieczenia poza AI.

Najważniejsza zasada inżynierska:

> Model językowy nie powinien bezpośrednio sterować elementami wykonawczymi odpowiedzialnymi za bezpieczeństwo.

Czyli AI może rozpoznać intencję użytkownika, ale ostateczna logika powinna przejść przez klasyczny, deterministyczny kod:



---

16. Najkrótsze tłumaczenie trzech cytatów

Cytat	Po ludzku
„port modelu AI generującego tekst na mikrokontroler”	Przerobiono program piszący tekst tak, żeby działał na małym ESP32.
„obsługuje gęsty rdzeń modelu, 559K parametrów”	Najważniejsza mała część obliczeniowa ma 559 tys. zapisanych liczb i siedzi w szybkiej pamięci.
„trafnie czyta rzadkie wiersze zamiast polegać na ogromnym rdzeniu”	Zamiast wielkiego modelu w RAM-ie, odczytuje z dużej tabeli tylko potrzebne wpisy.

---

Podsumowanie

Największa sztuczka tego projektu to nie „magiczna inteligencja”, tylko bardzo sprytna organizacja danych.

Autor zrobił mniej więcej tak:

1. mały, często używany rdzeń dał do szybkiej pamięci,
2. duże tabele trzyma w wolniejszej flash,
3. z flash czyta tylko pojedyncze potrzebne wpisy,
4. większe dane pomocnicze trzyma w PSRAM,
5. dzięki temu ESP32-S3 może generować prosty tekst lokalnie.

To osiągnięcie jest ciekawe inżyniersko, bo pokazuje, że nawet tani mikrokontroler może wykonywać zadania kojarzone dotąd z dużo większym sprzętem. Praktycznie jednak nie należy tego mylić z dużym asystentem AI. To raczej miniaturowy model tekstowy, dobry do eksperymentów, prostych komend i demonstracji działania AI offline.