Asystent Diagnostyki AGD: n8n + GPT-4o Vision – test rozpoznawania części po zdjęciu

Asystent Diagnostyki AGD - integracja n8n - GPT-4o Vision (projekt rehabilitacyjny)
Cześć. Chciałbym zaprezentować mój projekt, nad którym pracuję od kilku miesięcy.

Geneza: Jestem absolwentem Technikum Łączności w Gdańsku. Całe życie byłem techniczny, ale niestety przeszedłem udar. Skutki są takie, że mam problemy z motoryką i mową (dlatego z góry przepraszam za ew. błędy językowe, wspomagam się narzędziami do pisania). Ponieważ manualne wertowanie katalogów i szukanie części stało się dla mnie trudne, postanowiłem zaprząc do pracy "nowoczesną elektronikę", czyli AI.

Założenia projektu: Stworzenie systemu, który na podstawie zdjęcia (np. tabliczki znamionowej, kodu błędu na wyświetlaczu lub wymontowanej części) rozpozna element i znajdzie jego zamiennik w polskich sklepach.

Technikalia (jak to jest zrobione):

Silnik: n8n (hosting chmurowy).

AI: OpenAI API (model GPT-4o Vision) do analizy obrazu. GPT-4o do logiki wyszukiwania.

Interfejs: Telegram Bot API (najłatwiejszy dla mnie do obsłużenia jedną ręką) oraz prosty frontend webowy.

Workflow:

Użytkownik wysyła zdjęcie.

n8n wysyła obraz do OpenAI z promptem inżynierskim (instrukcja rozpoznawania kodów części, np. łożysk, pasków).

AI zwraca JSON z nazwą części i numerami seryjnymi.

Moduł HTTP Request odpytuje Google/Allegro/North w poszukiwaniu dostępności.

Bot odsyła sformatowaną odpowiedź.

Efekty: Testowałem to na własnej zmywarce i kilku gratach w garażu. System radzi sobie zaskakująco dobrze z odczytywaniem zatartych napisów na łożyskach czy kondensatorach.

Po co to publikuję? Nie sprzedaję tego. Udostępniam to jako ciekawostkę i narzędzie pomocnicze. Szukam feedbacku od praktyków - czy AI faktycznie dobrze rozpoznaje Wasze nietypowe części? Dla mnie to forma rehabilitacji umysłowej i powrotu do świata techniki.

Link do testów (Web/Telegram): http://ai.wargin.pl

Będę wdzięczny za konstruktywną krytykę kodu/logiki.

Pozdrawiam, Lech

Dzięki za podzielenie się rozwiązaniem. Czyli to taki wrapper do OpenAI + automatyzacja przez n8n ?

Chciałem potestować na kilku sytuacjach ode mnie, opisałem problem, AI poprosiło mnie o podanie modelu urządzenia (słusznie), przeszedłem na chwilę na inną kartę w Chrome by to znaleźć, wróciłem potem na Twoją stronę i nagle strona się przeładowała i historia chatu zniknęła:

>>21781948
Dokładnie tak to można ująć.

n8n pełni tu rolę orkiestratora/kleju:

1. Odbiera input (zdjęcie) z Telegrama.
2. Wysyła request do OpenAI, ale z bardzo konkretnym System Promptem (instrukcją, by szukać ciągów znaków charakterystycznych dla numerów seryjnych, a nie opisywać 'co widać na obrazku').
3. Parsuje wynik (JSON) i - co najważniejsze - uruchamia moduły HTTP Request, które odpytują Google/Allegro w poszukiwaniu konkretnych ofert w Polsce.

Samo surowe API OpenAI powie mi 'to jest łożysko 608Z', ale to n8n 'dobudowuje' do tego kontekst zakupowy i podaje linki. No i 'wrapper' w postaci Telegrama jest tu kluczowy ze względu na UX - dla osoby z jedną sprawną ręką to najszybszy interfejs.

Dodano po 2 [minuty]:

>>21784562
Dzięki za ten test i zgłoszenie! To niestety 'choroba wieku dziecięcego' mojej wersji webowej.

Widget na stronie jest obecnie w wersji MVP i nie korzysta z pamięci przeglądarki (Local Storage) do podtrzymania sesji. Jeśli Chrome przeładuje kartę po powrocie z innej zakładki (co często robi dla oszczędności RAM-u), rozmowa się resetuje.

To jest właśnie powód, dla którego głównym kanałem jest Telegram - tam historia jest trwała, 'w chmurze', i można wrócić do tematu nawet po miesiącu. Wersję WWW mam na liście TODO do poprawki, żeby była bardziej odporna na takie sytuacje.