TinyML stanie się największym motorem rynku mikrokontrolerów w ciągu najbliższych 10 lat — tak twierdzi Remi El-Ouazzane, prezes grupy mikrokontrolerów i układów cyfrowych w firmie STMicroelectronics. „Naprawdę wierzę, że to jest początek fali tsunami” — zasygnalizował w wywiadzie dla portalu EE Times. „Zobaczymy ogrom produktów wyposażonych w funkcje uczenia maszynowego: trend ten będzie się tylko zwiększać, przyciągając dużo uwagi”.
STMicro obecnie posiada około jednej czwartej rynku mikrokontrolerów, sprzedając codziennie od pięciu do dziesięciu milionów sztuk z rodziny STM32. Według El-Ouazzane, w ciągu najbliższych pięciu lat 500 milionów z tych układów będzie obsługiwać jakąś formę TinyML lub innego obciążenia związanego z uczeniem maszynowym. TinyML, czyli framework dedykowany do uruchamiania wnioskowania sztucznej inteligencji lub uczenia maszynowego na zwykłych mikrokontrolerach: „stanie się najobszerniejszym rynkiem końcowym na świecie” — wskazał.
„Podczas gdy sądzę, że [TinyML] to największy powstający obecnie rynek, jestem także pokorny wobec faktu, że mamy za sobą trzy do pięciu lat w kwestii edukowania zarządów firm produkujących wentylatory, pompy, falowniki, przedsiębiorstw wytwarzających bębny do pralek — wszyscy ci ludzie dołączają teraz do tego trendu” — mówi. „Żyjemy w świecie ChatGPT i nawet te oporne podmioty w końcu zaczynają korzystać z AI. Przewidywałem, że tak się stanie względem Movidius w przeszłości. Rozpatrywałem to… długo to trwało, ale ostatecznie widać, że to się po prostu dzieje”.
Wdrożenia TinyML
Firma zajmująca się zarządzaniem energią i automatyzacją, Schneider Electric, wykorzystuje standardowe urządzenie STM32 do zastosowań związanych z liczeniem osób i obrazowaniem termicznym. W tym celu używa algorytmów klasyfikacji i segmentacji na danych sensorowych pochodzących z kamery podczerwieni termicznej. Zarówno przetwarzanie obrazu termicznego, jak i działanie sztucznej inteligencji odbywa się na mikrokontrolerze. Schneider może zużytkować wyniki w celu optymalizacji systemów HVAC, co przekłada się na redukcję śladu węglowego budynków.
Specjalista od drzwi przemysłowych, firma Crouzet, również łączy urządzenia STM32 z technologią tinyML w ramach przewidywania konieczności konserwacji. „To było interesujące, ponieważ dla nich koszty konserwacji są bardzo istotne” — powiedział El-Ouazzane. „Muszą wysłać odpowiednią osobę po zdarzeniu, a jeśli np. samolot jest uziemiony z powodu awarii drzwi… to nie jest dobra wiadomość, gdy otrzymają taką informację”. System tinyML w Crouzet może w czasie rzeczywistym wykrywać dryf sygnału z dużą dokładnością, aby uniknąć potencjalnego uszkodzenia. To rozwiązanie przetwarza dane w drzwiach, a następnie wysyła zbierane metadane do analizy. „Dosłownie zmieniają swój model biznesowy, aby móc przeprowadzać konserwację, zanim będzie to konieczne, co pozwala im być znacznie bardziej efektywnymi w zakresie wykorzystania pracowników konserwacji. I oczywiście, oszczędza im to również kwestię otrzymania telefonu, którego za nic nie chcą odbierać...” — podsumowuje El-Ouazzane.
Innym przykładem jest chińska marka z sektora smart energy, Goodwe. Wykorzystuje ona technologię tinyML dla danych zebranych z czujników wibracji i temperatury w celu zapobiegania powstawaniu łuków elektrycznych w swoich przetwornikach wysokiej mocy.
Mimo że to świetne przykłady, można zadać sobie pytanie, dlaczego nie widzimy dziś tej fali tsunami?
„Między rozpoczęciem zaangażowania a [wdrożeniem], po zrozumieniu platformy, tworzeniu prototypów, udowadnianiu koncepcji, testowaniu, niezależnie od tego, jak to nazwiemy, a także po uzyskaniu akceptacji kilku poziomów zarządzania, mija około trzech lat” — oznajmił. „W świecie przemysłowym zajmuje to trzy lata, zanim od myślenia o czymś firma rozpocznie z nami współpracę po raz pierwszy, a biblioteka ML zostanie wdrożona w produkcji ich produktu”.
Stos oprogramowania
W ogólności STMicro dzieli swoich klientów tinyML na dwie grupy. Na tych przemysłowych, którzy mają trzy lata przewagi i zazwyczaj niewielkie doświadczenie związane z AI. Podczas gdy firmy, które zainwestowały w wiedzę z zakresu nauki o danych przeważnie mogą szybciej odnieść sukces. STMicro stosuje podobne podejście do konkurentów, w tym NXP: stos oprogramowania, który prezentuje różne punkty wejścia w zależności od poziomu doświadczenia użytkownika w dziedzinie AI.
Dla grupy przemysłowej, NanoEdge AI Studio nie wymaga zaawansowanej wiedzy w obrębie nauki o danych, co umożliwia programistom oprogramowania wbudowanego tworzenie optymalnych bibliotek ML z przyjaznego dla użytkownika interfejsu. Obecnie obsługuje on cztery typy bibliotek: wykrywanie anomalii i wartości odstających, klasyfikację i regresję. Mogą one być łączone i modyfikowane. Na przykład, wykrywanie wartości odstających może wyłapać problem, klasyfikacja może zidentyfikować jego źródło, a następnie regresja ekstrapolować informacje, aby dostarczyć dalsze wnioski. NanoEdge AI jest wykorzystywany przez klientów, takich jak Crouzet, jako platforma low-code do pracy z czujnikami wibracji, ciśnienia, dźwięku, pola magnetycznego i czasu lotu.
Drugi punkt wejścia, STM32 Cube.AI, pozwala programistom trenować sieci neuronowe i optymalizować je pod kątem ograniczeń pamięci i obliczeń. Wbrew intuicji ta platforma rośnie szybciej niż jej: „brat” low-code. El-Ouazzane powiedział, że liczba pobrań STM32 Cube.AI na komputery stacjonarne wzrosła o 400% między marcem ubiegłego roku a majem obecnego. „W tym przypadku czas wejścia na rynek jest bardzo krótki — mniej niż dwa lata — ponieważ osoby korzystające z tej platformy wiedzą, czego chcą i jak mają to wdrożyć, a poziom zaawansowania jest dość wysoki” — wskazał.
El-Ouazzane wie, że oprogramowanie AI to zarówno problem kompilatora, jak i narzędzi. Zdając sobie sprawę, że trudno będzie przekonać programistów do zmiany znanych instrumentów, STMicro zwróciło się do Nvidia z propozycją współpracy przy popularnym narzędziu Tao. Efektem tego jest możliwość przenoszenia modeli ze skarbnicy Nvidii lub STMicro w formacie ONNX do Tao, gdzie mogą być trenowane i optymalizowane (kwantyzowane i odpowiednio przycięte). A następnie konwertowane z powrotem na format ONNX i eksportowane do STM32 Cube.AI w celu skompilowania do kodu C, który może być uruchamiany na STM32. „Dla nas sposób myślenia był taki: istnieje narzędzie referencyjne, a im mocniej się z nim zintegrujemy, tym bardziej możemy poszerzyć krąg programistów i liczbę pobrań” — wskazuje El-Ouazzane. „Wierzę, że Nvidia dostrzega ogromny rynek 500 milionów mikrokontrolerów rocznie, a [modele AI] muszą być gdzieś trenowane”.
Przykład aplikacji STMicro pokazuje, że mikrokontroler STM32 wykrywa ludzi, a następnie przekazuje tylko obrazy z osobami do układu GPU Nvidia Jetson w celu dalszych zadań klasyfikacji. To zmniejsza ilość obliczeń potrzebnych do realizacji na GPU i może pomóc w dopasowaniu systemu do bardziej restrykcyjnego budżetu zasilania podczas uruchamiania na krawędzi chmury. El-Ouazzane jest również otwarty na ekosystem firm trzecich tworzących oprogramowanie kompatybilne z urządzeniami STM32 ARM Cortex-M, w tym OctoML, Plumerai i innych, co może prowadzić do „współpracy i rywalizacji”. „Niektóre z tych podmiotów pomagają nam pozostać wiarygodnymi!” — powiedział. „Jeśli firmy lub klienci chcą wykorzystać nasze rozwiązanie, nigdy byśmy tego nie zatrzymali: to nie jest najlepsza praktyka. W każdej rundzie [MLPerf] staramy się osiągać lepsze [wyniki testów — przyp.red.] niż wcześniej i zbliżyć do maksimum. Jednakże chcę, żeby konkurencja była zdrowa i pozwalała zyskiwać przychylność klientów”.
Około trzech czwartych zgłoszeń w ostatniej rundzie benchmarków MLPerf Tiny zostało złożonych na sprzęcie STM32, co, jak powiedział El-Ouazzane, świadczy o dojrzałości stosu STMicro. Przedsiębiorstwo planuje umożliwić potencjalnym klientom odtworzenie wyników MLPerf w chmurze deweloperskiej. „Nauczyłem się na własnej skórze, że wydajność sprzętu ma znaczenie, ale twój stos i sposób, w jaki go wykorzystujesz stanowią większą różnicę” — zakomunikował El-Ouazzane. „Jesteśmy czujni na punkcie rozszerzania naszego ekosystemu i zwiększania liczby programistów, a także trzymania ich pod naszym dachem. Zrobimy, co możemy, aby udaremnić odchodzenie od tego środowiska”.
Plany rozwoju sprzętu
STMicro pracuje również nad nowoczesnym sprzętem wbudowanym do realizacji algorytmów AI krawędzi chmury. „Brzeg to inna gra niż trening sieci” — powiedział El-Ouazzane, dodając, że podczas gdy szkolenie jest ograniczone przez połączenie między interfejsami, a także względami obliczeniowymi i pamięciowymi, na brzegu główny limit stanowi koszt. „Na mikrobrzegu, budując produkty, jesteś ograniczony przez wydatki. Nie można tu poszaleć” — oznajmił. „Istnieje nominalny pułap cenowy, wynoszący od 1 do 3 dolarów... a część kosztów jest konsumowana przez pamięć nieulotną w mikrokontrolerze”.
STM32N6, pierwszy układ ARM Cortex-M z własnym akceleratorem sieci neuronowej (NPU) na chipie, został niedawno zaprezentowany z przerobioną wersją sieci YOLO, osiągając prędkość 314 klatek na sekundę. Jest to o jeden lub dwa rzędy wielkości szybciej niż ten sam model widzenia maszynowego operujący na mikrokontrolerze z rodziny STM32H7, najmocniejszym układzie ze stajni STMicro, który jednak nie ma NPU. „N6 ma tradycyjną architekturę von Neumanna, bardzo podobną [choć niepowiązaną — przyp.red.] do tego, co robiliśmy w Movidiusie, ale o wiele bardziej zoptymalizowaną pod względem miejsca, super kompaktową i oferującą rozsądną ilość TOPS na wat” — wskazał El-Ouazzane. (Architektura Movidius opierała się na niestandardowych programowalnych układach DSP VLIW specjalnie zaprojektowanych do zastosowań w AI, podczas gdy NPU N6 to pełnoprawna konstrukcja do przetwarzania danych). Układ N6 zostanie dostarczony do 10-15 wiodących klientów we wrześniu tego roku w ramach programu próbek deweloperskich, podczas gdy oficjalne wprowadzenie na rynek odbędzie się w przyszłym. Jednak El-Ouazzane jasno podkreśla, że N6 nie jest ostatecznym celem STMicro w dziedzinie technologii AI.
„Jeśli przypuścimy, że chcemy osiągnąć nasze założenie uzyskania określonej wydajności na wat między 2025 a 2030 rokiem, możemy przyjąć, że N6 stanowi dziesiątą część tego celu” — powiedział. „To jest to, ile wzrostu zobaczymy w przyszłych latach. N6 to świetny produkt i zdobywa dużo uwagi w przypadkach użycia związanych z autonomicznymi pojazdami, ale nadchodzi eksplozja wydajności: będą istnieć sieci neuronowe pracujące na mikrokontrolerach łączące widzenie, dźwięk i dane z szeregów czasowych”. Jego wizja wymaganego 10-krotnego wzrostu efektywności opiera się na tym, że pamięć nieulotna, pozwalająca na schematy obliczeniowe w pamięci, jest kluczowa.
STMicro zaprezentowało w tym roku na konferencji ISSCC pracę na temat projektu obliczeń w pamięci, opartego na SRAM, który jest rozwijany dla przyszłych generacji układów. Demonstrator osiągnął 57 TOPS przy sprawności energetycznej 77 TOPS/W na poziomie układu (przy obliczeniach INT4). Jednak może minąć trochę czasu, zanim rozwiązanie to trafi na rynek masowy. „Technologia ta jest obecnie w krzemie, możemy ją zademonstrować i zmierzyć jej wydajność” — mówi El-Ouazzane. „Jednak staje się też pytaniem związanym z planami rozwoju. [Technologia ta] to coś, co na pewno pojawi się w ciągu najbliższych trzech do pięciu lat”.
Dla STMicro, jak zauważa, kiedy nadejdzie zmiana, to odbędzie się to na dużą skalę. Przygotowanie produktu w takim zakresie wymaga czasu — testowania, dokumentacji, wsparcia. Stąd określanie planów rozwoju czy wprowadzania na rynek ma mniej wspólnego z samą technologią, a bardziej z tym, jak szybko STMicro może ją przekształcać w realny produkt. „Jesteśmy bardzo podekscytowani tym, że jesteśmy liderem w przestrzeni mikrokontrolerów i akceleracji AI” — chwali się El-Ouazzane. „Niektórzy z nas zrobili to wcześniej w środowisku centrów danych i klientów, stąd myślimy, że możemy to powtórzyć. Nasza droga pozwoli nam wykonać niesamowite rzeczy w ciągu najbliższych pięciu lat” — podsumowuje.
Rozmowa z Remim El-Ouazzane, prezesem grupy mikrokontrolerów i układów cyfrowych STMicroelectronics, rzuca światło na rewolucję TinyML w dziedzinie mikrokontrolerów. Przyszłość wydaje się obiecująca, a według El-Ouazzana, framework TinyML stanie się głównym napędem dla obszaru mikrokontrolerów w ciągu najbliższych 10 lat. Przykłady zastosowań tej technologii, takie jak optymalizacja systemów wentylacji czy konserwacja predykcyjna maszyn przemysłowych, pokazują, że TinyML odgrywa kluczową rolę w udoskonalaniu i zwiększaniu efektywności szeregu branż. Firma STMicroelectronics wprowadza na rynek różne narzędzia, takie jak NanoEdge AI Studio czy STM32 Cube.AI, aby ułatwić tworzenie i wdrażanie modeli TinyML. Ponadto, marka pracuje nad nowymi rozwiązaniami sprzętowymi, które poszerzą granice możliwości sztucznej inteligencji w systemach embedded na brzegu.
Czy mieliście okazję korzystać z frameworka TinyML w swojej pracy lub projektach konstrukcyjnych? Podzielcie się swoimi doświadczeniami i przemyśleniami na forum!
Źródło: https://www.eetimes.com/remi-el-ouazzane-a-tsunami-of-tinyml-devices-is-coming/
STMicro obecnie posiada około jednej czwartej rynku mikrokontrolerów, sprzedając codziennie od pięciu do dziesięciu milionów sztuk z rodziny STM32. Według El-Ouazzane, w ciągu najbliższych pięciu lat 500 milionów z tych układów będzie obsługiwać jakąś formę TinyML lub innego obciążenia związanego z uczeniem maszynowym. TinyML, czyli framework dedykowany do uruchamiania wnioskowania sztucznej inteligencji lub uczenia maszynowego na zwykłych mikrokontrolerach: „stanie się najobszerniejszym rynkiem końcowym na świecie” — wskazał.
„Podczas gdy sądzę, że [TinyML] to największy powstający obecnie rynek, jestem także pokorny wobec faktu, że mamy za sobą trzy do pięciu lat w kwestii edukowania zarządów firm produkujących wentylatory, pompy, falowniki, przedsiębiorstw wytwarzających bębny do pralek — wszyscy ci ludzie dołączają teraz do tego trendu” — mówi. „Żyjemy w świecie ChatGPT i nawet te oporne podmioty w końcu zaczynają korzystać z AI. Przewidywałem, że tak się stanie względem Movidius w przeszłości. Rozpatrywałem to… długo to trwało, ale ostatecznie widać, że to się po prostu dzieje”.
Wdrożenia TinyML
Firma zajmująca się zarządzaniem energią i automatyzacją, Schneider Electric, wykorzystuje standardowe urządzenie STM32 do zastosowań związanych z liczeniem osób i obrazowaniem termicznym. W tym celu używa algorytmów klasyfikacji i segmentacji na danych sensorowych pochodzących z kamery podczerwieni termicznej. Zarówno przetwarzanie obrazu termicznego, jak i działanie sztucznej inteligencji odbywa się na mikrokontrolerze. Schneider może zużytkować wyniki w celu optymalizacji systemów HVAC, co przekłada się na redukcję śladu węglowego budynków.
Specjalista od drzwi przemysłowych, firma Crouzet, również łączy urządzenia STM32 z technologią tinyML w ramach przewidywania konieczności konserwacji. „To było interesujące, ponieważ dla nich koszty konserwacji są bardzo istotne” — powiedział El-Ouazzane. „Muszą wysłać odpowiednią osobę po zdarzeniu, a jeśli np. samolot jest uziemiony z powodu awarii drzwi… to nie jest dobra wiadomość, gdy otrzymają taką informację”. System tinyML w Crouzet może w czasie rzeczywistym wykrywać dryf sygnału z dużą dokładnością, aby uniknąć potencjalnego uszkodzenia. To rozwiązanie przetwarza dane w drzwiach, a następnie wysyła zbierane metadane do analizy. „Dosłownie zmieniają swój model biznesowy, aby móc przeprowadzać konserwację, zanim będzie to konieczne, co pozwala im być znacznie bardziej efektywnymi w zakresie wykorzystania pracowników konserwacji. I oczywiście, oszczędza im to również kwestię otrzymania telefonu, którego za nic nie chcą odbierać...” — podsumowuje El-Ouazzane.
Innym przykładem jest chińska marka z sektora smart energy, Goodwe. Wykorzystuje ona technologię tinyML dla danych zebranych z czujników wibracji i temperatury w celu zapobiegania powstawaniu łuków elektrycznych w swoich przetwornikach wysokiej mocy.
Mimo że to świetne przykłady, można zadać sobie pytanie, dlaczego nie widzimy dziś tej fali tsunami?
„Między rozpoczęciem zaangażowania a [wdrożeniem], po zrozumieniu platformy, tworzeniu prototypów, udowadnianiu koncepcji, testowaniu, niezależnie od tego, jak to nazwiemy, a także po uzyskaniu akceptacji kilku poziomów zarządzania, mija około trzech lat” — oznajmił. „W świecie przemysłowym zajmuje to trzy lata, zanim od myślenia o czymś firma rozpocznie z nami współpracę po raz pierwszy, a biblioteka ML zostanie wdrożona w produkcji ich produktu”.
STMicro udostępniło w swojej chmurze
deweloperskiej szereg płytek dla wielu
układów z rodziny STM32.
deweloperskiej szereg płytek dla wielu
układów z rodziny STM32.
W ogólności STMicro dzieli swoich klientów tinyML na dwie grupy. Na tych przemysłowych, którzy mają trzy lata przewagi i zazwyczaj niewielkie doświadczenie związane z AI. Podczas gdy firmy, które zainwestowały w wiedzę z zakresu nauki o danych przeważnie mogą szybciej odnieść sukces. STMicro stosuje podobne podejście do konkurentów, w tym NXP: stos oprogramowania, który prezentuje różne punkty wejścia w zależności od poziomu doświadczenia użytkownika w dziedzinie AI.
Dla grupy przemysłowej, NanoEdge AI Studio nie wymaga zaawansowanej wiedzy w obrębie nauki o danych, co umożliwia programistom oprogramowania wbudowanego tworzenie optymalnych bibliotek ML z przyjaznego dla użytkownika interfejsu. Obecnie obsługuje on cztery typy bibliotek: wykrywanie anomalii i wartości odstających, klasyfikację i regresję. Mogą one być łączone i modyfikowane. Na przykład, wykrywanie wartości odstających może wyłapać problem, klasyfikacja może zidentyfikować jego źródło, a następnie regresja ekstrapolować informacje, aby dostarczyć dalsze wnioski. NanoEdge AI jest wykorzystywany przez klientów, takich jak Crouzet, jako platforma low-code do pracy z czujnikami wibracji, ciśnienia, dźwięku, pola magnetycznego i czasu lotu.
Drugi punkt wejścia, STM32 Cube.AI, pozwala programistom trenować sieci neuronowe i optymalizować je pod kątem ograniczeń pamięci i obliczeń. Wbrew intuicji ta platforma rośnie szybciej niż jej: „brat” low-code. El-Ouazzane powiedział, że liczba pobrań STM32 Cube.AI na komputery stacjonarne wzrosła o 400% między marcem ubiegłego roku a majem obecnego. „W tym przypadku czas wejścia na rynek jest bardzo krótki — mniej niż dwa lata — ponieważ osoby korzystające z tej platformy wiedzą, czego chcą i jak mają to wdrożyć, a poziom zaawansowania jest dość wysoki” — wskazał.
El-Ouazzane wie, że oprogramowanie AI to zarówno problem kompilatora, jak i narzędzi. Zdając sobie sprawę, że trudno będzie przekonać programistów do zmiany znanych instrumentów, STMicro zwróciło się do Nvidia z propozycją współpracy przy popularnym narzędziu Tao. Efektem tego jest możliwość przenoszenia modeli ze skarbnicy Nvidii lub STMicro w formacie ONNX do Tao, gdzie mogą być trenowane i optymalizowane (kwantyzowane i odpowiednio przycięte). A następnie konwertowane z powrotem na format ONNX i eksportowane do STM32 Cube.AI w celu skompilowania do kodu C, który może być uruchamiany na STM32. „Dla nas sposób myślenia był taki: istnieje narzędzie referencyjne, a im mocniej się z nim zintegrujemy, tym bardziej możemy poszerzyć krąg programistów i liczbę pobrań” — wskazuje El-Ouazzane. „Wierzę, że Nvidia dostrzega ogromny rynek 500 milionów mikrokontrolerów rocznie, a [modele AI] muszą być gdzieś trenowane”.
Przykład aplikacji STMicro pokazuje, że mikrokontroler STM32 wykrywa ludzi, a następnie przekazuje tylko obrazy z osobami do układu GPU Nvidia Jetson w celu dalszych zadań klasyfikacji. To zmniejsza ilość obliczeń potrzebnych do realizacji na GPU i może pomóc w dopasowaniu systemu do bardziej restrykcyjnego budżetu zasilania podczas uruchamiania na krawędzi chmury. El-Ouazzane jest również otwarty na ekosystem firm trzecich tworzących oprogramowanie kompatybilne z urządzeniami STM32 ARM Cortex-M, w tym OctoML, Plumerai i innych, co może prowadzić do „współpracy i rywalizacji”. „Niektóre z tych podmiotów pomagają nam pozostać wiarygodnymi!” — powiedział. „Jeśli firmy lub klienci chcą wykorzystać nasze rozwiązanie, nigdy byśmy tego nie zatrzymali: to nie jest najlepsza praktyka. W każdej rundzie [MLPerf] staramy się osiągać lepsze [wyniki testów — przyp.red.] niż wcześniej i zbliżyć do maksimum. Jednakże chcę, żeby konkurencja była zdrowa i pozwalała zyskiwać przychylność klientów”.
Około trzech czwartych zgłoszeń w ostatniej rundzie benchmarków MLPerf Tiny zostało złożonych na sprzęcie STM32, co, jak powiedział El-Ouazzane, świadczy o dojrzałości stosu STMicro. Przedsiębiorstwo planuje umożliwić potencjalnym klientom odtworzenie wyników MLPerf w chmurze deweloperskiej. „Nauczyłem się na własnej skórze, że wydajność sprzętu ma znaczenie, ale twój stos i sposób, w jaki go wykorzystujesz stanowią większą różnicę” — zakomunikował El-Ouazzane. „Jesteśmy czujni na punkcie rozszerzania naszego ekosystemu i zwiększania liczby programistów, a także trzymania ich pod naszym dachem. Zrobimy, co możemy, aby udaremnić odchodzenie od tego środowiska”.
Reporterzy EE Times podczas targów
Embedded World 2023 mieli możliwość
obejrzeć zapowiadany STM32N6,
nowy mikrokontroler, dedykowany do
akceleracji algorytmów AI na chipie.
Embedded World 2023 mieli możliwość
obejrzeć zapowiadany STM32N6,
nowy mikrokontroler, dedykowany do
akceleracji algorytmów AI na chipie.
STMicro pracuje również nad nowoczesnym sprzętem wbudowanym do realizacji algorytmów AI krawędzi chmury. „Brzeg to inna gra niż trening sieci” — powiedział El-Ouazzane, dodając, że podczas gdy szkolenie jest ograniczone przez połączenie między interfejsami, a także względami obliczeniowymi i pamięciowymi, na brzegu główny limit stanowi koszt. „Na mikrobrzegu, budując produkty, jesteś ograniczony przez wydatki. Nie można tu poszaleć” — oznajmił. „Istnieje nominalny pułap cenowy, wynoszący od 1 do 3 dolarów... a część kosztów jest konsumowana przez pamięć nieulotną w mikrokontrolerze”.
STM32N6, pierwszy układ ARM Cortex-M z własnym akceleratorem sieci neuronowej (NPU) na chipie, został niedawno zaprezentowany z przerobioną wersją sieci YOLO, osiągając prędkość 314 klatek na sekundę. Jest to o jeden lub dwa rzędy wielkości szybciej niż ten sam model widzenia maszynowego operujący na mikrokontrolerze z rodziny STM32H7, najmocniejszym układzie ze stajni STMicro, który jednak nie ma NPU. „N6 ma tradycyjną architekturę von Neumanna, bardzo podobną [choć niepowiązaną — przyp.red.] do tego, co robiliśmy w Movidiusie, ale o wiele bardziej zoptymalizowaną pod względem miejsca, super kompaktową i oferującą rozsądną ilość TOPS na wat” — wskazał El-Ouazzane. (Architektura Movidius opierała się na niestandardowych programowalnych układach DSP VLIW specjalnie zaprojektowanych do zastosowań w AI, podczas gdy NPU N6 to pełnoprawna konstrukcja do przetwarzania danych). Układ N6 zostanie dostarczony do 10-15 wiodących klientów we wrześniu tego roku w ramach programu próbek deweloperskich, podczas gdy oficjalne wprowadzenie na rynek odbędzie się w przyszłym. Jednak El-Ouazzane jasno podkreśla, że N6 nie jest ostatecznym celem STMicro w dziedzinie technologii AI.
„Jeśli przypuścimy, że chcemy osiągnąć nasze założenie uzyskania określonej wydajności na wat między 2025 a 2030 rokiem, możemy przyjąć, że N6 stanowi dziesiątą część tego celu” — powiedział. „To jest to, ile wzrostu zobaczymy w przyszłych latach. N6 to świetny produkt i zdobywa dużo uwagi w przypadkach użycia związanych z autonomicznymi pojazdami, ale nadchodzi eksplozja wydajności: będą istnieć sieci neuronowe pracujące na mikrokontrolerach łączące widzenie, dźwięk i dane z szeregów czasowych”. Jego wizja wymaganego 10-krotnego wzrostu efektywności opiera się na tym, że pamięć nieulotna, pozwalająca na schematy obliczeniowe w pamięci, jest kluczowa.
STMicro zaprezentowało w tym roku na konferencji ISSCC pracę na temat projektu obliczeń w pamięci, opartego na SRAM, który jest rozwijany dla przyszłych generacji układów. Demonstrator osiągnął 57 TOPS przy sprawności energetycznej 77 TOPS/W na poziomie układu (przy obliczeniach INT4). Jednak może minąć trochę czasu, zanim rozwiązanie to trafi na rynek masowy. „Technologia ta jest obecnie w krzemie, możemy ją zademonstrować i zmierzyć jej wydajność” — mówi El-Ouazzane. „Jednak staje się też pytaniem związanym z planami rozwoju. [Technologia ta] to coś, co na pewno pojawi się w ciągu najbliższych trzech do pięciu lat”.
Dla STMicro, jak zauważa, kiedy nadejdzie zmiana, to odbędzie się to na dużą skalę. Przygotowanie produktu w takim zakresie wymaga czasu — testowania, dokumentacji, wsparcia. Stąd określanie planów rozwoju czy wprowadzania na rynek ma mniej wspólnego z samą technologią, a bardziej z tym, jak szybko STMicro może ją przekształcać w realny produkt. „Jesteśmy bardzo podekscytowani tym, że jesteśmy liderem w przestrzeni mikrokontrolerów i akceleracji AI” — chwali się El-Ouazzane. „Niektórzy z nas zrobili to wcześniej w środowisku centrów danych i klientów, stąd myślimy, że możemy to powtórzyć. Nasza droga pozwoli nam wykonać niesamowite rzeczy w ciągu najbliższych pięciu lat” — podsumowuje.
Rozmowa z Remim El-Ouazzane, prezesem grupy mikrokontrolerów i układów cyfrowych STMicroelectronics, rzuca światło na rewolucję TinyML w dziedzinie mikrokontrolerów. Przyszłość wydaje się obiecująca, a według El-Ouazzana, framework TinyML stanie się głównym napędem dla obszaru mikrokontrolerów w ciągu najbliższych 10 lat. Przykłady zastosowań tej technologii, takie jak optymalizacja systemów wentylacji czy konserwacja predykcyjna maszyn przemysłowych, pokazują, że TinyML odgrywa kluczową rolę w udoskonalaniu i zwiększaniu efektywności szeregu branż. Firma STMicroelectronics wprowadza na rynek różne narzędzia, takie jak NanoEdge AI Studio czy STM32 Cube.AI, aby ułatwić tworzenie i wdrażanie modeli TinyML. Ponadto, marka pracuje nad nowymi rozwiązaniami sprzętowymi, które poszerzą granice możliwości sztucznej inteligencji w systemach embedded na brzegu.
Czy mieliście okazję korzystać z frameworka TinyML w swojej pracy lub projektach konstrukcyjnych? Podzielcie się swoimi doświadczeniami i przemyśleniami na forum!
Źródło: https://www.eetimes.com/remi-el-ouazzane-a-tsunami-of-tinyml-devices-is-coming/
Fajne? Ranking DIY
