Elektroda.pl
Elektroda.pl
X
Please add exception to AdBlock for elektroda.pl.
If you watch the ads, you support portal and users.

Wdrożenia TinyML na targach Embedded World 2023

ghost666 01 May 2023 13:09 534 3
Optex
  • Wdrożenia TinyML na targach Embedded World 2023
    Fundacja tinyML zrzesza wiele jednostek odpowiedzialnych za rozwój narzędzi do uczenia komputerowego na platformach wbudowanych. Firmy wykorzystujące TinyML, od producentów mikrokontrolerów (MCU), przez przedsiębiorstwa narzędziowe, po optymalizatorów modeli, przeprowadziły szereg prezentacji na targach Embedded World 2023, które odbywały się niedawno w Norymberdze. Podczas gdy uczenie maszynowe (ML) jest stosowane do danych z kamer, dźwięku i innych czujników, większość demonstracji nadal koncentruje się na widzeniu komputerowym. Wiele ukazywanych wersji podglądowych działało poniżej magicznej liczby 1 mW, a więc progu dla funkcjonowania aplikacji: „zawsze włączonych”.

    Przyjrzyjmy się, co przedstawiały poszczególne marki na targach.

    Wdrożenia TinyML na targach Embedded World 2023
    Zapowiedź STM32N6, nowego
    mikrokontrolera z dedykowaną
    akceleracją AI na chipie,
    pokazanego podczas targów
    Embedded World 2023.
    STMicroelectronics

    Redakcja EE Times otrzymała wyłączny dostęp do wersji demonstracyjnej nadchodzącego mikrokontrolera STM32N6 firmy STMicro. Element ten będzie zawierał dedykowany, wbudowany akcelerator sztucznej inteligencji (AI), który został opracowany wewnętrznie w STMicro. Ekspozycja pokazała, że -N6 działa, w dodatku pozwala na uruchamianie niestandardowej wersji YOLO z imponującą prędkością 314 fps. To od jednego do dwóch rzędów wielkości szybciej niż ta sama sieć pracująca na mikrokontrolerze z rodziny STM32H7, najpotężniejszym istniejącym układzie STMicro, który wykorzystuje ARM Cortex-M7.

    Na stoisku STMicro było również kilka innych ciekawych demonstracji, w tym pralka, która mogła określić, ile ubrań się w niej znajduje, aby zoptymalizować ilość dodawanej wody. Ten system jest bezczujnikowy; opiera się na analizie prądu wymaganego do napędzania silnika z zastosowaniem algorytmu AI i przewiduje wagę 800 g prania z dokładnością do 30 g. Robot odkurzający wyposażony w czujnik czasu przelotu także posiłkował się sztuczną inteligencję do ustalania rodzaju czyszczonej powierzchni, aby umożliwić wybór odpowiedniej metody sprzątania.

    Renesas

    Następnym przystankiem było stoisko firmy Renesas, gdzie udało się zobaczyć działający układ z rdzeniem ARM Cortex-M85, który nie został jeszcze oficjalnie zaprezentowany. Całość powinna być wprowadzona na rynek w czerwcu tego roku. Redakcja EE Times dodaje, że pierwszy raz zobaczyła sztuczną inteligencję zaimplementowaną na rdzeniu Cortex-M85, który przedstawiano rok temu.

    Cortex-M85 ma większy rdzeń niż jego poprzednik, ARM Cortex-M55, ale oba są wyposażone w Helium — przedłużenie wektorowe ARM dla serii Cortex-M — akcelerator ten jest idealny do przyspieszania aplikacji uczenia maszynowego. Liczby pokazywane przez Renesasa wykazały, że M85 działał 5,3 razy szybciej niż projekty oparte na Renesas M7, chociaż M85 również pracował dynamiczniej (taktowanie 480 MHz w porównaniu z 280 MHz).

    Demo Renesasa prezentowało uruchomiony model wykrywania osób Plumerai, potrzebujący 77 ms na wnioskowanie (analiza jednej klatki).

    Wdrożenia TinyML na targach Embedded World 2023
    Nowy układ z rdzeniem
    ARM Cortex-M85 firmy Renesas,
    który nie został jeszcze oficjalnie
    przedstawiony, jest pierwszym,
    który obsługuje
    sztuczną inteligencję.
    Pokazano tutaj działający
    model wykrywania ludzi Plumerai.
    Inżynier aplikacji Renesas, Stefan Ungerechts, zademonstrował również przegląd DRP-AI (dynamicznie rekonfigurowalnych procesorów dla sztucznej inteligencji), bloki IP od Renesas do akceleracji AI. Demo urządzenia RZ/V2L, wyposażonego w silnik DRP-AI o prędkości 0,5 TOPS przy FP16 (576 MAC), operowało na tinyYOLOv2 w 27 ms przy poborze energii 500 mW (1 TOPS/W). Ten poziom sprawności energetycznej oznacza, że nie jest wymagany żaden radiator, jak wskazał Ungerechts.

    DRP-AI jest w rzeczywistości dwuczęściowym akceleratorem; dynamicznie rekonfigurowalny procesor obsługuje akcelerację funkcji nieliniowych, obok niego znajduje się tablica MAC. Funkcje nieliniowe w tym przypadku mogą posłużyć do wstępnego przetwarzania obrazu lub być warstwami puli modeli sieci neuronowej. Chociaż DRP to rekonfigurowalny sprzęt, nie jest to FPGA, powiedział Ungerechts. Ta kombinacja jest zoptymalizowana pod kątem sieci typu feed-forward, takich jak konwolucyjne, neuronowe, powszechnie spotykane w systemach wizyjnych, a stos oprogramowania Renesas umożliwia przekazanie całego obciążenia AI do DRP-AI lub użycie zestawienia DRP-AI i PROCESOR.

    Dostępne są również z silnikiem DRP-AI układy RZ/V2MA i RZ/V2M, które oferują 0,7 TOPS przy FP16 (działają szybciej niż -V2L, przy taktowaniu 630 MHz w porównaniu do 400 MHz i mają lepszą przepustowość pamięci). Nowa generacja jednostek z DRP-AI, która obsługuje INT8 dla większej przepustowości i jest skalowana do 4K MAC, będzie dostępna w przyszłym roku, poinformował Ungerechts.

    Squint

    Squint to firma zajmująca się AI, która została stworzona na początku tego roku. Podejmuje ona wyzwanie związane z tzw. objaśnialną sztuczną inteligencją. Dyrektor generalny marki, Kenneth Wenger, wskazał w wywiadzie dla EE Times, że przedsiębiorstwo chce zwiększyć zaufanie do podejmowania decyzji przez AI w zastosowaniach takich jak pojazdy autonomiczne (AV), opieka zdrowotna czy fintech (technologie finansowe). Firma wykorzystuje modele przedprodukcyjne i testuje je pod kątem słabych punktów, identyfikując sytuacje, w których są skłonne do popełnienia błędu.

    Informacje zbierane przez markę można wykorzystać do dobrania czynników łagodzących wpływ pomyłek algorytmu. Te mogą obejmować rozwiązania od: „człowieka w pętli” — na przykład zgłoszenie lekarzowi wątpliwego obrazu medycznego — do uruchomienia innego, bardziej wyspecjalizowanego modelu, który został specjalnie przeszkolony pod kątem dokładnie takiej sytuacji. Techniki przedsiębiorstwa Squint można również spożytkować do radzenia sobie z problemem tak zwanego: „dryfu danych”. A więc ujęcia, w którym algorytm uczenia maszynowego działać musi przez długi czas na zasobach mogących się powoli zmieniać.

    Embedl

    Szwedzka firma sektora AI — Embedl — pracuje nad przekwalifikowaniem modeli, aby zoptymalizować je pod kątem określonych celów sprzętowych. Marka stworzyła pakiet SDK języka Python, który pasuje do używanego przez nich potoku szkoleniowego. Techniki obejmują zastąpienie operatorów alternatywnymi rozwiązaniami, które mogą działać wydajniej na danym sprzęcie docelowym, a także ponowne szkolenie uwzględniające kwantyzację. Do tej pory klientami firmy byli producenci OEM z branży motoryzacyjnej i Tier 1, ale marka rozszerza obecnie swoją działalność na aplikacje Internetu Rzeczy (IoT).

    Embedl jest również częścią projektu VEDL-IoT, finansowanego przez UE, a realizowanego we współpracy z Uniwersytetem w Bielefeld. Jego celem jest opracowanie platformy IoT dystrybuującej sztuczną inteligencję w heterogenicznym klastrze.

    Ich demo na targach prezentowało zarządzanie obciążeniami AI na różnych urządzeniach: procesorze graficznym Nvidia AGX Xavier w stacji bazowej 5G i aplikacyjnym NXP i.MX8 w samochodzie. Przy wystarczającej dostępnej przepustowości 5G: „trudne” warstwy sieci neuronowej mogą być obliczane zdalnie w stacji bazowej, a reszta w pojeździe, w celu optymalizacji opóźnień. Zmniejszenie możliwej przepustowości 5G powoduje, że większość lub całość obciążenia zostanie przeniesiona do układu i.MX8 w sposób dynamiczny. Firma Embedl zoptymalizowała ten sam model dla obu typów sprzętu.

    Wdrożenia TinyML na targach Embedded World 2023
    Demonstracja projektu VEDL-IoT pokazuje podział obciążeń AI na infrastrukturę 5G i urządzenia wbudowane.


    Silicon Labs

    Silicon Labs dysponowało kilkoma zestawami deweloperskimi xG24 obsługującymi aplikacje AI. Do jednego podłączono prostą kamerę Sparkfun z systemem xG24, który szacował biegnących ludzi oraz obliczał kierunek i prędkość ruchu. Oddzielne demo wykrywało słowa aktywujące, działając na akceleratorze w xG24 i wyłapując frazę w 50 ms. Trzecia zaprezentowana płytka obsługiwała algorytm rozpoznawania gestów.

    BrainChip

    BrainChip uruchomiło swoje wersje pokazowe na wielu stoiskach partnerskich, w tym na ekspozycji ARM i Edge Impulse. Demo w przestrzeni zarezerwowanej dla tego ostatniego podmiotu zobrazowało firmową sieć wykrywania FOMO (szybsze obiekty, więcej obiektów) operującą na układzie BrainChip Akida AKD1000 przy poborze mocy poniżej 1 mW.

    Kinara

    Układ Kinara pierwszej generacji — ARA-1 — został zademonstrowany na stoisku AMD. Tu porównano moduł Xilinx Kria K26, który znajdował się obok czterech jednostek Kinara w obudowie zaprojektowanej do jednoczesnego przetwarzania wielu strumieni wideo w czasie rzeczywistym. Dyrektor generalny firmy, Ravi Annavajjhala, powiedział EE Times, że chociaż przedstawiono obsługę strumieni z czterech kamer, system może zapewnić wsparcie dla ośmiu H.264 1080p.

    Wdrożenia TinyML na targach Embedded World 2023
    Cztery chipy Kinara zasilają to demo AMD/Xilinx w urządzeniu brzegowym,
    które może operować z ośmioma strumieniami wideo jednocześnie.


    Aspinity

    Przedsiębiorstwo Aspinity przedstawiło na targach w Norymberdze zapowiedź środowiska programistycznego, które buduje dla swojego chipa AML100. Jest to analogowy procesor do ultraenergooszczędnej, zawsze włączonej sztucznej inteligencji w zastosowaniach akustycznych, biosygnałowych i wykrywania anomalii przemysłowych. Programowalny sprzęt Aspinity pozwala całemu łańcuchowi sygnałowemu pozostać w domenie analogowej. W czasie gdy środowisko programistyczne zostało zaprojektowane tak, aby oferować wysoki poziom abstrakcji, w tym modele referencyjne i narzędzia.

    Aspinity dołączyło do programu Renesas Preferred Partners, prezentując na stoisku danej marki płytkę aplikacyjną do wykrywania stłuczenia szkła wraz z platformą szybkiego prototypowania Renesas Quick-Connect IoT.

    Wdrożenia TinyML na targach Embedded World 2023
    Po lewej moduł wychwytywania obiektów
    marki Useful Sensors, w tym
    kamera i system widzenia maszynowego.
    Po prawej stronie spotkanie
    z Petem Wardenem i Natem Jeffriesem.
    Useful Sensors

    Dyrektor generalny firmy Useful Sensors, Pete Warden, i inżynier oprogramowania z tej spółki, Nat Jefferies, byli na stoisku przedsiębiorstwa OKdo, gdzie prezentowali swój moduł czujnikowy do wyłapywania obiektów wielkości znaczka pocztowego, który jest produkowany przez OKdo.

    Useful Sensors udostępniło niedawno swoją wersję modelu OpenAI Whisper (do automatycznego rozpoznawania mowy) korzystającego z TensorFlow Lite. Warden powiedział przedstawicielom EE Times, że marka pracuje również nad sensorem do wychwytywania kodów QR i innym modułem sprzętowym do przetwarzania mowy.

    Menta

    EE Times zapoznało się na targach w Norymberdze z francuską firmą Menta zajmującą się blokami IP eFPGA. CTO marki, Yoan Dupret, wyjaśnił, że przedsiębiorstwo działa na dwóch rynkach — większość klientów znajduje się w sektorze obronnym, a pozostali skupiają się w dziedzinie przetwarzania brzegowego, w tym na urządzeniach i serwerach. Chociaż projekt eFPGA jest często używany do akceleracji kryptografii i sieci 5G, gdzie algorytmy mogą wymagać okresowej zmiany lub aktualizacji po wdrożeniu, rośnie obszar zbytu akceleratorów AI pracujących na krawędzi, powiedział.

    Stosunek FPGA LUT do bloków DSP w programowym, od Menty, jest elastyczny. Można również zaimplementować w nim niestandardowe bloki. Projekt ten jest skalowalny od 100 LUT (być może w module czujnika IoT) do nawet 200 000 LUT. Chociaż nie jest to typowy klient, japońska grupa badawcza Raas stworzyła implementację dla aplikacji AI pracujących w centrach danych. Standardowe zastosowania obejmują sztuczną inteligencję do wykrywania chmur i monitorowania zmian klimatycznych w obrazie satelitarnym. A także prostsze aplikacje do liczenia osób w systemach inteligentnego nadzorowania handlu detalicznego.

    Innatera

    Firma Innatera pracuje nad akceleratorem pulsującej sieci neuronowej dla sygnałów analogowych i mieszanych. Demonstracja obejmowała układ scalony pierwszej generacji, obsługujący scenę dźwiękową przy poborze mocy czynnej poniżej 1 mW dla aplikacji, które są zawsze aktywne. 1 s dźwięku w tym systemie można sklasyfikować w czasie około 1 ms.

    Nadchodzące urządzenie drugiej generacji z dwukrotnie większą liczbą neuronów, widoczne na stoisku marki, będzie oferować jeszcze niższe opóźnienia i zredukowane zużycie energii. To dzięki ulepszonym technikom kalibracji i dalszym pracom wykonanym nad projektem obwodów analogowych, jak twierdzi inżynier systemu neuromorficznego w Innatera, George'a Vathakkatila Josepha. Powiedział on, że sprzęt trzeciej generacji, który ma zostać wprowadzony do produkcji w nadchodzących miesiącach, ma zapewniać pełniejsze rozwiązanie typu system-on-chip.

    Wdrożenia TinyML na targach Embedded World 2023
    Na stoisku Hailo znajdowało
    się wiele serwerów Edge AI
    użytkujących Hailo-8.
    Ten z Qtechnologies
    segreguje ziemniaki.
    Hailo

    W przestrzeni ekspozycyjnej Hailo można było zobaczyć różne wersje demonstracyjne serwerów edge-AI od partnerów firmy korzystających z akceleratora Hailo-8, w tym przemysłowego systemu wizyjnego duńskiego producenta Qtechnologies, przeznaczonego do szybkiego sortowania ziemniaków. Mechanizm klasyfikował jednocześnie warzywa według wielkości, kształtu, jakości i odmiany. A demonstracja prezentowała działanie algorytmów segmentacji, śledzenia i sortowania w czasie rzeczywistym.

    ARM

    Po wprowadzeniu na rynek w zeszłym roku nowego rdzenia dla mikrokontrolerów — ARM Cortex-M85, obsługującego sztuczną inteligencję — Paul Williamson, starszy wiceprezes i dyrektor generalny linii biznesowej IoT w ARM, powiedział EE Times, że firma będzie nadal inwestować w serię produktów Ethos — dedykowanych rdzeni akceleratorów AI. Podczas gdy linia Ethos jest: „bardzo aktywna” i „koncentruje się na naszych ciągłych inwestycjach”, jak mówi Williamson, ARM wierzy, że w branży ważne będzie posiadanie stabilnej, ukierunkowanej programowo platformy. Ta powinna dostarczać więcej możliwości uczenia maszynowego w mikrokontrolerach.

    Podczas pokazu na targach w Norymberdze ogłoszono ulepszoną integrację wirtualnego sprzętu ARM (AVH) z najnowszą wersją zestawu deweloperskiego Keil MCU. AVH pozwala programistom na szybkie sprawdzanie, czy ich algorytmy pasują do danych rdzeni ARM z określonymi rozmiarami pamięci, pomagając im zdecydować, czy wymagane są dedykowane akceleratory, takie jak Ethos.

    ARM ściśle współpracuje również z zewnętrznymi dostawcami akceleratorów IP w przypadku aplikacji, które potrzebują większego przyspieszenia, niż może zaoferować linia Ethos, w tym BrainChip (na stoisku ARM prezentowana była demonstracja ARM M85 współpracującego z modułami BrainChip Akida).

    Eurotech

    Włoski producent komputerów do pracy na krawędzi, firma Eurotech, przygotowała zabawne pokazy, w tym robotyczne ramię, które mogło naśladować ruchy odwiedzających stoisko za pośrednictwem systemu kamer.

    Wdrożenia TinyML na targach Embedded World 2023
    DynaCor 40-36 od Eurotech służy do gromadzenia danych
    i trenowania modeli do jazdy autonomicznej (tutaj ze zdjętą obudową, z przodu i z tyłu).


    System serwera brzegowego DynaCOR 40-36, który zdobył nagrodę Best in Show w kategorii AI, jest przeznaczony do zbierania danych wykorzystywanych do przygotowania mechanizmów audiowizualnych, a także szkolenia i wnioskowania w pojeździe. Ten serwer brzegowy jest wyposażony w procesor Intel Xeon i cztery gniazda PCIe — wersja na stoisku miała w nich zainstalowane cztery karty Nvidia A30. Jest chłodzony cieczą, co oznacza cichą pracę dzięki brakowi wentylatorów.

    Wdrożenia TinyML na targach Embedded World 2023
    GreenWaves zaprezentowało
    system audio Idun, w którym
    słuchacz umieszczony może
    być w środku orkiestry.
    Na stoisku ARM marka przedstawiła również swoją przemysłową bramkę brzegową i platformę programową, które pomagają firmom wydobywać wartość z ich danych. CTO Eurotechu, Marco Carrer, powiedział przedstawicielom EE Times, że przedsiębiorstwo niedawno dodało komputery przemysłowe do swojej oferty na skutek przejęcia niemieckiego podmiotu InoNet.

    GreenWaves

    GreenWaves zaprosił EE Times do prezentacji audio na swoim stoisku, w tym aktywnej redukcji szumów i dźwięku przestrzennego. Demonstracja dźwięku przestrzennego, opracowana we współpracy z Idun Audio, umożliwia użytkownikowi usłyszenie różnych części muzyki lub odmiennych mówców podczas spotkania, z rozmaitych kierunków.

    Moduł inercyjny, zintegrowany w słuchawkach pozwala osobie obrócić głowę i nadal wyłapywać odpowiedni dźwięk z tego samego kierunku. Szczególnie efektowna była ekspozycja, która zdawała się lokować użytkownika w centrum orkiestry. Sztuczna inteligencja dźwięku przestrzennego firmy Idun Audio działa na procesorze GAP9 marki GreenWaves przy mocy poniżej 2,7 mW.

    Procesor GAP9 od GreenWaves otrzymał pierwszą nagrodę w kategorii sprzętu konkursu Embedded Awards.

    Źródło: https://www.eetimes.com/tinyml-comes-to-embedded-world-2023/

    Cool? Ranking DIY
    About Author
    ghost666
    Translator, editor
    Offline 
    Fizyk z wykształcenia. Po zrobieniu doktoratu i dwóch latach pracy na uczelni, przeszedł do sektora prywatnego, gdzie zajmuje się projektowaniem urządzeń elektronicznych i programowaniem. Od 2003 roku na forum Elektroda.pl, od 2008 roku członek zespołu redakcyjnego.
    ghost666 wrote 11800 posts with rating 9938, helped 157 times. Live in city Warszawa. Been with us since 2003 year.
  • Optex
  • #2
    CC_PL
    Level 12  
    Jakie widzicie zastosowania dla ML na urządzeniach typu mikrokontroler?? (poza oklepanymi, jak wykrywanie twarzy czy detekcja obiektu w obrazie z kamery).
  • Optex
  • #3
    linuxtorpeda
    Level 26  
    CC_PL wrote:
    Jakie widzicie zastosowania dla ML na urządzeniach typu mikrokontroler??

    Nie widzimy, znaczna część ML w urządzeniach użytku domowego jest bezwartościowa, służy tylko za pretekst do rejestracji użytkownika w chmurze i śledzenia jego aktywności.
    Odpowiadając na pytanie, sens widzę głównie w urządzeniach sterowanych głosem w sposób podobny do komunikacji z człowiekiem. Wygodniej już się chyba nie da, no może jeszcze "czytanie w myślach" czy predykcja zachowań ma sens.
  • #4
    ghost666
    Translator, editor
    CC_PL wrote:
    Jakie widzicie zastosowania dla ML na urządzeniach typu mikrokontroler?? (poza oklepanymi, jak wykrywanie twarzy czy detekcja obiektu w obrazie z kamery).



    Konserwacja predykcyjna w dowolnych aplikacjach - automatyka przemysłowa, samochody, nawet głupia pralka. A jak o pralce mowa, to inteligentne dobieranie poboru wody, detergentów i prądu podczas prania, analogicznie zmywarka... W motoryzacji w car-sharingu klasyfikacja stylu jazdy, automatyczne oceny dla kierowców. W systemach podlewania ogródka, dozowanie wody itp.

    Dużo jest aplikacji, które mniej bądź bardziej haczą o MLa...