Fundacja tinyML zrzesza wiele jednostek odpowiedzialnych za rozwój narzędzi do uczenia komputerowego na platformach wbudowanych. Firmy wykorzystujące TinyML, od producentów mikrokontrolerów (MCU), przez przedsiębiorstwa narzędziowe, po optymalizatorów modeli, przeprowadziły szereg prezentacji na targach Embedded World 2023, które odbywały się niedawno w Norymberdze. Podczas gdy uczenie maszynowe (ML) jest stosowane do danych z kamer, dźwięku i innych czujników, większość demonstracji nadal koncentruje się na widzeniu komputerowym. Wiele ukazywanych wersji podglądowych działało poniżej magicznej liczby 1 mW, a więc progu dla funkcjonowania aplikacji: „zawsze włączonych”.
Przyjrzyjmy się, co przedstawiały poszczególne marki na targach.
STMicroelectronics
Redakcja EE Times otrzymała wyłączny dostęp do wersji demonstracyjnej nadchodzącego mikrokontrolera STM32N6 firmy STMicro. Element ten będzie zawierał dedykowany, wbudowany akcelerator sztucznej inteligencji (AI), który został opracowany wewnętrznie w STMicro. Ekspozycja pokazała, że -N6 działa, w dodatku pozwala na uruchamianie niestandardowej wersji YOLO z imponującą prędkością 314 fps. To od jednego do dwóch rzędów wielkości szybciej niż ta sama sieć pracująca na mikrokontrolerze z rodziny STM32H7, najpotężniejszym istniejącym układzie STMicro, który wykorzystuje ARM Cortex-M7.
Na stoisku STMicro było również kilka innych ciekawych demonstracji, w tym pralka, która mogła określić, ile ubrań się w niej znajduje, aby zoptymalizować ilość dodawanej wody. Ten system jest bezczujnikowy; opiera się na analizie prądu wymaganego do napędzania silnika z zastosowaniem algorytmu AI i przewiduje wagę 800 g prania z dokładnością do 30 g. Robot odkurzający wyposażony w czujnik czasu przelotu także posiłkował się sztuczną inteligencję do ustalania rodzaju czyszczonej powierzchni, aby umożliwić wybór odpowiedniej metody sprzątania.
Renesas
Następnym przystankiem było stoisko firmy Renesas, gdzie udało się zobaczyć działający układ z rdzeniem ARM Cortex-M85, który nie został jeszcze oficjalnie zaprezentowany. Całość powinna być wprowadzona na rynek w czerwcu tego roku. Redakcja EE Times dodaje, że pierwszy raz zobaczyła sztuczną inteligencję zaimplementowaną na rdzeniu Cortex-M85, który przedstawiano rok temu.
Cortex-M85 ma większy rdzeń niż jego poprzednik, ARM Cortex-M55, ale oba są wyposażone w Helium — przedłużenie wektorowe ARM dla serii Cortex-M — akcelerator ten jest idealny do przyspieszania aplikacji uczenia maszynowego. Liczby pokazywane przez Renesasa wykazały, że M85 działał 5,3 razy szybciej niż projekty oparte na Renesas M7, chociaż M85 również pracował dynamiczniej (taktowanie 480 MHz w porównaniu z 280 MHz).
Demo Renesasa prezentowało uruchomiony model wykrywania osób Plumerai, potrzebujący 77 ms na wnioskowanie (analiza jednej klatki).
Inżynier aplikacji Renesas, Stefan Ungerechts, zademonstrował również przegląd DRP-AI (dynamicznie rekonfigurowalnych procesorów dla sztucznej inteligencji), bloki IP od Renesas do akceleracji AI. Demo urządzenia RZ/V2L, wyposażonego w silnik DRP-AI o prędkości 0,5 TOPS przy FP16 (576 MAC), operowało na tinyYOLOv2 w 27 ms przy poborze energii 500 mW (1 TOPS/W). Ten poziom sprawności energetycznej oznacza, że nie jest wymagany żaden radiator, jak wskazał Ungerechts.
DRP-AI jest w rzeczywistości dwuczęściowym akceleratorem; dynamicznie rekonfigurowalny procesor obsługuje akcelerację funkcji nieliniowych, obok niego znajduje się tablica MAC. Funkcje nieliniowe w tym przypadku mogą posłużyć do wstępnego przetwarzania obrazu lub być warstwami puli modeli sieci neuronowej. Chociaż DRP to rekonfigurowalny sprzęt, nie jest to FPGA, powiedział Ungerechts. Ta kombinacja jest zoptymalizowana pod kątem sieci typu feed-forward, takich jak konwolucyjne, neuronowe, powszechnie spotykane w systemach wizyjnych, a stos oprogramowania Renesas umożliwia przekazanie całego obciążenia AI do DRP-AI lub użycie zestawienia DRP-AI i PROCESOR.
Dostępne są również z silnikiem DRP-AI układy RZ/V2MA i RZ/V2M, które oferują 0,7 TOPS przy FP16 (działają szybciej niż -V2L, przy taktowaniu 630 MHz w porównaniu do 400 MHz i mają lepszą przepustowość pamięci). Nowa generacja jednostek z DRP-AI, która obsługuje INT8 dla większej przepustowości i jest skalowana do 4K MAC, będzie dostępna w przyszłym roku, poinformował Ungerechts.
Squint
Squint to firma zajmująca się AI, która została stworzona na początku tego roku. Podejmuje ona wyzwanie związane z tzw. objaśnialną sztuczną inteligencją. Dyrektor generalny marki, Kenneth Wenger, wskazał w wywiadzie dla EE Times, że przedsiębiorstwo chce zwiększyć zaufanie do podejmowania decyzji przez AI w zastosowaniach takich jak pojazdy autonomiczne (AV), opieka zdrowotna czy fintech (technologie finansowe). Firma wykorzystuje modele przedprodukcyjne i testuje je pod kątem słabych punktów, identyfikując sytuacje, w których są skłonne do popełnienia błędu.
Informacje zbierane przez markę można wykorzystać do dobrania czynników łagodzących wpływ pomyłek algorytmu. Te mogą obejmować rozwiązania od: „człowieka w pętli” — na przykład zgłoszenie lekarzowi wątpliwego obrazu medycznego — do uruchomienia innego, bardziej wyspecjalizowanego modelu, który został specjalnie przeszkolony pod kątem dokładnie takiej sytuacji. Techniki przedsiębiorstwa Squint można również spożytkować do radzenia sobie z problemem tak zwanego: „dryfu danych”. A więc ujęcia, w którym algorytm uczenia maszynowego działać musi przez długi czas na zasobach mogących się powoli zmieniać.
Embedl
Szwedzka firma sektora AI — Embedl — pracuje nad przekwalifikowaniem modeli, aby zoptymalizować je pod kątem określonych celów sprzętowych. Marka stworzyła pakiet SDK języka Python, który pasuje do używanego przez nich potoku szkoleniowego. Techniki obejmują zastąpienie operatorów alternatywnymi rozwiązaniami, które mogą działać wydajniej na danym sprzęcie docelowym, a także ponowne szkolenie uwzględniające kwantyzację. Do tej pory klientami firmy byli producenci OEM z branży motoryzacyjnej i Tier 1, ale marka rozszerza obecnie swoją działalność na aplikacje Internetu Rzeczy (IoT).
Embedl jest również częścią projektu VEDL-IoT, finansowanego przez UE, a realizowanego we współpracy z Uniwersytetem w Bielefeld. Jego celem jest opracowanie platformy IoT dystrybuującej sztuczną inteligencję w heterogenicznym klastrze.
Ich demo na targach prezentowało zarządzanie obciążeniami AI na różnych urządzeniach: procesorze graficznym Nvidia AGX Xavier w stacji bazowej 5G i aplikacyjnym NXP i.MX8 w samochodzie. Przy wystarczającej dostępnej przepustowości 5G: „trudne” warstwy sieci neuronowej mogą być obliczane zdalnie w stacji bazowej, a reszta w pojeździe, w celu optymalizacji opóźnień. Zmniejszenie możliwej przepustowości 5G powoduje, że większość lub całość obciążenia zostanie przeniesiona do układu i.MX8 w sposób dynamiczny. Firma Embedl zoptymalizowała ten sam model dla obu typów sprzętu.
Demonstracja projektu VEDL-IoT pokazuje podział obciążeń AI na infrastrukturę 5G i urządzenia wbudowane.
Silicon Labs
Silicon Labs dysponowało kilkoma zestawami deweloperskimi xG24 obsługującymi aplikacje AI. Do jednego podłączono prostą kamerę Sparkfun z systemem xG24, który szacował biegnących ludzi oraz obliczał kierunek i prędkość ruchu. Oddzielne demo wykrywało słowa aktywujące, działając na akceleratorze w xG24 i wyłapując frazę w 50 ms. Trzecia zaprezentowana płytka obsługiwała algorytm rozpoznawania gestów.
BrainChip
BrainChip uruchomiło swoje wersje pokazowe na wielu stoiskach partnerskich, w tym na ekspozycji ARM i Edge Impulse. Demo w przestrzeni zarezerwowanej dla tego ostatniego podmiotu zobrazowało firmową sieć wykrywania FOMO (szybsze obiekty, więcej obiektów) operującą na układzie BrainChip Akida AKD1000 przy poborze mocy poniżej 1 mW.
Kinara
Układ Kinara pierwszej generacji — ARA-1 — został zademonstrowany na stoisku AMD. Tu porównano moduł Xilinx Kria K26, który znajdował się obok czterech jednostek Kinara w obudowie zaprojektowanej do jednoczesnego przetwarzania wielu strumieni wideo w czasie rzeczywistym. Dyrektor generalny firmy, Ravi Annavajjhala, powiedział EE Times, że chociaż przedstawiono obsługę strumieni z czterech kamer, system może zapewnić wsparcie dla ośmiu H.264 1080p.
Cztery chipy Kinara zasilają to demo AMD/Xilinx w urządzeniu brzegowym,
które może operować z ośmioma strumieniami wideo jednocześnie.
Aspinity
Przedsiębiorstwo Aspinity przedstawiło na targach w Norymberdze zapowiedź środowiska programistycznego, które buduje dla swojego chipa AML100. Jest to analogowy procesor do ultraenergooszczędnej, zawsze włączonej sztucznej inteligencji w zastosowaniach akustycznych, biosygnałowych i wykrywania anomalii przemysłowych. Programowalny sprzęt Aspinity pozwala całemu łańcuchowi sygnałowemu pozostać w domenie analogowej. W czasie gdy środowisko programistyczne zostało zaprojektowane tak, aby oferować wysoki poziom abstrakcji, w tym modele referencyjne i narzędzia.
Aspinity dołączyło do programu Renesas Preferred Partners, prezentując na stoisku danej marki płytkę aplikacyjną do wykrywania stłuczenia szkła wraz z platformą szybkiego prototypowania Renesas Quick-Connect IoT.
Useful Sensors
Dyrektor generalny firmy Useful Sensors, Pete Warden, i inżynier oprogramowania z tej spółki, Nat Jefferies, byli na stoisku przedsiębiorstwa OKdo, gdzie prezentowali swój moduł czujnikowy do wyłapywania obiektów wielkości znaczka pocztowego, który jest produkowany przez OKdo.
Useful Sensors udostępniło niedawno swoją wersję modelu OpenAI Whisper (do automatycznego rozpoznawania mowy) korzystającego z TensorFlow Lite. Warden powiedział przedstawicielom EE Times, że marka pracuje również nad sensorem do wychwytywania kodów QR i innym modułem sprzętowym do przetwarzania mowy.
Menta
EE Times zapoznało się na targach w Norymberdze z francuską firmą Menta zajmującą się blokami IP eFPGA. CTO marki, Yoan Dupret, wyjaśnił, że przedsiębiorstwo działa na dwóch rynkach — większość klientów znajduje się w sektorze obronnym, a pozostali skupiają się w dziedzinie przetwarzania brzegowego, w tym na urządzeniach i serwerach. Chociaż projekt eFPGA jest często używany do akceleracji kryptografii i sieci 5G, gdzie algorytmy mogą wymagać okresowej zmiany lub aktualizacji po wdrożeniu, rośnie obszar zbytu akceleratorów AI pracujących na krawędzi, powiedział.
Stosunek FPGA LUT do bloków DSP w programowym, od Menty, jest elastyczny. Można również zaimplementować w nim niestandardowe bloki. Projekt ten jest skalowalny od 100 LUT (być może w module czujnika IoT) do nawet 200 000 LUT. Chociaż nie jest to typowy klient, japońska grupa badawcza Raas stworzyła implementację dla aplikacji AI pracujących w centrach danych. Standardowe zastosowania obejmują sztuczną inteligencję do wykrywania chmur i monitorowania zmian klimatycznych w obrazie satelitarnym. A także prostsze aplikacje do liczenia osób w systemach inteligentnego nadzorowania handlu detalicznego.
Innatera
Firma Innatera pracuje nad akceleratorem pulsującej sieci neuronowej dla sygnałów analogowych i mieszanych. Demonstracja obejmowała układ scalony pierwszej generacji, obsługujący scenę dźwiękową przy poborze mocy czynnej poniżej 1 mW dla aplikacji, które są zawsze aktywne. 1 s dźwięku w tym systemie można sklasyfikować w czasie około 1 ms.
Nadchodzące urządzenie drugiej generacji z dwukrotnie większą liczbą neuronów, widoczne na stoisku marki, będzie oferować jeszcze niższe opóźnienia i zredukowane zużycie energii. To dzięki ulepszonym technikom kalibracji i dalszym pracom wykonanym nad projektem obwodów analogowych, jak twierdzi inżynier systemu neuromorficznego w Innatera, George'a Vathakkatila Josepha. Powiedział on, że sprzęt trzeciej generacji, który ma zostać wprowadzony do produkcji w nadchodzących miesiącach, ma zapewniać pełniejsze rozwiązanie typu system-on-chip.
Hailo
W przestrzeni ekspozycyjnej Hailo można było zobaczyć różne wersje demonstracyjne serwerów edge-AI od partnerów firmy korzystających z akceleratora Hailo-8, w tym przemysłowego systemu wizyjnego duńskiego producenta Qtechnologies, przeznaczonego do szybkiego sortowania ziemniaków. Mechanizm klasyfikował jednocześnie warzywa według wielkości, kształtu, jakości i odmiany. A demonstracja prezentowała działanie algorytmów segmentacji, śledzenia i sortowania w czasie rzeczywistym.
ARM
Po wprowadzeniu na rynek w zeszłym roku nowego rdzenia dla mikrokontrolerów — ARM Cortex-M85, obsługującego sztuczną inteligencję — Paul Williamson, starszy wiceprezes i dyrektor generalny linii biznesowej IoT w ARM, powiedział EE Times, że firma będzie nadal inwestować w serię produktów Ethos — dedykowanych rdzeni akceleratorów AI. Podczas gdy linia Ethos jest: „bardzo aktywna” i „koncentruje się na naszych ciągłych inwestycjach”, jak mówi Williamson, ARM wierzy, że w branży ważne będzie posiadanie stabilnej, ukierunkowanej programowo platformy. Ta powinna dostarczać więcej możliwości uczenia maszynowego w mikrokontrolerach.
Podczas pokazu na targach w Norymberdze ogłoszono ulepszoną integrację wirtualnego sprzętu ARM (AVH) z najnowszą wersją zestawu deweloperskiego Keil MCU. AVH pozwala programistom na szybkie sprawdzanie, czy ich algorytmy pasują do danych rdzeni ARM z określonymi rozmiarami pamięci, pomagając im zdecydować, czy wymagane są dedykowane akceleratory, takie jak Ethos.
ARM ściśle współpracuje również z zewnętrznymi dostawcami akceleratorów IP w przypadku aplikacji, które potrzebują większego przyspieszenia, niż może zaoferować linia Ethos, w tym BrainChip (na stoisku ARM prezentowana była demonstracja ARM M85 współpracującego z modułami BrainChip Akida).
Eurotech
Włoski producent komputerów do pracy na krawędzi, firma Eurotech, przygotowała zabawne pokazy, w tym robotyczne ramię, które mogło naśladować ruchy odwiedzających stoisko za pośrednictwem systemu kamer.
DynaCor 40-36 od Eurotech służy do gromadzenia danych
i trenowania modeli do jazdy autonomicznej (tutaj ze zdjętą obudową, z przodu i z tyłu).
System serwera brzegowego DynaCOR 40-36, który zdobył nagrodę Best in Show w kategorii AI, jest przeznaczony do zbierania danych wykorzystywanych do przygotowania mechanizmów audiowizualnych, a także szkolenia i wnioskowania w pojeździe. Ten serwer brzegowy jest wyposażony w procesor Intel Xeon i cztery gniazda PCIe — wersja na stoisku miała w nich zainstalowane cztery karty Nvidia A30. Jest chłodzony cieczą, co oznacza cichą pracę dzięki brakowi wentylatorów.
Na stoisku ARM marka przedstawiła również swoją przemysłową bramkę brzegową i platformę programową, które pomagają firmom wydobywać wartość z ich danych. CTO Eurotechu, Marco Carrer, powiedział przedstawicielom EE Times, że przedsiębiorstwo niedawno dodało komputery przemysłowe do swojej oferty na skutek przejęcia niemieckiego podmiotu InoNet.
GreenWaves
GreenWaves zaprosił EE Times do prezentacji audio na swoim stoisku, w tym aktywnej redukcji szumów i dźwięku przestrzennego. Demonstracja dźwięku przestrzennego, opracowana we współpracy z Idun Audio, umożliwia użytkownikowi usłyszenie różnych części muzyki lub odmiennych mówców podczas spotkania, z rozmaitych kierunków.
Moduł inercyjny, zintegrowany w słuchawkach pozwala osobie obrócić głowę i nadal wyłapywać odpowiedni dźwięk z tego samego kierunku. Szczególnie efektowna była ekspozycja, która zdawała się lokować użytkownika w centrum orkiestry. Sztuczna inteligencja dźwięku przestrzennego firmy Idun Audio działa na procesorze GAP9 marki GreenWaves przy mocy poniżej 2,7 mW.
Procesor GAP9 od GreenWaves otrzymał pierwszą nagrodę w kategorii sprzętu konkursu Embedded Awards.
Źródło: https://www.eetimes.com/tinyml-comes-to-embedded-world-2023/
Przyjrzyjmy się, co przedstawiały poszczególne marki na targach.
Zapowiedź STM32N6, nowego
mikrokontrolera z dedykowaną
akceleracją AI na chipie,
pokazanego podczas targów
Embedded World 2023.
mikrokontrolera z dedykowaną
akceleracją AI na chipie,
pokazanego podczas targów
Embedded World 2023.
Redakcja EE Times otrzymała wyłączny dostęp do wersji demonstracyjnej nadchodzącego mikrokontrolera STM32N6 firmy STMicro. Element ten będzie zawierał dedykowany, wbudowany akcelerator sztucznej inteligencji (AI), który został opracowany wewnętrznie w STMicro. Ekspozycja pokazała, że -N6 działa, w dodatku pozwala na uruchamianie niestandardowej wersji YOLO z imponującą prędkością 314 fps. To od jednego do dwóch rzędów wielkości szybciej niż ta sama sieć pracująca na mikrokontrolerze z rodziny STM32H7, najpotężniejszym istniejącym układzie STMicro, który wykorzystuje ARM Cortex-M7.
Na stoisku STMicro było również kilka innych ciekawych demonstracji, w tym pralka, która mogła określić, ile ubrań się w niej znajduje, aby zoptymalizować ilość dodawanej wody. Ten system jest bezczujnikowy; opiera się na analizie prądu wymaganego do napędzania silnika z zastosowaniem algorytmu AI i przewiduje wagę 800 g prania z dokładnością do 30 g. Robot odkurzający wyposażony w czujnik czasu przelotu także posiłkował się sztuczną inteligencję do ustalania rodzaju czyszczonej powierzchni, aby umożliwić wybór odpowiedniej metody sprzątania.
Renesas
Następnym przystankiem było stoisko firmy Renesas, gdzie udało się zobaczyć działający układ z rdzeniem ARM Cortex-M85, który nie został jeszcze oficjalnie zaprezentowany. Całość powinna być wprowadzona na rynek w czerwcu tego roku. Redakcja EE Times dodaje, że pierwszy raz zobaczyła sztuczną inteligencję zaimplementowaną na rdzeniu Cortex-M85, który przedstawiano rok temu.
Cortex-M85 ma większy rdzeń niż jego poprzednik, ARM Cortex-M55, ale oba są wyposażone w Helium — przedłużenie wektorowe ARM dla serii Cortex-M — akcelerator ten jest idealny do przyspieszania aplikacji uczenia maszynowego. Liczby pokazywane przez Renesasa wykazały, że M85 działał 5,3 razy szybciej niż projekty oparte na Renesas M7, chociaż M85 również pracował dynamiczniej (taktowanie 480 MHz w porównaniu z 280 MHz).
Demo Renesasa prezentowało uruchomiony model wykrywania osób Plumerai, potrzebujący 77 ms na wnioskowanie (analiza jednej klatki).
Nowy układ z rdzeniem
ARM Cortex-M85 firmy Renesas,
który nie został jeszcze oficjalnie
przedstawiony, jest pierwszym,
który obsługuje
sztuczną inteligencję.
Pokazano tutaj działający
model wykrywania ludzi Plumerai.
ARM Cortex-M85 firmy Renesas,
który nie został jeszcze oficjalnie
przedstawiony, jest pierwszym,
który obsługuje
sztuczną inteligencję.
Pokazano tutaj działający
model wykrywania ludzi Plumerai.
DRP-AI jest w rzeczywistości dwuczęściowym akceleratorem; dynamicznie rekonfigurowalny procesor obsługuje akcelerację funkcji nieliniowych, obok niego znajduje się tablica MAC. Funkcje nieliniowe w tym przypadku mogą posłużyć do wstępnego przetwarzania obrazu lub być warstwami puli modeli sieci neuronowej. Chociaż DRP to rekonfigurowalny sprzęt, nie jest to FPGA, powiedział Ungerechts. Ta kombinacja jest zoptymalizowana pod kątem sieci typu feed-forward, takich jak konwolucyjne, neuronowe, powszechnie spotykane w systemach wizyjnych, a stos oprogramowania Renesas umożliwia przekazanie całego obciążenia AI do DRP-AI lub użycie zestawienia DRP-AI i PROCESOR.
Dostępne są również z silnikiem DRP-AI układy RZ/V2MA i RZ/V2M, które oferują 0,7 TOPS przy FP16 (działają szybciej niż -V2L, przy taktowaniu 630 MHz w porównaniu do 400 MHz i mają lepszą przepustowość pamięci). Nowa generacja jednostek z DRP-AI, która obsługuje INT8 dla większej przepustowości i jest skalowana do 4K MAC, będzie dostępna w przyszłym roku, poinformował Ungerechts.
Squint
Squint to firma zajmująca się AI, która została stworzona na początku tego roku. Podejmuje ona wyzwanie związane z tzw. objaśnialną sztuczną inteligencją. Dyrektor generalny marki, Kenneth Wenger, wskazał w wywiadzie dla EE Times, że przedsiębiorstwo chce zwiększyć zaufanie do podejmowania decyzji przez AI w zastosowaniach takich jak pojazdy autonomiczne (AV), opieka zdrowotna czy fintech (technologie finansowe). Firma wykorzystuje modele przedprodukcyjne i testuje je pod kątem słabych punktów, identyfikując sytuacje, w których są skłonne do popełnienia błędu.
Informacje zbierane przez markę można wykorzystać do dobrania czynników łagodzących wpływ pomyłek algorytmu. Te mogą obejmować rozwiązania od: „człowieka w pętli” — na przykład zgłoszenie lekarzowi wątpliwego obrazu medycznego — do uruchomienia innego, bardziej wyspecjalizowanego modelu, który został specjalnie przeszkolony pod kątem dokładnie takiej sytuacji. Techniki przedsiębiorstwa Squint można również spożytkować do radzenia sobie z problemem tak zwanego: „dryfu danych”. A więc ujęcia, w którym algorytm uczenia maszynowego działać musi przez długi czas na zasobach mogących się powoli zmieniać.
Embedl
Szwedzka firma sektora AI — Embedl — pracuje nad przekwalifikowaniem modeli, aby zoptymalizować je pod kątem określonych celów sprzętowych. Marka stworzyła pakiet SDK języka Python, który pasuje do używanego przez nich potoku szkoleniowego. Techniki obejmują zastąpienie operatorów alternatywnymi rozwiązaniami, które mogą działać wydajniej na danym sprzęcie docelowym, a także ponowne szkolenie uwzględniające kwantyzację. Do tej pory klientami firmy byli producenci OEM z branży motoryzacyjnej i Tier 1, ale marka rozszerza obecnie swoją działalność na aplikacje Internetu Rzeczy (IoT).
Embedl jest również częścią projektu VEDL-IoT, finansowanego przez UE, a realizowanego we współpracy z Uniwersytetem w Bielefeld. Jego celem jest opracowanie platformy IoT dystrybuującej sztuczną inteligencję w heterogenicznym klastrze.
Ich demo na targach prezentowało zarządzanie obciążeniami AI na różnych urządzeniach: procesorze graficznym Nvidia AGX Xavier w stacji bazowej 5G i aplikacyjnym NXP i.MX8 w samochodzie. Przy wystarczającej dostępnej przepustowości 5G: „trudne” warstwy sieci neuronowej mogą być obliczane zdalnie w stacji bazowej, a reszta w pojeździe, w celu optymalizacji opóźnień. Zmniejszenie możliwej przepustowości 5G powoduje, że większość lub całość obciążenia zostanie przeniesiona do układu i.MX8 w sposób dynamiczny. Firma Embedl zoptymalizowała ten sam model dla obu typów sprzętu.
Demonstracja projektu VEDL-IoT pokazuje podział obciążeń AI na infrastrukturę 5G i urządzenia wbudowane.
Silicon Labs
Silicon Labs dysponowało kilkoma zestawami deweloperskimi xG24 obsługującymi aplikacje AI. Do jednego podłączono prostą kamerę Sparkfun z systemem xG24, który szacował biegnących ludzi oraz obliczał kierunek i prędkość ruchu. Oddzielne demo wykrywało słowa aktywujące, działając na akceleratorze w xG24 i wyłapując frazę w 50 ms. Trzecia zaprezentowana płytka obsługiwała algorytm rozpoznawania gestów.
BrainChip
BrainChip uruchomiło swoje wersje pokazowe na wielu stoiskach partnerskich, w tym na ekspozycji ARM i Edge Impulse. Demo w przestrzeni zarezerwowanej dla tego ostatniego podmiotu zobrazowało firmową sieć wykrywania FOMO (szybsze obiekty, więcej obiektów) operującą na układzie BrainChip Akida AKD1000 przy poborze mocy poniżej 1 mW.
Kinara
Układ Kinara pierwszej generacji — ARA-1 — został zademonstrowany na stoisku AMD. Tu porównano moduł Xilinx Kria K26, który znajdował się obok czterech jednostek Kinara w obudowie zaprojektowanej do jednoczesnego przetwarzania wielu strumieni wideo w czasie rzeczywistym. Dyrektor generalny firmy, Ravi Annavajjhala, powiedział EE Times, że chociaż przedstawiono obsługę strumieni z czterech kamer, system może zapewnić wsparcie dla ośmiu H.264 1080p.
Cztery chipy Kinara zasilają to demo AMD/Xilinx w urządzeniu brzegowym,
które może operować z ośmioma strumieniami wideo jednocześnie.
Aspinity
Przedsiębiorstwo Aspinity przedstawiło na targach w Norymberdze zapowiedź środowiska programistycznego, które buduje dla swojego chipa AML100. Jest to analogowy procesor do ultraenergooszczędnej, zawsze włączonej sztucznej inteligencji w zastosowaniach akustycznych, biosygnałowych i wykrywania anomalii przemysłowych. Programowalny sprzęt Aspinity pozwala całemu łańcuchowi sygnałowemu pozostać w domenie analogowej. W czasie gdy środowisko programistyczne zostało zaprojektowane tak, aby oferować wysoki poziom abstrakcji, w tym modele referencyjne i narzędzia.
Aspinity dołączyło do programu Renesas Preferred Partners, prezentując na stoisku danej marki płytkę aplikacyjną do wykrywania stłuczenia szkła wraz z platformą szybkiego prototypowania Renesas Quick-Connect IoT.
Po lewej moduł wychwytywania obiektów
marki Useful Sensors, w tym
kamera i system widzenia maszynowego.
Po prawej stronie spotkanie
z Petem Wardenem i Natem Jeffriesem.
marki Useful Sensors, w tym
kamera i system widzenia maszynowego.
Po prawej stronie spotkanie
z Petem Wardenem i Natem Jeffriesem.
Dyrektor generalny firmy Useful Sensors, Pete Warden, i inżynier oprogramowania z tej spółki, Nat Jefferies, byli na stoisku przedsiębiorstwa OKdo, gdzie prezentowali swój moduł czujnikowy do wyłapywania obiektów wielkości znaczka pocztowego, który jest produkowany przez OKdo.
Useful Sensors udostępniło niedawno swoją wersję modelu OpenAI Whisper (do automatycznego rozpoznawania mowy) korzystającego z TensorFlow Lite. Warden powiedział przedstawicielom EE Times, że marka pracuje również nad sensorem do wychwytywania kodów QR i innym modułem sprzętowym do przetwarzania mowy.
Menta
EE Times zapoznało się na targach w Norymberdze z francuską firmą Menta zajmującą się blokami IP eFPGA. CTO marki, Yoan Dupret, wyjaśnił, że przedsiębiorstwo działa na dwóch rynkach — większość klientów znajduje się w sektorze obronnym, a pozostali skupiają się w dziedzinie przetwarzania brzegowego, w tym na urządzeniach i serwerach. Chociaż projekt eFPGA jest często używany do akceleracji kryptografii i sieci 5G, gdzie algorytmy mogą wymagać okresowej zmiany lub aktualizacji po wdrożeniu, rośnie obszar zbytu akceleratorów AI pracujących na krawędzi, powiedział.
Stosunek FPGA LUT do bloków DSP w programowym, od Menty, jest elastyczny. Można również zaimplementować w nim niestandardowe bloki. Projekt ten jest skalowalny od 100 LUT (być może w module czujnika IoT) do nawet 200 000 LUT. Chociaż nie jest to typowy klient, japońska grupa badawcza Raas stworzyła implementację dla aplikacji AI pracujących w centrach danych. Standardowe zastosowania obejmują sztuczną inteligencję do wykrywania chmur i monitorowania zmian klimatycznych w obrazie satelitarnym. A także prostsze aplikacje do liczenia osób w systemach inteligentnego nadzorowania handlu detalicznego.
Innatera
Firma Innatera pracuje nad akceleratorem pulsującej sieci neuronowej dla sygnałów analogowych i mieszanych. Demonstracja obejmowała układ scalony pierwszej generacji, obsługujący scenę dźwiękową przy poborze mocy czynnej poniżej 1 mW dla aplikacji, które są zawsze aktywne. 1 s dźwięku w tym systemie można sklasyfikować w czasie około 1 ms.
Nadchodzące urządzenie drugiej generacji z dwukrotnie większą liczbą neuronów, widoczne na stoisku marki, będzie oferować jeszcze niższe opóźnienia i zredukowane zużycie energii. To dzięki ulepszonym technikom kalibracji i dalszym pracom wykonanym nad projektem obwodów analogowych, jak twierdzi inżynier systemu neuromorficznego w Innatera, George'a Vathakkatila Josepha. Powiedział on, że sprzęt trzeciej generacji, który ma zostać wprowadzony do produkcji w nadchodzących miesiącach, ma zapewniać pełniejsze rozwiązanie typu system-on-chip.
Na stoisku Hailo znajdowało
się wiele serwerów Edge AI
użytkujących Hailo-8.
Ten z Qtechnologies
segreguje ziemniaki.
się wiele serwerów Edge AI
użytkujących Hailo-8.
Ten z Qtechnologies
segreguje ziemniaki.
W przestrzeni ekspozycyjnej Hailo można było zobaczyć różne wersje demonstracyjne serwerów edge-AI od partnerów firmy korzystających z akceleratora Hailo-8, w tym przemysłowego systemu wizyjnego duńskiego producenta Qtechnologies, przeznaczonego do szybkiego sortowania ziemniaków. Mechanizm klasyfikował jednocześnie warzywa według wielkości, kształtu, jakości i odmiany. A demonstracja prezentowała działanie algorytmów segmentacji, śledzenia i sortowania w czasie rzeczywistym.
ARM
Po wprowadzeniu na rynek w zeszłym roku nowego rdzenia dla mikrokontrolerów — ARM Cortex-M85, obsługującego sztuczną inteligencję — Paul Williamson, starszy wiceprezes i dyrektor generalny linii biznesowej IoT w ARM, powiedział EE Times, że firma będzie nadal inwestować w serię produktów Ethos — dedykowanych rdzeni akceleratorów AI. Podczas gdy linia Ethos jest: „bardzo aktywna” i „koncentruje się na naszych ciągłych inwestycjach”, jak mówi Williamson, ARM wierzy, że w branży ważne będzie posiadanie stabilnej, ukierunkowanej programowo platformy. Ta powinna dostarczać więcej możliwości uczenia maszynowego w mikrokontrolerach.
Podczas pokazu na targach w Norymberdze ogłoszono ulepszoną integrację wirtualnego sprzętu ARM (AVH) z najnowszą wersją zestawu deweloperskiego Keil MCU. AVH pozwala programistom na szybkie sprawdzanie, czy ich algorytmy pasują do danych rdzeni ARM z określonymi rozmiarami pamięci, pomagając im zdecydować, czy wymagane są dedykowane akceleratory, takie jak Ethos.
ARM ściśle współpracuje również z zewnętrznymi dostawcami akceleratorów IP w przypadku aplikacji, które potrzebują większego przyspieszenia, niż może zaoferować linia Ethos, w tym BrainChip (na stoisku ARM prezentowana była demonstracja ARM M85 współpracującego z modułami BrainChip Akida).
Eurotech
Włoski producent komputerów do pracy na krawędzi, firma Eurotech, przygotowała zabawne pokazy, w tym robotyczne ramię, które mogło naśladować ruchy odwiedzających stoisko za pośrednictwem systemu kamer.
DynaCor 40-36 od Eurotech służy do gromadzenia danych
i trenowania modeli do jazdy autonomicznej (tutaj ze zdjętą obudową, z przodu i z tyłu).
System serwera brzegowego DynaCOR 40-36, który zdobył nagrodę Best in Show w kategorii AI, jest przeznaczony do zbierania danych wykorzystywanych do przygotowania mechanizmów audiowizualnych, a także szkolenia i wnioskowania w pojeździe. Ten serwer brzegowy jest wyposażony w procesor Intel Xeon i cztery gniazda PCIe — wersja na stoisku miała w nich zainstalowane cztery karty Nvidia A30. Jest chłodzony cieczą, co oznacza cichą pracę dzięki brakowi wentylatorów.
GreenWaves zaprezentowało
system audio Idun, w którym
słuchacz umieszczony może
być w środku orkiestry.
system audio Idun, w którym
słuchacz umieszczony może
być w środku orkiestry.
GreenWaves
GreenWaves zaprosił EE Times do prezentacji audio na swoim stoisku, w tym aktywnej redukcji szumów i dźwięku przestrzennego. Demonstracja dźwięku przestrzennego, opracowana we współpracy z Idun Audio, umożliwia użytkownikowi usłyszenie różnych części muzyki lub odmiennych mówców podczas spotkania, z rozmaitych kierunków.
Moduł inercyjny, zintegrowany w słuchawkach pozwala osobie obrócić głowę i nadal wyłapywać odpowiedni dźwięk z tego samego kierunku. Szczególnie efektowna była ekspozycja, która zdawała się lokować użytkownika w centrum orkiestry. Sztuczna inteligencja dźwięku przestrzennego firmy Idun Audio działa na procesorze GAP9 marki GreenWaves przy mocy poniżej 2,7 mW.
Procesor GAP9 od GreenWaves otrzymał pierwszą nagrodę w kategorii sprzętu konkursu Embedded Awards.
Źródło: https://www.eetimes.com/tinyml-comes-to-embedded-world-2023/
Fajne? Ranking DIY

