logo elektroda
logo elektroda
X
logo elektroda
Adblock/uBlockOrigin/AdGuard mogą powodować znikanie niektórych postów z powodu nowej reguły.

Algorytmy neuromorficzne: już wkrótce w produktach konsumenckich

ghost666 12 Paź 2022 15:57 1008 0
REKLAMA
MediaMarkt Black Week
  • Algorytmy neuromorficzne: już wkrótce w produktach konsumenckich
    IMX 636 od Prophesee i Sony to produkt
    czwartej generacji. Prophesee wskazuje,
    że przyszłe zmniejszą rozstaw
    pikseli i ułatwią integrację
    z konwencjonalnymi platformami
    obliczeniowymi.
    Co dzisiaj oznacza: „neuromorficzny”? „Uzyskasz 10 odmiennych odpowiedzi od 10 różnych osób” — śmieje się Luca Verre (na zdjęciu po prawej, poniżej), dyrektor generalny firmy Prophesee. „Kiedy przedsiębiorstwa robią krok od: 'to w co wierzymy' do: 'jak możemy to urzeczywistnić', zmienia się definicję tego, co neuromorficzne”. Większość firm zajmujących się czujnikami i obliczeniami neuromorficznymi ma na myśli podobną wizję — wskazał — ale wdrożenia i strategie będą się różnić w zależności od ograniczeń produktowych, rynkowych i inwestycyjnych.

    Algorytmy neuromorficzne: już wkrótce w produktach konsumenckich
    Luca Verre
    „Powodem, dla którego… wszystkie te firmy pracują [nad technologiami neuromorficznymi], jest fundamentalne przekonanie, że model biologiczny ma lepsze właściwości w porównaniu z konwencjonalnym” — powiedział. „Ludzie przyjmują różne założenia dotyczące produktu, integracji systemu, możliwości biznesowych i dokonują odmiennych implementacji… Jednak zasadniczo przekonanie jest takie samo”.

    Wizją Verre jest to, że technologie neuromorficzne mogą zbliżyć technikę do ludzi, co ostatecznie zapewnia bardziej wciągające wrażenia i umożliwia szybsze jej wdrażanie, w danym wypadku np. autonomicznej jazdy i rozszerzonej rzeczywistości. „Kiedy ludzie rozumieją, że technologia, która za tym stoi jest bliższa naszemu sposobowi pracy i zasadniczo naturalna, jest to niesamowite źródło otuchy” — dodał.

    Które rynki będą pierwsze?

    Prophesee już od kilku lat realizuje swoją misję komercjalizacji kamery bazującej na zdarzeniach przy użyciu zastrzeżonej technologii dynamicznego czujnika wizyjnego. Firma współpracowała z liderem w tej branży — marką Sony, aby stworzyć kompaktowy, wysokiej rozdzielczości moduł oparty na zdarzeniach, IMX 636. Warstwa fotodiody w nim jest układana bezpośrednio na CMOS przy użyciu procesu depozycji matryc 3D firmy Sony.

    Według Verre sektorem najbliższym komercyjnemu przyjęciu tej technologii są przemysłowe systemy widzenia maszynowego. „Przemysł jest dziś wiodącym segmentem, ponieważ historycznie wpychaliśmy do niego naszą kamerę trzeciej generacji, która była większym czujnikiem i lepiej dostosowana do tego typu zastosowań” — powiedział. „Przemysł historycznie był bardzo aktywnym rynkiem widzenia maszynowego. W rzeczywistości jest to prawdopodobnie jeden z segmentów, które przyjęły technologie CCD i CMOS na samym początku… zdecydowanie kluczowy obszar”.

    Drugim krytycznym polem dla sensora IMX 636 są technologie konsumenckie, napędzane przez zmniejszenie rozmiaru spowodowane wykorzystaniem procesu depozycji matryc firmy Sony. Aplikacje konsumenckie obejmują kamery IoT, monitorujące i akcji, drony, roboty, a nawet smartfony. W wielu przypadkach kamera oparta na zdarzeniach jest używana wraz z pełnoklatkową, wykrywając ruch, dzięki czemu można zastosować przetwarzanie obrazu w celu uzyskania lepszej jakości wizji, nawet gdy obiekt się porusza.

    „Powód jest bardzo prosty: jednostki oparte na zdarzeniach świetnie nadają się do zrozumienia ruchu” — powiedział Verre. „Do tego są przeznaczone. Kamery bazujące na klatkach są lepiej przystosowane do zrozumienia informacji statycznych. Połączenie dynamicznych zasobów z kamery opartej na zdarzeniach i statycznych z jednostki bazującej na klatkach jest komplementarne, jeśli chce się uchwycić zdjęcie lub wideo w scenie, w której coś się porusza”. Dane o zdarzeniach można łączyć z obrazami pełnoklatkowymi, aby skorygować wszelkie rozmycia kadru, zwłaszcza w przypadku kamer sportowych i monitorujących. „Wyraźnie widzimy w tej dziedzinie pewne zainteresowanie, co oczywiście jest bardzo obiecujące, ponieważ wielkość zwykle związana z tym ujęciem może być dość znaczna w porównaniu z systemami widzenia w aplikacjach przemysłowych” — dodał.

    Prophesee współpracuje również z klientem nad rozwiązaniami do monitorowania kierowców samochodów — gdyż, jak Verre wskazał — kamery oparte na zdarzeniach przynoszą korzyści w zakresie słabego oświetlenia, czułości i szybkiego wykrywania. Zastosowania obejmują wychwytywanie mrugania oczami, śledzenie twarzy oraz mikroekspresji.


    Podejście do komercjalizacji

    Algorytmy neuromorficzne: już wkrótce w produktach konsumenckich
    Zestaw ewaluacyjny Prophesee EV4.
    Firma Prophesee ciężko pracuje nad komercjalizacją kamer bazujących na wydarzeniach. Marka zaprezentowała niedawno nowy zestaw ewaluacyjny (EVK4) dla IMX 636. Jest on przeznaczony do widzenia przemysłowego z wytrzymałą obudową, ale będzie działał we wszystkich zastosowaniach (Verre dodał, że dotychczas sprzedano już kilkaset sztuk). Pakiet Metavision SDK firmy dla widzenia maszynowego opartego na zdarzeniach również został niedawno udostępniony na zasadach open-source, aby zmniejszyć problemy związane z przyjęciem danej technologii. Społeczność Metavision liczy dziś około 5000 zarejestrowanych członków.

    „EDK jest świetnym narzędziem do dalszego rozwoju i popularyzacji technologii i ma bardzo typową formę” — powiedział Verre. „SDK skrywa percepcję złożoności, jaką może mieć każdy inżynier lub badacz podczas testowania bądź sprawdzania nowej techniki… Pomyśl o inżynierach, którzy pracowali przez kilka dziesięcioleci nad przetwarzaniem obrazów, a teraz widzą zdarzenia… nie są zbytnio zainteresowani byciem wyciągniętym poza swoją strefę komfortu”.

    Nowością w pakiecie Metavision SDK jest symulator konwertowania pełnych klatek na wydarzenia, aby pomóc projektantom przejść między sposobem, w jaki pracują dzisiaj a domeną akcji. Zauważając niechęć niektórych jednostek do odchodzenia od pełnych klatek, Verre wskazał, że symulator ma pokazać im, że w wydarzeniach nie ma nic magicznego. „[Zdarzenia są] tylko sposobem przechwytywania informacji ze sceny, która zawiera znacznie większą precyzję czasową w porównaniu z obrazami i jest w rzeczywistości bez miary bardziej istotna, ponieważ zazwyczaj otrzymujesz tylko to, co się zmienia” — podsumował. Symulator może również zrekonstruować pełne klatki obrazu na podstawie danych o zdarzeniach, co, jak twierdzi, uspokaja ludzi.

    Algorytmy neuromorficzne: już wkrótce w produktach konsumenckich
    Jak działają kamery Prophese oparte na zdarzeniach.


    „Większość klientów nie stanowi już tego wyzwania, ponieważ rozumieją, że muszą patrzeć z innej perspektywy, podobnie jak w przypadku korzystania z technologii takich jak pomiar czasu przelotu lub ultradźwięki” — oznajmił. „Problem tkwi w tym, że ich postrzeganie bazuje na tym, że jest to kolejny czujnik obrazu… dla tej kategorii klientów stworzyliśmy to narzędzie, które może pokazać im drogę do stopniowego przejścia do tej nowej modalności wykrywania… Jest to zmiana nastawienia, co może zająć trochę czasu, ale się dokona”.

    Zastosowania realizowane w społeczności programistów Prophesee obejmują przywracanie części wzroku niewidomym, wykrywanie i klasyfikowanie zanieczyszczeń w próbkach medycznych, śledzenie cząstek w badaniach, robotyczne czujniki dotykowe i kontrolowanie śmieci kosmicznych.

    Plan rozwoju sprzętu

    Jeśli chodzi o plany rozwoju, Prophesee chce kontynuować postęp zarówno urządzeń, jak i oprogramowania, wraz z nowymi zestawami ewaluacyjnymi, rozwojowymi i projektami referencyjnymi. Może to obejmować projekty referencyjne systemów, które łączą czujniki Prohpesee ze specjalnie opracowanymi procesorami. Na przykład, partner Prohpesee, firma iCatch przygotowała procesor wizyjny AI SoC, który łączy się natywnie z IMX 636 i jest wyposażony w dekoder zdarzeń na chipie. Japoński dostawca rdzenia AI, DMP, również współpracuje z Prophesee nad systemem opartym na FPGA. W realizacji jest jeszcze więcej wspólnych projektów, jak informuje Verre. „Widzimy rosnące zainteresowanie partnerów ekosystemu na poziomie SoC, ale także oprogramowania, którzy są skłonni budować nowe rozwiązania w oparciu o technologię Prophesee” — powiedział. „Ten rodzaj zasobów jest ważny dla społeczności, ponieważ jest to kolejny krok w kierunku innego podejścia — mogą uzyskać czujnik, kamerę, platformę obliczeniową i oprogramowanie, aby opracować kompletne ujęcie”.

    Algorytmy neuromorficzne: już wkrótce w produktach konsumenckich
    Ewolucja sensorów wizyjnych opartych na zdarzeniach od Prophesee.


    Skąd się bierze sprzęt z czujnikami opartymi na zdarzeniach? Verre przytoczył dwa kluczowe kierunki, w których będzie podążać technologia. Pierwszym jest dalsze zmniejszenie rozmiaru piksela i ogólne sensora, aby nadawał się do kompaktowych zastosowań konsumenckich, takich jak urządzenia do noszenia. Drugi to ułatwienie integracji wykrywania opartego na zdarzeniach z konwencjonalnymi platformami SoC.

    Współpraca z firmami informatycznymi będzie miała krytyczne znaczenie dla zapewnienia, że ​​czujniki nowej generacji natywnie wbudowują możliwość łączenia się z platformą obliczeniową, co upraszcza zadanie na poziomie systemu. Rezultatem będą inteligentniejsze sensory. „Uważamy, że zdarzenia mają sens, więc chcemy zrobić więcej wstępnego przetwarzania w samym czujniku, ponieważ to tam trzeba poczynić najmniejsze kompromisy” — powiedział Verre. „Im bliżej do źródła informacji, tym lepiej pod względem wydajności i minimalizacji opóźnień. Unika się również konieczności kodowania i przesyłania danych. A więc jest to coś, do czego dążymy”.

    Ponieważ fabryki wciąż czynią postępy w procesie układania półprzewodników w stosy 3D, lokowanie w dwóch lub nawet trzech warstwach przy użyciu najbardziej zaawansowanych procesów CMOS może pomóc w sprowadzeniu większej inteligencji do poziomu pikseli.

    Jednakże ile inteligencji w pikselu to właściwa ilość? Verre wskazuje, że wynika to z kompromisu pomiędzy zwiększeniem kosztów krzemu a posiadaniem wystarczającej inteligencji, aby upewnić się, że interfejs z konwencjonalnymi platformami komputerowymi jest wystarczająco dobry. „Czujniki zazwyczaj nie wykorzystują zaawansowanych węzłów procesowych, najwyżej 28 nm lub 22 nm” — wskazuje. „Główne układy SoC używają 12 nm, 7 nm, 5 nm i mniej, więc są oparte na węzłach technologicznych, które mogą bardzo dobrze skompresować komponent cyfrowy. Równanie wielkości w stosunku do kosztów oznacza, że ​​w pewnym momencie jest to bardziej wydajne, ekonomiczniejsze [niż umieszczenie inteligencji w SoC]”.

    Algorytmy neuromorficzne: już wkrótce w produktach konsumenckich
    Wybór aplikacji dla kamer opartych na zdarzeniach od Prophesee.


    Istnieje również pewna synergia łączenia czujników bazujących na zdarzeniach z neuromorficznymi architekturami obliczeniowymi. „Ostatecznym celem technologii neuromorficznej jest posiadanie zarówno możliwości wykrywania, jak i przetwarzania neuromorficznego lub opartego na zdarzeniach, ale nie jesteśmy jeszcze w dobrym miejscu pod względem dojrzałości tego typu rozwiązania” — powiedział. „Jesteśmy bardzo aktywni w tej dziedzinie, aby przygotować się na przyszłość — współpracujemy z Intelem, SynSense i innymi partnerami z tej branży — ale w krótkim okresie główny nurt rynku zajmują konwencjonalne platformy SoC”. Podejście Prophese jest tutaj bardzo pragmatyczne. Verre powiedział, że celem firmy jest próba zminimalizowania wszelkich kompromisów, aby zapewnić korzyści przewyższające konwencjonalne rozwiązania.

    „Ostatecznie uważamy, że zdarzenia powinny naturalnie przesyłać strumieniowo asynchronicznie do architektury obliczeniowej, która jest również asynchroniczna, aby w pełni korzystać z niskich opóźnień i mocy” — wskazał. „Jednak musimy być pragmatyczni i przeprowadzać tę ewolucję, aby naprawdę czerpać korzyści z istniejących platform i współpracować z kluczowymi partnerami w tej przestrzeni, którzy są gotowi zainwestować w rozwój oprogramowania i sprzętu oraz zoptymalizować określone rozwiązania dla niektórych rynków”.

    Źródło: https://www.eetimes.com/neuromorphic-sensing-coming-soon-to-consumer-products/

    Fajne? Ranking DIY
    O autorze
    ghost666
    Tłumacz Redaktor
    Offline 
    Fizyk z wykształcenia. Po zrobieniu doktoratu i dwóch latach pracy na uczelni, przeszedł do sektora prywatnego, gdzie zajmuje się projektowaniem urządzeń elektronicznych i programowaniem. Od 2003 roku na forum Elektroda.pl, od 2008 roku członek zespołu redakcyjnego.
    https://twitter.com/Moonstreet_Labs
    ghost666 napisał 11960 postów o ocenie 10197, pomógł 157 razy. Mieszka w mieście Warszawa. Jest z nami od 2003 roku.
  • REKLAMA
    MediaMarkt Black Week
REKLAMA