Elektroda.pl
Elektroda.pl
X
Proszę, dodaj wyjątek www.elektroda.pl do Adblock.
Dzięki temu, że oglądasz reklamy, wspierasz portal i użytkowników.

Nowe systemy wizyjne od ojca Subaru EyeSight

ghost666 28 Maj 2018 08:33 612 0
  • Nowe systemy wizyjne od ojca Subaru EyeSight
    Nowe systemy wizyjne od ojca Subaru EyeSight
    ITD Lab to zatrudniający 20 osób start-up pracujący nad "inteligentną kamerą stereoskopową" (ISC). Technologia ta ma znaleźć zastosowanie w systemach wspierania kierowców, pojazdach autonomicznych, bezzałogowych pojazdach latających (dronach) czy też robotach przemysłowych.

    'Tajną bronią" ITD ma być jej CTO - Keiji Saneyoshi (na zdjęciu po prawej) - ojciec systemu EyeSight, stworzonego przez Subaru. Saneyoshi brał udział w opracowaniu systemu stereoskopowego widzenia dla pojazdów tego producenta. Subaru stworzyło "stereoskopowy dalmierz, który wpierał kierowcę podczas jazdy. To pierwszy tego rodzaju system, który wykorzystywał tylko dane z kamer do detekcji innych pojazdów, pieszych, rowerzystów i motocyklistów.

    Saneyoshi opuścił w 1998 roku szeregi Subaru i rozpoczął pracę w nauce. Jako profesor w Tokijskim Instytucie Technologicznym (TIT) pracował do 2017 roku doskonaląc algorytmy postrzegania stereoskopowego dla systemów widzenia maszynowego. W maju 2016 roku założył on wraz ze swoim zespołem start-up ITD Lab - firma miała za zadanie skomercjalizować tą technologię.

    Systemy stereoskopowego widzenia są konikiem Saneyoshiego i ITD Lab. Technologia ta oferuje możliwość prostego pomiaru odległości pomiędzy kamerami a obserwowanym obiektem - żadna pojedyncza kamera tego nie potrafi. Jednakże obecnie w systemach dedykowanych do motoryzacji dominują systemy wielosensorowe, oferujące fuzję wielu metod pomiarów. Patrząc na to, prace ITD Lab mogą wydawać się bezcelowe - jakkolwiek systemy kamer stereoskopowych kiedyś mogły mieć swoje zalety, to dzisiejsze systemy wsparcia kierowców wyposażone w np. radary doskonale radzą sobie z tylko jedną kamerą. Wielu producentów nowoczesnych aut uważa takie rozwiązanie za dostateczne,

    Oczywiście, twórca EyeSight w Subaru w pełni rozumie jak daleko poszła technologia łącząca radar z pojedynczą kamerą wideo. Mimo to jest przekonany, że system ITD Lab, który nie musi wykorzystywać danych z radarów, jest w stanie dostarczyć dużo lepszych parametrów, jeśli chodzi o pomiar odległości i rekonstrukcję trójwymiarowej przestrzeni, rozpoznawanie własnej pozycji i w konsekwencji zapewnić lepsze rozpoznawanie przedmiotów dookoła, śledzenie pasa ruchu, jego granic, innych pojazdów i finalnie zapewnić zaawansowane i szybkie - dzięki kamerom od 60 fps do 160 fps - zapobieganie zderzeniom.





    Dyrektorem ITD Lab jest były student Saneyoshiego, Akihito Ogura. Wymienia on szereg zalet systemów opartych o kamery. Jest to między innymi automatyczna kalibracja systemu - jest on odporny na błędy i brak dokładności podczas budowy modułu czy jego montażu w pojeździe. Dodatkowo, jak wskazuje Ogura, tego rodzaju systemy są tańsze niż konkurencja. Celem ITD Lab jest dostarczenie bezpiecznych systemów wspomagania kierowcy, które miałyby być istotnie tańsze niż konkurencyjne moduły oparte na technologii Intela i Mobileye.

    ITD Lab tworzy zaawansowane algorytmy do analiz obrazów stereoskopowych - to ich klejnot w koronie. Są one dostarczane zainteresowanym licencjobiorcom w postaci zamkniętych wsadów do układów programowalnych. Zapisuje się je w pamięci ROM dowolnego modułu, następnie wykorzystywany jest on do skonfigurowania układu programowalnego FPGA; ITD tworzy swoje aplikacje na układy z rodziny Altera Cyclone.

    Spuścizna EyeSight

    Jakkolwiek ITD Lab jest jedynie młodym start-upem, to nie ma problemów z wiarygodnością dzięki renomie, jaką posiada stworzone dla Subaru przez CTO spółki EyeSight.

    „EyeSight jest bardzo dobrym i solidnym rozwiązaniem, które na rynku dostępne jest już od jakiegoś czasu” - mówi Phil Magney, założyciel i dyrektor VSI Labs. „Subaru zdobyło sporo pozytywnej pracy w momencie wprowadzania tego systemu wspomagania kierowcy, który stał się zasadniczym elementem zapewniającym bezpieczeństwo autom tego producenta” - dodaje.

    ITD. Lab, jak mówi Saneyoshi, udoskonaliło stereoskopowy dalmierz, jaki stworzony został dla Subaru. Prace dotyczyły zwłaszcza obszarów, takich jak kalibracja automatyczna, prędkość obliczeń (zwłaszcza optymalizacja ich zrównoleglania) czy dokładność obrazowania uzyskiwana dzięki kompensacji błędów paralaksy,

    Niektórzy analitycy wskazują jednak, że na rynku systemów wspomagania kierowców nie ma już miejsca dla systemów stereoskopowych. Mike Demler, starszy analityk z Linley Group komentuje „Subaru wykorzystuje podwójną kamerę do oceny odległości w systemie adaptywnej kontroli jazdy oraz automatycznego sterowania hamulcami i gazem. To bardzo nietypowy wybór” - zauważa Demler - „Radary są dużo popularniejsze do tych zadań” - Jak wskazuje analityk - “dużo bardziej niezawodne są systemy, które nie bazują na dostępności światła, czy w ogóle warunkach wizyjnych otoczenia”.

    Demler uważa, że kamery stereoskopowe nadają się jedynie do trójwymiarowego modelowania otoczenia i wyznaczania odległości. Saneyoshi wybrał to rozwiązanie najpewniej dlatego, że jest z nim po prostu najlepiej obeznany – lepiej niż z systemami wykorzystującymi fuzję obrazu z kamery i sygnału radarowego.

    Z drugiej strony Saneyoshi cały czas twierdzi, że wykorzystanie kamer – w pełni optycznego toru – ma uczynić systemy wspomagania kierowców prostszymi i łatwiejszymi w implementacji. Wynikać to ma z faktu, że nie wymagane są tutaj algorytmy fuzji sensorów.

    Magney częściowo zgadza się z CTO ITD Lab. „Wykorzystanie widzenia stereoskopowego i brak konieczności przejmowania się danymi radarowymi pozwala na przetwarzanie wszystkiego w module wizyjnym tak, że cały układ jest wysoce zintegrowany, co daje ogromne zalety w zakresie implementacji układu w aucie”. Mimo wszystko nie jest to typowe rozwiązanie – „dużo częściej spotyka się pojedynczą kamerę zintegrowaną z radarem, która daje informacje o odległościach od otaczających obiektów i prędkości ich poruszania się” - mówi Magney.

    Istotnie jest tak jak mówi analityk – radary są coraz lepsze. Nowoczesne rozwiązania pozwalają bez problemu ‘widzieć’ w dowolnych warunkach pogodowych, czego żadna kamera nie potrafi. Z drugiej strony, istotnym problemem radarów są fałszywie dodatnie detekcje obiektów w otoczeniu sensora, zwraca uwagę Magney.

    Systemy wykorzystujące fuzję sensorów są coraz popularniejsze. Możliwe, że technologia nad którą pracuje ITD Lab jest już przestarzała. Mimo to, CEO firmy nie zgadza się z obecnymi trendami. Ogura jest w pełni świadom tego, że firma w obecnych warunkach na rynku ma ‘pod górkę’ ze swoim produktem, jednakże CEO optymistycznie patrzy w przyszłość. „Dajcie nam szansę zademonstrować działanie naszej technologii. Nie będziecie zawiedzeni” - komentuje Ogura.
    Nowe systemy wizyjne od ojca Subaru EyeSight
    Inni rozwijający technologie stereoskopowe

    ITD Lab nie jest jedyną firmą, która pracuje nad systemami widzenia stereoskopowego. Podobne prace prowadzi nadal Subaru ze swoim EyeSight, firma Autoliv czy spółka Ambarella rozwijająca VisLab. Wszystkie te firmy oferują rozwiązania oparte o widzenie stereoskopowe.

    Demler opowiada, że firma AIMotive prezentowała mu swoje stereoskopowe rozwiązanie dla pojazdów autonomicznych wyższych poziomów. Jak dodaje Magney oprócz wymienionych firm „kilku wiodących producentów samochodów nadal pracuje nad systemami widzenia stereoskopowego i jest w stanie wykorzystać tą technologię w swoich produktach, nawet jeżeli obecnie nie jest ona oficjalnie częścią ich dostępnych rozwiązań”.

    Porównując obie technologie – widzenia stereoskopowego i fuzji sensorycznej z danymi z radaru, jak wskazuje Saneyoshi, rozwiązanie ITD Lab ma dwie istotne zalety. „Nasze rozwiązanie oferuje o wiele lepszą detekcję krawędzi, opartą o detekcję obiektów a ponadto jesteśmy w stanie przetwarzać dane szybciej. Nasz obecny system przetwarza obrazy około dziesięć razy szybciej niż EyeSight od Subaru” - mówi CTO firmy.

    Po lewej stronie (powyżej) widzimy zdjęcie zrobione zwykłym sensorem CMOS. Porównajmy je teraz z dwoma obrazami, jakie uzyskać można z systemów wspomagania kierowców, jakie wykorzystywane są w motoryzacji (poniżej).

    Nowe systemy wizyjne od ojca Subaru EyeSight
    Nowe systemy wizyjne od ojca Subaru EyeSight
    Po lewej stronie widzimy obraz uzyskany z wykorzystaniem konkurencyjnych dla ITD algorytmów. Jak wskazuje Saneyoshi maja one problem z detekcją krawędzi pomiędzy obiektami, a cały obraz jest dosyć rozmyty. Może to skutkować problemami z detekcją czy nawet znikaniem cały obiektów, które literalnie stopią się z tłem.

    Zdjęcie po prawej natomiast jest wynikiem obróbki przez algorytm ITD Lab. Krawędzie są dużo czytelniejsze, a obiekty wyraźnie od siebie oddalone. Dzięki temu system może lepiej unikać przeszkód na swojej drodze, jako że ich detekcja jest pewniejsza i bardziej niezawodna.

    Wszystko w jednym układzie

    To, co odróżnia system ITD Lab od innych to chęć wykorzystania układu programowalnego FPGA jako kluczowego elementu przetwarzania danych. Saneyoshi wierzy, że układy FPGA są nie tylko idealne do zastosowań w systemach ITD Lab, ale także ogólnie we wszystkich algorytmach widzenia stereoskopowego. „Możliwość przetwarzania równoległego jest wprost stworzona dla systemów głębokiego uczenia maszynowego” - wskazuje CTO spółki.

    Obecnie firma nie oferuje wbudowania algorytmów głębokiego uczenia maszynowego w swoje kamery, jednakże AI ma zostać niebawem dodane, gdyż układy FPGA są „relatywnie tanie”, jak mówi Ogura. Dystrybutorem systemów ITD Lab jest Macnica/Fuji Electronics. Firma ta dostarcza rozwiązania uczenia maszynowego innych producentów do integracji z kamerami ITD, jak informuje dyrektor główny tego przedsiębiorstwa Sachihiko Asakura.

    “Nie posiadanie systemu AI nie jest krytyczne dla układu wspomagania kierowców. W tym sektorze dominują nadal aplikacje i algorytmy deterministyczne” - mówi Magney. „Jednakże, dla bardziej zaawansowanych aplikacji, takich jak pojazdy autonomiczne, konieczne jest opracowanie AI, by pozostać konkurencyjnym na rynku” - dodaje.

    Saneyoshi uważa, że systemy przetwarzania obrazów stereoskopowych są idealne do detekcji wszystkich obiektów, bez konieczności trenowania sieci. Jak zauważa, systemy z pojedynczą kamerą, mają czasami problemy z rozpoznaniem obiektów, które widzą po raz pierwszy, których nie zostały nauczone rozpoznawać. „Na przykład Volvo – ich pojazd autonomiczny miał problem z identyfikacją kangurów na poboczu, gdy testowany był w Australii” - mówi CTO firmy. Ruchy kangurów i ich sylwetki uchwycone w czasie wykonywania skoków były dużym zaskoczeniem dla procesora wizyjnego w tym systemie.

    Jak prostuje Demler nie jest do końca tak, jak widzi to Saneyoshi. „Algorytmy detekcji obiektów z wykorzystaniem jednej kamery są już od dawna dobrze opracowane i sprawdzone. Czyż nie jest ciekawe, że wszystkie algorytmu w ramach konkursu ImageNet to systemy z pojedynczą kamerą?” dodaje analityk.

    “Sieci neuronowe to klasyfikatory. Obliczają prawdopodobieństwo tego, że dany obiekt jest elementem jakiejś predefiniowanej klasy. Jak już wiemy - auto Ubera, które brało udział w niedawnym śmiertelnym wypadku, doskonale poradziło sobie z wykryciem kobiety. Problemem było jednak dalsze sterowanie samochodem” - podsumowuje Demler.

    Jeśli chodzi o wypadek auta Ubera, to Saneyoishi zadaje pytanie, czy wykorzystany tam system Mobileye zadziałał dostatecznie szybko i wykrył pieszego odpowiednio wcześnie.

    Aby odpowiedzieć na to pytanie, firma Mobileye wykorzystała wideo udostępnione publicznie przez policję. Na swoim blogu, Amnon Shashua z Intela informował: “Pomimo niesprzyjających warunków, gdzie dużą część zakresu dynamiki obrazu nie była dla nas dostępna, detekcja przeszkody nastąpiła około jednej sekundy przed zderzeniem”.

    Nowe systemy wizyjne od ojca Subaru EyeSight
    ITD Lab zrobił dokładnie to samo. Wykorzystano publicznie udostępnione wideo z momentu wypadku. Oprogramowanie stworzone przez zespół Saneyoshiego wykryło rowerzystkę 2,23 sekundy przed wypadkiem.

    Pierwsza kolumna obrazów w zestawieniu po lewej stronie pokazuje zdjęcie obiektu w momencie, gdy pierwszy raz został wykryty przez klasyczny system, około 1,29 sekundy przed wypadkiem. W drugiej kolumnie znajdują się zdjęcia wykonane przez system widzenia ITD Lab. W trzeciej kolumnie natomiast znajdują się klatki z filmu udostępnionego przez policję po zdarzeniu.

    ITD Lab sprzedaje obecnie układ scalony, dedykowany do inteligentnych kamer stereoskopowych. Układ ten to nic więcej jak pamięć ROM, która służy do konfigurowania układu programowalnego. Dzięki temu będzie on w stanie przetwarzać dane z dwóch kamer i wykrywać obiekty w ich polu widzenia. Wraz z układem dostarczany jest referencyjny projekt płytki drukowanej układu oraz optyki takiego systemu. Co najmniej jeden wiodący producent samochodów testuje obecnie system opracowany przez ITD Lab. Moduł wizyjny pobiera zaledwie 3 W mocy podczas pracy.

    Źródło: https://www.eetimes.com/document.asp?doc_id=1333300


    Fajne! Ranking DIY