Manewr Apple spowodował natychmiastową reakcję całej branży elektronicznej. Dostawcy układów scalonych i czujników natychmiastowo przystąpili do rewaluacji swoich planów rozwoju portfolio układów; kilku z nich już dokonało diametralnej zmiany modeli biznesowych związanych z tym segmentem rynku.
Ale czym dokładnie jest zainstalowany w tablecie Apple „skaner LIDAR”? Firma sensor ten określa terminem „sensora głębi”. Innymi słowy, jest to sensor dokonujący pomiaru obiektów w trzech wymiarach. Jak wyjaśnia Pierre Cambou, główny analityk w dziale fotoniki i wyświetlaczy w Yole Développement, „LIDAR w tabletach i smartfonach to ogólnie tylko podkategoria układów do detekcji 3D". Wielu projektantów systemów - niezależnie od tego, czy projektuje samochody, smartfony czy tablety – poszukuje sposobów uzyskiwania informacji o głębi 3D, którą można dodawać do informacji dotyczących pikseli i kolorów rejestrowanych przez dwuwymiarowe czujniki obrazu. LIDARy są stosowane w przemyśle motoryzacyjnym do wykrywania i mapowania odległości od obiektów wokół samochodów, zwłaszcza tych autonomicznych.
Nowo wprowadzony na rynek iPad w wersji Pro 11 firmy Apple używa skanera LIDARowego, aby zaoferować bardziej profesjonalną rzeczywistość rozszerzoną. Jest on przeznaczony do współpracy z zestawem programistycznym Apple ARkit3.5. To, co sprawia, że implementacja skanera LIDARowego jest znaczącym krokiem – i dlaczego inni dostawcy urządzeń mobilnych pójdą w te ślady – to szczególna technologia stosowana wewnątrz modułu wykorzystywanego w iPadzie do pomiaru głębi obrazu.
Różne opcje skanowania 3D
Istnieje kilka opcji dostępnych dla projektantów urządzeń noszonych, jeśli chodzi o pomiar w środowisku 3D. Obejmują one widzenie stereo (kamery stereoskopowe), wykorzystanie oświetlenia strukturalnego oraz sensory z pomiarem czasu przelotu (ToF), które to mają dwa warianty: pośredni pomiar czasu przelotu (iToF) i pomiar bezpośredni (dToF). Sensory iToF mierzą przesunięcie fazowe sygnałów, podczas gdy sensory dToF bezpośrednio mierzą czas lotu impulsu światła.
Apple już wcześniej korzystało z sensorów głębi – w iPhone X do realizacji funkcji Face ID (detekcja i rozpoznawanie twarzy użytkownika) wykorzystano sensor głębi korzystający z kamery i światła strukturyzowanego. W module tym szacowanie głębi polegało na analizie obrazów w podczerwieni – wbudowany w telefon projektor wyświetlał około 30 tysięcy kropek (w podczerwieni) na elementach przed sobą. Kropki te są niewidoczne dla ludzi, ale doskonale widoczne dla podczerwonej kamery wbudowanej w smartfona. Dzięki strukturyzowanemu oświetleniu kamera odczytuje deformacje płaszczyzny, na której odbijany jest wzór na różnych głębokościach.
Teraz, wraz z wprowadzeniem iPada Pro 11, obrazowanie 3D stało się bogatsze i bardziej szczegółowe, dzięki zastosowaniu czujnika z bezpośrednim pomiarem czasu lotu. Do tej pory najnowszy iPad Pro jest jedynym produktem konsumenckim wykorzystującym technologię dToF. Wielu producentów smartfonów używa już sensorów iToF m.in. do robienia lepszych zdjęć (ToF pozwala na na przykład rozmywanie tła na zdjęciach w celu uzyskania efektu bokeh), ale nie dToF.
Wykorzystanie światła strukturalnego zapewnia wysoką dokładność pomiaru głębi, ale wymaga złożonej obróbki uzyskiwanych obrazów, z uwagi na konieczność analizy złożonego wzoru. Z kolei systemy dTOF zapewniają prosty i niewymagający przetwarzania sygnał na temat głębi obrazu. Wadą jednak jest to, że sam sensor jest bardzo złożony. Musi posiadać on bardzo czułą matrycę fotodetektorów – zbudowane są one na ogół ze zdolnych do wykrywania pojedynczych fotonów diod lawinowych – o dosyć dużym rozmiarze. W ten sposób system może działać szybko, przy niewielkiej ilości fotonów mierzyć głębię dużego obszaru. Dlatego też do tej pory znacznie częściej wśród metod obrazowania 3D stosowano metodę iTOF. Zapewnia ona wysoką dokładność głębokości, proste przetwarzanie sygnałów i wysoką rozdzielczość przestrzenną za pomocą małych fotodetektorów, które są szeroko stosowane w czujnikach obrazu 2D.
Niemniej jednak do analizy środowiska 3D Apple wybrał drogę mniej uczęszczaną. Firma wcześniej wybrała światło strukturalne do identyfikacji twarzy, a teraz używa sensora dToF w aplikacjach rzeczywistości rozszerzonej.
Oto pytania, które obecnie zadaje sobie każdy w świecie czujników 3D: Czym realnie jest dToF? Jakie są elementy składowe wykorzystanego przez Apple modułu i kto zbudował go dla tego potentata smartfonowego świata? Na część z tych pytań możemy odpowiedzieć dzięki analizie przeprowadzonej przez System Plus Consulting (oddział Yole Développement). Specjaliści z tej firmy przyjrzeli się dokładnie modułowi z nowego iPada. W dalszej części artykułu znaleźć można ich wnioski.
W wywiadzie dla EE Times Sylvain Hallereau, starszy analityk ds. technologii i kosztów w System Plus, wyjaśnił, że skaner LIDAR iPada Pro 11 składa się z emitera światła – lasera o emisji powierzchniowej z pionową wnęką rezonansową od firmy Lumentum i unikatowego detektora światła – matrycy CMOS, zdolnej do bezpośredniego pomiaru czasu przelotu sygnałów laserowych. Za projekt matrycy odpowiadała firma Sony. Cały system pracuje w zakresie bliskiej podczerwieni (NIR).
Matryca SPIR NIR CMOS firmy Sony
Przekrój matrycy CMOS od Sony jest nie lada gratką dla ekspertów śledzących rozwój fotoniki. Dotyczy to również Cambou z Yole, która na niedawnym wpisie na swym blogu napisała, że „to, co wyglądało nieco podobnie do starego projektu systemu pośredniego pomiaru czasu przelotu (iToF) z 10-mikronowymi pikselami okazało się pierwszym konsumenckim sensorem obrazu CMOS z połączonymi w pikselach fotodiodami lawinowymi do detekcji pojedynczych fotonów(SPAD)”.
Integracja elementów w pojedynczych pikselach jest istotnym wyznacznikiem nowego sensora. Sony po raz pierwszy zintegrowało czujnik obrazu NIR CMOS z diodami SPAD, stosując metodę układania 3D czujników ToF w urządzeniu półprzewodnikowym. Połączenie elementów w pikselach umożliwiło umieszczenie matrycy CMOS wraz z układami logicznymi w jednym miejscu. Dzięki zintegrowanej matrycy logicznej czujnik obrazu może wykonywać proste obliczenia odległości między iPadem a obiektami, jak wskazuje Hallereau. Sony wkroczyło więc do segmentu dToF, opracowując nową generację matrycy SPAD NOS CMOS z matrycą z pikselami o wielkości 10 µm i rozdzielczości 30 kilopikseli.
To jednak nie tylko technologiczny wyczyn dla Sony. Rewolucja dotyczy również transformacji biznesowej spółki. Japoński moduł z matrycą CMOS tradycyjnie odpowiedzialny był bardziej za obrazowania, a nie wykrywanie odległości. Jednakże, jak mówi Cambou: „Rok temu Sony zmieniło nazwę działu półprzewodnikowego na >>Imaging & Sensing<< (obrazowanie i pomiary – przyp. red.). Następnie wykonało dwa osobne ruchy. Pierwszym było dostarczenie czujników iToF do smartfonów Huawei i Samsunga, generując w 2019 roku zamówienia o wartości rzędu 300 milionów dolarów. Drugim była wygrana ich projektu czujników dToF dla iPadów Apple”.
Cambou podejrzewa, że czujniki dToF mogą ostatecznie trafić także do iPhone'ów. „Przychody Sony z pomiarów prawdopodobnie przekroczą 1 miliard dolarów w 2020 roku z działalności, której całkowita wartość przekroczy poziom 10 miliardów dolarów. To udane przejście od obrazowania do detekcji odegrało kluczową rolę w zapewnieniu ciągłej siły Sony na rynku półprzewodników. Będzie to podstawa pomyślnej przyszłości tego działu spółki”.
VCSEL firmy Lumentum
Oprócz sensora firmy Sony, LIDAR jest wyposażony w laser VCSEL firmy Lumentum. Laser ten został zaprojektowany z wieloma elektrodami podłączonymi osobno do układu emitera. Taha Ayari, analityk technologii i kosztów w System Plus, skoncentrował się na nowym procesie technologicznym wykorzystanym przy produkcji tego elementu – kontaktem mesa. Został on dodany przez Lumentum do tych VCSEL. Laser VCSEL emituje światło z całej powierzchni elementu. Precyzyjne dostrajanie tego rodzaju emisji wymaga zarządzania energią i zastosowania różnych elementów sterujących w macierzy emiterów. Ayari uważa, że Lumentum dodał ten element układu, by usprawnić testowanie gotowych płytek z laserami.
Aby wygenerować impuls i sterować mocą i kształtem wiązki z lasera VCSEL, moduł wykorzystuje scalony sterownik firmy Texas Instruments. Układ ten zintegrowany jest w systemie w kompaktowej obudowie WLCSP.
Finalnym elementem emitera jest dyfrakcyjny element optyczny (DOE) dostarczany przez firmę Himax, który umieszcza się na szczycie VCSEL, aby wygenerować wzór punktowy, jak wskazują analitycy.
Poniżej zaprezentowano kilka slajdów utworzonych przez System Plus, które pokazują to, co ujawniła ich analiza.
LIDAR w najnowszym tablecie Apple
Przekrój modułu LIDARowego.
Wnętrze modułu LIDARa.
Przekrój przez sensor obrazu od Sony. Widoczne są diody znajdujące się pod mikrosoczewkami oraz warstwa układów logicznych poniżej.
Sensor obrazu (wraz z wymiarami).
Struktura VCSEL. Widoczne są elektrody na jego powierzchni wraz z punktami, które przygotowane są pod, jak się wydaje, sondy pomiarowe, wykorzystywane na etapie produkcji.
Przekrój przez scalony sterownik lasera VCSEL od Texas Instrumens.
Dyfrakcyjny element optyczny, umieszczany na powierzchni lasera VCSEL.
Źródło: https://www.eetimes.com/breaking-down-ipad-pro-11s-lidar-scanner/
Cool? Ranking DIY
