Elektroda.pl
Elektroda.pl
X
Please add exception to AdBlock for elektroda.pl.
If you watch the ads, you support portal and users.

Urządzenie noszone, które wykorzystuje sonar do rekonstrukcji mimiki twarzy

ghost666 21 Sep 2022 15:17 309 0
  • Urządzenie noszone, które wykorzystuje sonar do rekonstrukcji mimiki twarzy
    Naukowcy z Uniwersytetu w Cornell opracowali urządzenie do noszenia na uchu, które odbija dźwięk od policzków i przekształca echo w awatar całej poruszającej się twarzy osoby, wykorzystując technologię akustyczną. Wszystko po to, aby zapewnić nam lepszą prywatność podczas komunikacji w sieci itp. Zespół kierowany przez Cheng Zhang, adiunkta oraz François Guimbretière, profesora nauk informatycznych, zaprojektował system o nazwie EarIO. Przesyła on w czasie rzeczywistym informacje na temat ruchów twarzy np. do smartfona i jest kompatybilny z dostępnymi na rynku zestawami słuchawkowymi do prowadzenia bezprzewodowych konferencji wideo bez użycia rąk.

    Typowe urządzenia śledzące mimikę za pomocą aparatu są: „duże, ciężkie i energochłonne, co jest sporym problemem w przypadku sprzętu do noszenia” — powiedział Zhang. „Co ważne, przechwytują wiele prywatnych informacji. [...] Obrazowanie twarzy za pomocą technologii akustycznej może zapewnić lepszą poufność, przystępność cenową, komfort i żywotność baterii” — wskazuje badacz. Zespół opisał urządzenie w artykule: „EarIO: A Low-power Acoustic Sensing Earable for Continuously Tracking Details Facial Movements”, opublikowanym w czasopiśmie naukowym: „Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies”.

    EarIO działa jak statek wysyłający impulsy sonaru. Głośnik po obu stronach słuchawki przekazuje sygnały akustyczne do boków twarzy, a mikrofon odbiera ich echo — gdy użytkownicy mówią, uśmiechają się lub unoszą brwi, skóra drga i jest rozciągana, zmieniając jego profile. Opracowany przez naukowców algorytm głębokiego uczenia maszynowego wykorzystuje sztuczną inteligencję do ciągłego przetwarzania danych i przekładania formułującego się echa na pełną mimikę. „Dzięki AI algorytm znajduje złożone powiązania między ruchami mięśni a wyrazem twarzy, których ludzkie oczy nie mogą zidentyfikować” — powiedział współautor prac, Ke Li, doktorant w dziedzinie informatyki w Cornell. „Możemy to wykorzystać, aby wywnioskować wielowątkowe informacje, które są trudniejsze do uchwycenia — cały obraz przodu twarzy”.



    Poprzednie wysiłki laboratorium Zhang mające na celu śledzenie mimiki za pomocą słuchawek z kamerą odtwarzały cały profil na podstawie ruchów policzków widzianych z poziomu ucha. Zbierając dźwięk zamiast obrazów, redukuje się ilość potrzebnych danych. Urządzenie może komunikować się ze smartfonem za pośrednictwem bezprzewodowego połączenia np. przez Bluetooth, zachowując prywatność informacji użytkownika. W przypadku obrazów urządzenie musiałoby łączyć się z siecią Wi-Fi i przesyłać dane tam i z powrotem do chmury, potencjalnie narażając je na ataki hakerów. „Ludzie mogą nie zdawać sobie sprawy, jak inteligentne są aparatury do noszenia — co te zasoby mówią o tobie i co firmy mogą z nimi zrobić” — wskazuje Guimbretière. Dzięki takiemu odwzorowaniu twarzy ktoś może nie tylko wywnioskować emocje, ale również i działania. „Celem naszego projektu jest upewnienie się, że wszystkie informacje, cenne dla Twojej prywatności, są zawsze pod Twoją kontrolą i będą przetwarzane lokalnie”.

    Używanie sygnałów akustycznych wymaga również mniej zasobów niż nagrywanie obrazów, a EarIO wykorzystuje 1/25 energii analogicznego systemu opartego na kamerze, opracowanego wcześniej przez laboratorium Zhanga. Obecnie całość wytrzymuje około trzech godzin na baterii bezprzewodowej słuchawki, ale przyszłe badania będą koncentrować się na wydłużeniu tego czasu. Naukowcy przetestowali urządzenie na 16 uczestnikach i użyli aparatu ze smartfona, aby zweryfikować dokładność odzwierciedlania twarzy. Wstępne eksperymenty pokazują, że system działa, gdy użytkownicy siedzą i spacerują, a wiatr, hałas drogowy i dyskusje w tle nie zakłócają sygnalizacji akustycznej. Naukowcy mają nadzieję, że w przyszłych wersjach poprawią zdolność mechanizmu do tłumienia pobliskich dźwięków i innych zaburzeń.

    „Wykorzystywana przez nas metoda wykrywania akustycznego jest bardzo czuła” — powiedział współautor artykułu Ruidong Zhang, doktorant w dziedzinie informatyki. „To dobrze, gdyż jest w stanie śledzić bardzo subtelne ruchy, ale jest też złe, ponieważ jeśli coś zmienia się w otoczeniu lub gdy głowa lekko się porusza, również to wychwytujemy”. Jednym z ograniczeń tej technologii jest to, że przed pierwszym użyciem EarIO musi zebrać około 32 minut danych skorelowanych z ruchami twarzy, aby wytrenować algorytm. „Mamy nadzieję, że w końcu przeobrazimy to urządzenie w system, który będzie działać od razu po podłączeniu” — podsumował Zhang.

    Źródło: https://techxplore.com/news/2022-07-wearable-device-sonar-reconstruct-facial.html

    Cool? Ranking DIY
    About Author
    ghost666
    Translator, editor
    Offline 
    Fizyk z wykształcenia. Po zrobieniu doktoratu i dwóch latach pracy na uczelni, przeszedł do sektora prywatnego, gdzie zajmuje się projektowaniem urządzeń elektronicznych i programowaniem. Od 2003 roku na forum Elektroda.pl, od 2008 roku członek zespołu redakcyjnego.
    ghost666 wrote 11288 posts with rating 9547, helped 157 times. Live in city Warszawa. Been with us since 2003 year.