Elektroda.pl
Elektroda.pl
X
PCBway
Proszę, dodaj wyjątek dla www.elektroda.pl do Adblock.
Dzięki temu, że oglądasz reklamy, wspierasz portal i użytkowników.

Asystent głosowy Espressif ESP-Skainet dla systemów wbudowanych

ghost666 05 Wrz 2019 10:31 381 0
  • Asystent głosowy Espressif ESP-Skainet dla systemów wbudowanych
    Może nie jest to filmowy Skynet, ale nowy system do rozpoznawania głosu firmy Espressif Systems - ESP-Skainet - został właśnie opublikowany. ESP-Skainet to inteligentny asystent głosowy z wbudowanym silnikiem WakeNet i technologią rozpoznawania poleceń głosowych MultiNet.

    WakeNet

    WakeNet został specjalnie zaprojektowany dla mikrokontrolerów i systemów o niskim poborze mocy, takich jak ESP8266 lub ESP32. Dodatkowo, wyróżnia się on niskim zużyciem pamięci (20 KB RAM) i dużą prędkością obliczeniową, dzięki czemu jest w stanie osiągnąć wysoki wskaźnik skuteczności wykrywania słowa kluczowych (mających wybudzić system asystenta głosowego) nawet w hałaśliwym otoczeniu. W poniższej tabeli zamieszczono odsetek skutecznych wybudzeń systemu dla różnych sytuacji.

    OdległośćCiche środowiskoŚrodowisko ze stacjonarnym szumemŚrodowisko z szumem mówiących ludzi
    1 m97,00%90,00%88,00%
    3 m95,00%85,00%75,00%


    Algorytm przetestowany został na płytce audio LyraT-Mini,, która ma się niebawem ukazać na rynku. Moduł ten łączy układ ESP32-WROVER-B i kodek audio, WakeNet osiąga wskaźnik sukcesu słowa budzenia na poziomie 97% w odległości jednego metra i 95% w odległości trzech metrów w cichym otoczeniu.

    Silnik wybudzający systemu ESP-Skainet jest obecnie dostarczany ze słowem pobudzającym „嗨 乐 鑫” (Hi Lexin, lit. Hāi lè xīn), co tłumaczy się jako „Hello Espressif”. System ten obsługuje do pięciu słów wybudzających system. Możliwe jest także użycie niestandardowych słów do budzenia systemu, ale konieczne jest zrealizowanie tego w porozumieniu z Espressif Systems, które pomoże stworzyć tak spersonalizowany system.

    Asystent głosowy Espressif ESP-Skainet dla systemów wbudowanych
    MultiNet

    Po przebudzeniu inteligentnego urządzenia audio (czasami zwanego inteligentnym głośnikiem) przez słowo aktywujące, można wypowiedzieć komendę, a system przekształci dźwięk na tekst za pomocą technologii do rozpoznawania poleceń głosowych MultiNet. Obecnie działa on tylko w języku chińskim (mandaryńskim), ale obsługa języka angielskiego będzie dostępna wkrótce, a dokładniej - w następnym wydaniu. Producent nie podał jednakże dokładnego terminu prezentacji tej wersji.

    Firma wyjaśnia ponadto, jak działa to wewnętrznie:

    Projekt MultiNet opiera się na konwergentnych nawracających sieciach neuronowych (CRNN) i klasyfikacji czasowej łączników (CTC). MultiNet wykorzystuje jako parametry wejściowe współczynniki cepstralne (MFCC) oraz fonemy sygnału audio, które mogą być w języku chińskim lub angielskim jako dane wyjściowe. Porównując fonemy wyjściowe, MultiNet może zidentyfikować odpowiednie chińskie lub angielskie polecenie.

    Na tym etapie obsługiwanych jest do 100 poleceń mówionych w języku chińskim. Dostosowywanie poleceń głosowych nie wymaga ponownego trenowania modelu, a dostęp do sieci nie jest w tym celu potrzebny. Pamiętać trzeba jednakże, że chociaż algorytm WakeNet wymaga tylko 20 KB pamięci RAM, to cały ESP-Skainet (z uwagi na MultiNet) działa na modułach ESP8266 lub ESP32 z co najmniej 4 MB pamięci RAM dołączonej poprzez SPI.

    Źródło: https://www.cnx-software.com/2019/09/02/espressif-esp-skainet-voice-assistant-wake-word-engine-speech-commands-recognition-embedded-mcus/

    Fajne! Ranking DIY
    O autorze
    ghost666
    Tłumacz Redaktor
    Offline 
    Fizyk z wykształcenia. Po zrobieniu doktoratu i dwóch latach pracy na uczelni, przeszedł do sektora prywatnego, gdzie zajmuje się projektowaniem urządzeń elektronicznych i programowaniem. Od 2003 roku na forum Elektroda.pl, od 2008 roku członek zespołu redakcyjnego.
    ghost666 napisał 9355 postów o ocenie 6934, pomógł 157 razy. Mieszka w mieście Warszawa. Jest z nami od 2003 roku.
  • PCBway