Startup Pete'a Wardena, marka Useful Sensors, rozpoczęła w tym tygodniu nową kampanię crowdfundingu dla swojego systemu przetwarzania języka naturalnego (NLP) zbudowanego na niewielkim jednopłytkowym komputerze z SoC firmy Rockchip. Moduł: „Sztuczna inteligencja w pudełku”, oparty na dostępnych na rynku podzespołach od Rockchipa, rozumie język naturalny, odpowiada na pytania i generuje tekst w pełni na urządzeniu. Firma jest w stanie uruchamiać OpenAI's Whisper dwa razy szybciej niż Faster-Whisper, który dotychczas był najlepszą pod tym względem implementacją Whisper z wykorzystaniem specjalizowanego silnika wnioskowania.
Moduł NLP: „Sztuczna inteligencja w pudełku” wykorzystuje dostępne w obiegu części sprzętowe w połączeniu z modelami i oprogramowaniem od Useful Sensors, w tym frameworkiem Useful Transformers i optymalizacjami dla sprzętu, na którym działa. Startup wybrał płytę Rockchip ze względu na mocny układ SoC RK3588S z czterema rdzeniami ARM Cortex-A76 i czterema ARM Cortex-A55, a także z uwagi na akcelerator sieci neuronowej (NPU), osiągający 6 TOPS (przy INT4), opracowany wewnętrznie przez Rockchipa.
„NPU pomaga nam uruchamiać przekształcanie mowy na tekst dwa razy szybciej niż ktokolwiek inny na tej płytce”, powiedział Warden magazynowi EE Times. „Jest wiele ciekawych zastosowań, które można zbudować na tej platformie. Gdy już mamy przekształcanie mowy na tekst, istnieją różne wspaniałe rzeczy, które można stworzyć, w tym napisy do wydarzeń na żywo. Będziemy nad nimi pracować z niektórymi konferencjami w ciągu najbliższych kilku miesięcy, aby generować napisy w czasie rzeczywistym z naszych urządzeń”.
Oprócz dostarczania powyższych i transkrypcji, będzie można wykonywać także tłumaczenia z 15 głównych języków na angielski na żywo. A także uruchamiać duży model językowy (LLM) do generowania odpowiedzi na pytania. Przykłady zastosowań obejmują tworzenie napisów lub służenie jako klawiatura głosowa.
Kampania crowdfundingu, dostępna na platformie Crowdsupply, daje społeczności najbardziej zainteresowanej możliwość uzyskania dostępu do tego systemu, jak powiedział Warden. „[Kampania crowdfundingu] to szansa, aby dostarczyć całość w ręce twórców i prototypowców — pracujemy z dużymi firmami, aby umieścić ten system w większych produktach. Jednakże uważamy, że może to być naprawdę doskonała platforma dla ludzi do budowy własnych aplikacji na bazie zdolności przekształcania mowy na tekst” — dodał szef spółki.
Wersja systemu dostępna w kampanii crowdfundingu będzie mieć własną obudowę, którą można postawić nawet na stole w kuchni, aby tworzyć automatycznie napisy do rozmów. Uda się również podłączyć całość do wyjścia HDMI, aby dostarczać napisy. Będzie można przynieść też sprzęt na spotkanie, aby mieć tłumaczenia w czasie rzeczywistym, jak powiedział Warden. Dodał też, że każdy, kto potrafi pisać w języku Python, będzie mógł korzystać z dostarczanego tekstu w inny, właściwy dla swojej aplikacji sposób. Celem Wardena jest zmniejszenie rozmiaru danego rozwiązania do minimum i uzyskanie ceny 50 centów w ciągu kilku najbliższych lat, aby umożliwić szerokie zastosowanie sztucznej inteligencji na brzegu. W międzyczasie obecny system może dostarczać interfejs użytkownika oparty na głosie do produktów całkowicie na brzegu.
Moduły Useful Sensors — niewielkie,
wielkości znaczka pocztowego,
inteligentne płytki czujnikowe
są dostępne do zastosowań
takich jak detekcja osób,
rozpoznawanie twarzy (na dole)
i odczytywanie kodów QR (u góry).
Akcelerator Whisper
Implementacja Whisper w Useful Transformers opiera się na niestandardowym kodzie C++, który wywołuje bibliotekę mnożenia macierzy Rockchip. Części stosu, które nie są związane z konkretnym sprzętem, są w użytku jako otwarte źródło. „Biblioteki Rockchip są zamknięte, ale dostępne” — powiedział Manjunath Kudlur, współzałożyciel i CTO Useful Sensors magazynowi EE Times. „To jedyna część, która musi być zastąpiona [dla tego frameworka], aby działać na innym sprzęcie. Celem jest uczynienie reszty oprogramowania tak lekkim, jak to tylko możliwe, aby działał jak najszybciej”.
Firma udostępniła jako otwarte źródło swoją platformę Useful Transformers, która obecnie operuje tylko na urządzeniach Rockchip i obsługuje wyłącznie Whisper. Jednak planowane jest rozszerzenie jej obsługi na inne modele transformerów oraz odmienne rodzaje sprzętu w przyszłości.
Useful Sensors pracuje również nad budową modułów czujników do swoich własnych implementacji modeli. Aktualna generacja sensora osoby to płyta wielkości znaczka pocztowego z kamerą z przodu i mikrokontrolerem z technologią bezprzewodową Espressif Systems ESP32-S3 z tyłu. Druga, podobna płyta opiera się na mikrokontrolerze Raspberry Pi RP2040 z kamerą LG i jest przeznaczona do odczytywania kodów QR.
Źródło: https://www.eetimes.com/useful-sensors-brings-llms-to-the-edge/
Moduł NLP: „Sztuczna inteligencja w pudełku” wykorzystuje dostępne w obiegu części sprzętowe w połączeniu z modelami i oprogramowaniem od Useful Sensors, w tym frameworkiem Useful Transformers i optymalizacjami dla sprzętu, na którym działa. Startup wybrał płytę Rockchip ze względu na mocny układ SoC RK3588S z czterema rdzeniami ARM Cortex-A76 i czterema ARM Cortex-A55, a także z uwagi na akcelerator sieci neuronowej (NPU), osiągający 6 TOPS (przy INT4), opracowany wewnętrznie przez Rockchipa.
„NPU pomaga nam uruchamiać przekształcanie mowy na tekst dwa razy szybciej niż ktokolwiek inny na tej płytce”, powiedział Warden magazynowi EE Times. „Jest wiele ciekawych zastosowań, które można zbudować na tej platformie. Gdy już mamy przekształcanie mowy na tekst, istnieją różne wspaniałe rzeczy, które można stworzyć, w tym napisy do wydarzeń na żywo. Będziemy nad nimi pracować z niektórymi konferencjami w ciągu najbliższych kilku miesięcy, aby generować napisy w czasie rzeczywistym z naszych urządzeń”.
Oprócz dostarczania powyższych i transkrypcji, będzie można wykonywać także tłumaczenia z 15 głównych języków na angielski na żywo. A także uruchamiać duży model językowy (LLM) do generowania odpowiedzi na pytania. Przykłady zastosowań obejmują tworzenie napisów lub służenie jako klawiatura głosowa.
Kampania crowdfundingu, dostępna na platformie Crowdsupply, daje społeczności najbardziej zainteresowanej możliwość uzyskania dostępu do tego systemu, jak powiedział Warden. „[Kampania crowdfundingu] to szansa, aby dostarczyć całość w ręce twórców i prototypowców — pracujemy z dużymi firmami, aby umieścić ten system w większych produktach. Jednakże uważamy, że może to być naprawdę doskonała platforma dla ludzi do budowy własnych aplikacji na bazie zdolności przekształcania mowy na tekst” — dodał szef spółki.
Wersja systemu dostępna w kampanii crowdfundingu będzie mieć własną obudowę, którą można postawić nawet na stole w kuchni, aby tworzyć automatycznie napisy do rozmów. Uda się również podłączyć całość do wyjścia HDMI, aby dostarczać napisy. Będzie można przynieść też sprzęt na spotkanie, aby mieć tłumaczenia w czasie rzeczywistym, jak powiedział Warden. Dodał też, że każdy, kto potrafi pisać w języku Python, będzie mógł korzystać z dostarczanego tekstu w inny, właściwy dla swojej aplikacji sposób. Celem Wardena jest zmniejszenie rozmiaru danego rozwiązania do minimum i uzyskanie ceny 50 centów w ciągu kilku najbliższych lat, aby umożliwić szerokie zastosowanie sztucznej inteligencji na brzegu. W międzyczasie obecny system może dostarczać interfejs użytkownika oparty na głosie do produktów całkowicie na brzegu.
Moduły Useful Sensors — niewielkie,
wielkości znaczka pocztowego,
inteligentne płytki czujnikowe
są dostępne do zastosowań
takich jak detekcja osób,
rozpoznawanie twarzy (na dole)
i odczytywanie kodów QR (u góry).
Akcelerator Whisper
Implementacja Whisper w Useful Transformers opiera się na niestandardowym kodzie C++, który wywołuje bibliotekę mnożenia macierzy Rockchip. Części stosu, które nie są związane z konkretnym sprzętem, są w użytku jako otwarte źródło. „Biblioteki Rockchip są zamknięte, ale dostępne” — powiedział Manjunath Kudlur, współzałożyciel i CTO Useful Sensors magazynowi EE Times. „To jedyna część, która musi być zastąpiona [dla tego frameworka], aby działać na innym sprzęcie. Celem jest uczynienie reszty oprogramowania tak lekkim, jak to tylko możliwe, aby działał jak najszybciej”.
Firma udostępniła jako otwarte źródło swoją platformę Useful Transformers, która obecnie operuje tylko na urządzeniach Rockchip i obsługuje wyłącznie Whisper. Jednak planowane jest rozszerzenie jej obsługi na inne modele transformerów oraz odmienne rodzaje sprzętu w przyszłości.
Useful Sensors pracuje również nad budową modułów czujników do swoich własnych implementacji modeli. Aktualna generacja sensora osoby to płyta wielkości znaczka pocztowego z kamerą z przodu i mikrokontrolerem z technologią bezprzewodową Espressif Systems ESP32-S3 z tyłu. Druga, podobna płyta opiera się na mikrokontrolerze Raspberry Pi RP2040 z kamerą LG i jest przeznaczona do odczytywania kodów QR.
Źródło: https://www.eetimes.com/useful-sensors-brings-llms-to-the-edge/
Fajne? Ranking DIY
