WebRTC (Web Real-Time Communication) to technologia umożliwiająca prowadzenie rozmów wideo, audio oraz przesyłanie danych bezpośrednio przez przeglądarkę internetową lub inne urządzenia bez konieczności instalowania dodatkowego oprogramowania.
ESP WebRTC Solution w wersji 1.0 to pierwsze stabilne wydanie opracowane przez firmę Espressif, przeznaczone specjalnie dla ESP32. Umożliwia ono tworzenie aplikacji do komunikacji na żywo (np. wideorozmów, interkomów, inteligentnych dzwonków do drzwi), przesyłanie danych i obrazów oraz komunikację głosową.
Najważniejsze funkcje
Proste API esp_webrtc – gotowe do użycia, uproszczone funkcje umożliwiające szybkie tworzenie aplikacji.
Komunikacja peer-to-peer (bezpośrednia wymiana danych) z obsługą protokołów RTP (do przesyłania mediów) oraz SCTP (do przesyłania danych).
Obsługa serwerów TURN – ułatwia połączenia w trudnych warunkach sieciowych.
Zaawansowana obsługa retransmisji (NACK i SACK) – zapewnia stabilne przesyłanie danych.
Elastyczne mechanizmy sygnalizacji – umożliwiają łatwe łączenie z popularnymi serwisami i usługami (np. AppRTC, WHIP, OpenAI).
Obsługa kluczowych formatów audio/video: H.264, MJPEG, OPUS, G.711, AAC.
2. Obsługa mediów
2.1 Nagrywanie obrazu i dźwięku (esp_capture)
Umożliwia przechwytywanie audio i wideo z różnych urządzeń:
Wideo: H.264, MJPEG
Audio: G.711, AAC, OPUS
Gotowe moduły:
I2S do dźwięku
V4L2 (ESP32-P4)
Kamera DVP (ESP32-S3)
2.2 Odtwarzacz multimediów (av_render)
Umożliwia odtwarzanie mediów (push):
Wideo: H.264, MJPEG
Audio: G.711, AAC, OPUS
Dostępne metody odtwarzania:
Audio przez I2S
Wideo przez esp_lcd (ekran)
3. Przykładowe projekty
Demo Peer: Komunikacja między dwoma urządzeniami ESP32 (audio i dane).
Demo OpenAI: Inteligentny chatbot z rozpoznawaniem mowy (OpenAI), obsługą urządzeń i wysokiej jakości audio.
Inteligentny dzwonek: Wideorozmowa przez AppRTC, dwukierunkowa rozmowa głosowa, automatyczne połączenie.
Lokalny dzwonek: Testowanie lokalne przez HTTP SSE (w sieci lokalnej).
Wideorozmowa: Dwukierunkowe rozmowy audio i wideo.
Demo WHIP: Publikacja transmisji na serwery WHIP.
5. Kompatybilność
Obsługiwane mikrokomputery: ESP32, ESP32-S2, ESP32-S3, ESP32-P4
Zalecana wersja ESP-IDF: 5.4 lub nowsza
Wymagania: PSRAM, kompatybilne kamery i mikrofony.
Repozytorium:
https://github.com/espressif/esp-webrtc-solution/releases/tag/v1.0.0
@p.kaczmarek2 chyba warto sprawdzić w szczególności w połączeniu z OpenAI? Będziemy sobie gadać do ESP32?
ESP WebRTC Solution w wersji 1.0 to pierwsze stabilne wydanie opracowane przez firmę Espressif, przeznaczone specjalnie dla ESP32. Umożliwia ono tworzenie aplikacji do komunikacji na żywo (np. wideorozmów, interkomów, inteligentnych dzwonków do drzwi), przesyłanie danych i obrazów oraz komunikację głosową.
Najważniejsze funkcje
Proste API esp_webrtc – gotowe do użycia, uproszczone funkcje umożliwiające szybkie tworzenie aplikacji.
Komunikacja peer-to-peer (bezpośrednia wymiana danych) z obsługą protokołów RTP (do przesyłania mediów) oraz SCTP (do przesyłania danych).
Obsługa serwerów TURN – ułatwia połączenia w trudnych warunkach sieciowych.
Zaawansowana obsługa retransmisji (NACK i SACK) – zapewnia stabilne przesyłanie danych.
Elastyczne mechanizmy sygnalizacji – umożliwiają łatwe łączenie z popularnymi serwisami i usługami (np. AppRTC, WHIP, OpenAI).
Obsługa kluczowych formatów audio/video: H.264, MJPEG, OPUS, G.711, AAC.
2. Obsługa mediów
2.1 Nagrywanie obrazu i dźwięku (esp_capture)
Umożliwia przechwytywanie audio i wideo z różnych urządzeń:
Wideo: H.264, MJPEG
Audio: G.711, AAC, OPUS
Gotowe moduły:
I2S do dźwięku
V4L2 (ESP32-P4)
Kamera DVP (ESP32-S3)
2.2 Odtwarzacz multimediów (av_render)
Umożliwia odtwarzanie mediów (push):
Wideo: H.264, MJPEG
Audio: G.711, AAC, OPUS
Dostępne metody odtwarzania:
Audio przez I2S
Wideo przez esp_lcd (ekran)
3. Przykładowe projekty
Demo Peer: Komunikacja między dwoma urządzeniami ESP32 (audio i dane).
Demo OpenAI: Inteligentny chatbot z rozpoznawaniem mowy (OpenAI), obsługą urządzeń i wysokiej jakości audio.
Inteligentny dzwonek: Wideorozmowa przez AppRTC, dwukierunkowa rozmowa głosowa, automatyczne połączenie.
Lokalny dzwonek: Testowanie lokalne przez HTTP SSE (w sieci lokalnej).
Wideorozmowa: Dwukierunkowe rozmowy audio i wideo.
Demo WHIP: Publikacja transmisji na serwery WHIP.
5. Kompatybilność
Obsługiwane mikrokomputery: ESP32, ESP32-S2, ESP32-S3, ESP32-P4
Zalecana wersja ESP-IDF: 5.4 lub nowsza
Wymagania: PSRAM, kompatybilne kamery i mikrofony.
Repozytorium:
https://github.com/espressif/esp-webrtc-solution/releases/tag/v1.0.0
@p.kaczmarek2 chyba warto sprawdzić w szczególności w połączeniu z OpenAI? Będziemy sobie gadać do ESP32?
Fajne? Ranking DIY
