Elektroda.pl
Elektroda.pl
X

Search our partners

Find the latest content on electronic components. Datasheets.com
Elektroda.pl
Please add exception to AdBlock for elektroda.pl.
If you watch the ads, you support portal and users.

Rain Neuromorphics prezentuje demonstracyjny układ analogowej AI

ghost666 14 Nov 2021 16:49 501 0
Computer Controls
  • Rain Neuromorphics prezentuje demonstracyjny układ analogowej AI
    Firma Rain Neuromorphics opracowała demonstracyjny chip dla swojej inspirowanej mózgiem architektury analogowej, która wykorzystuje trójwymiarową macierz losowo połączonych memrystorów do treningu sieci neuronowej i wnioskowania przy ekstremalnie niskim poborze mocy.

    Przejście na całkowicie analogowego sprzęt do obliczeń AI może pozwolić na znaczne zmniejszenie poziomu energii, zużywanej przez obciążenia sztucznej inteligencji. Podczas gdy niektóre komercyjne układy scalone wykorzystują obecnie analogowe techniki przetwarzania danych, to wymagają one cyfrowej konwersji między warstwami sieci, zużywając znaczne ilości energii. Ograniczenia obecnych urządzeń analogowych oznaczają również, że nie można ich używać do trenowania modeli AI, ponieważ są one niekompatybilne z propagacją wsteczną, algorytmem powszechnie używanym do trenowania AI. Celem Rain jest zbudowanie kompletnego chipa analogowego, rozwiązującego te problemy dzięki połączeniu nowego sprzętu i nowego algorytmu treningowego.

    Firma zmieniła kierunek rozwoju sprzętu w ciągu ostatniego roku. Analogowe chipy obliczeniowe wykorzystują macierze elementów rezystancyjnych w postaci memrystorów, a komercyjne chipy wykorzystują komórki pamięci, takie jak pamięć Flash. Rain używał wcześniej losowo osadzonych nanoprzewodów rezystancyjnych, ale wybrał rezystancyjną pamięć RAM (ReRAM) jako element pamięciowy w połączeniu z technikami wytwarzania 3D zapożyczonymi z procesów Flash NAND. Powstała konfiguracja oparta jest całkowicie na litografii.

    Chip wykorzystuje również technologię opracowaną dla pionowych linii bitów w macierzach flash, umożliwiając skalowanie pamięci ReRAM do wielowarstwowych struktur pamięci (obecne macierze pamięci Flash mogą mieć ponad 100 warstw). Warstwy CMOS na dole chipa reprezentują neurony. Kolumny zbudowane przy użyciu pionowych linii bitowych reprezentują aksony. Kolumny są następnie powlekane materiałem memrystywnym. Losowo skonfigurowane dendryty łączą aksony, łącząc ze sobą neurony (punkt, w którym dendryt w dowolnej warstwie dotyka kolumny, można traktować jako synapsę). "Szczerze mówiąc, układ jest bardzo podobny do mózgu i jesteśmy z tego bardzo dumni" powiedział CTO Rain Neuromorphics, Jack Kendall. "To ta sama struktura, co aksony i dendryty w mózgu. Nie sądzimy, że zrobić coś znacznie lepszego niż to".

    Rain Neuromorphics prezentuje demonstracyjny układ analogowej AI


    Połączenia dendrytyczne

    Dlaczego połączenia dendrytów są losowo rozproszone w chipie? "Powodem, dla którego losowość jest ważna, jest to, że jeśli masz bardzo dużą sieć neuronową, chcesz zachować pewien poziom rozproszenia" powiedział Kendall. "Ale które neurony wybierasz? Jeśli wybierasz w kontrolowany sposób, w kratkę lub inny regularny wzór, wprowadzasz ogromną ilość uprzedzeń lub założeń do tego, jak uważasz, że informacje powinny być przetwarzane, ale jest to sprzeczne z całym celem uczenia się. Celem nauki powinno być właśnie odkrycie tego wzorca".

    Określenie "Losowy" nie jest tutaj do końca poprawne. W rzeczywistości losowo rozłożone dendryty są takie same w każdym chipie, ponieważ są one definiowane przez maskę litograficzną używaną do wykonania każdej z warstw. Można również wprowadzić pewien poziom ustrukturyzowania. Jedną ze strategii jest wprowadzenie większej liczby połączeń krótko- niż dalekosiężnych, podobnych do połączeń w mózgu. Algorytm Rain ostatecznie określi najlepsze wzorce połączeń, ale na razie firma koncentruje się na dwóch innych podejściach.

    Jednym z nich są znane wzorce rzadkości, polegające na przyjmowaniu optymalnie przyciętych sieci i replikowaniu wzorców w maskach litograficznych. Innym jest wykorzystanie motywów biologicznych, choć jest to trudniejsze. Jednym z powodów jest to, że duże mnożenie macierzy rzadkich (konieczne do oceny korzyści płynących z motywów biologicznych) nie jest dostosowane do obecnego sprzętu do akceleracji algorytmów AI. Motywy biologiczne, modułowość i wielkość projektu znajdują się na liście rzeczy do zrobienia. "Wiemy, że są to wszystkie właściwości mózgów biologicznych" powiedział Kendall. "Wiele osób ma hipotezy na temat tego, w jaki sposób są one zaimplementowane w mózgach i jaka jest ich funkcja. Możemy natychmiast rozpocząć testowanie wielu różnych wzorców i będziemy mogli zobaczyć, co działa, a co nie".

    Plany rozwoju Rain skupiają się na rozwoju chipów o różnych wzorach. To podejście jest podobne do mózgu, w którym różne części przetwarzają różne zadania. Chipy z wzorcami o różnym rozkładnie byłyby dostosowane do różnych obciążeń SI. Firma planuje również przyspieszyć prace nad nanoprzewodami, ponieważ technologia ta umożliwia jednoetapowe wytwarzanie urządzeń pamięci o dużej gęstości.

    Rezystancyjna pamięć RAM

    Komercyjne układy z procesorem w pamięci wykorzystują technologie pamięci, takie jak Flash lub DRAM. Wykorzystanie pamięci ReRAM przez Rain opiera się na jej wytrzymałości, niewielkim zużyciu energii, szybkości zapisu i właściwościach przechowywania. "Dotarliśmy do granicy rozwoju, jeśli chodzi o pamięć Flash... możemy układać więcej warstw, ale tak naprawdę nie jest to problem w przypadku trenowania sieci neuronowych" powiedział Kendall. "Istotniejsza jest ograniczona wytrzymałość na poziomie podstawowym oraz szybkość wymagana do przełączenia urządzenia, a w mniejszym stopniu moc pobierana podczas operacji odczytu. Te trzy parametry są wąskimi gardłami we wdrażaniu systemu w zakresie nauki AI". Kendall wskazuje, że ReRAM może również dalej skalować się w zaawansowanych węzłach procesowych, co daje mu przewagę w zakresie gęstości. To i potencjał poprawy wytrzymałości daje przewagę nad pamięciami Flash.

    Chip stworzony w tym roku zademonstrował architekturę Rain w technologii 180-nm CMOS, który składał się z 10 000 neuronów. Zespół przeprowadził aktualizacje wagi memrystorów (trening) i mnożenie macierzy (wnioskowanie). Algorytm szkoleniowy firmy był ponad trzy razy szybszy niż w przypadku macierzy Flash, która, jak twierdzi firma, zapewnia najwyższą dokładność. Dyrektor generalny Gordon Wilson powiedział, że technologia Rain ma potencjał skalowania się do dziesiątek milionów neuronów na jednym chipie, na przykład poprzez przejście na technologię procesu 40 nm.

    Algorytm treningowy

    Nowy sprzęt firmy będzie szedł w parze z algorytmiczną pracą firmy. W zeszłym roku firma wykazała, że ​​rzeczywiście możliwe są kompletne analogowe sieci neuronowe. Praca opiera się na technice zwanej propagacją równowagi, która po raz pierwszy umożliwiła szkolenie na analogowych układach procesora w pamięci. Początkowa wersja algorytmu propagacji równowagi działa tylko z modelami opartymi na energii. Modele te są często porównywane do sieci GAN (generative adversarial network). Modele te generują bardziej zróżnicowane obrazy niż GAN i są odporne na załamanie. Niestety przekłada się to na zwiększone wymagania, co do zasobów komputera ponieważ wymagają wielu pętli w sieci przed ustaleniem minimów energetycznych. Do wnioskowania wymagane jest tylko jedno przejście do przodu, co jest iteracyjne. W przypadku sprzętu analogowego proces ten przebiega bardzo szybko, eliminując koszty obliczeniowe. Niedawne prace wykazały również, że algorytm uczenia przy propagacji równowagi można wykorzystać do uczenia innych typów sieci, a także modeli opartych na energii. "To wszystko prowadzi do ogromnego wzrostu wydajności naszego sprzętu i widzimy ten wzrost wydajności we wszystkich implementacjach i modelach, które zamierzamy dostarczyć" wskazuje Wilson. "Istnieją wyjątkowe konsekwencje dla niektórych modeli, takich jak GAN, ale obserwujemy wzrost wydajności wszędzie, od modeli rekomendacji i wizyjnych, aż po modele generatywne i nie tylko, w modelach na większą skalę".

    Firma wskazuje, że projektowane układy scalone pierwszej generacji będą obsługiwać modele rekomendacyjne, modele wizyjne i dźwiękowe, a także wsparcie dla AI w centrach danych i aplikacje "heavy edge", takie jak robotyka. Technologia ta zmniejszy zużycie energii związane ze skalowaniem obciążeń AI, jak wskazuje Wilson. Całkowite oszczędności energii wynikają z szybszych obliczeń, a także zmniejszenia całkowitego zużycia energii. Układ demonstracyjny łączy dziesięciokrotne zmniejszenie zużycia energii ze zmniejszeniem czasu wnioskowania z setek mikrosekund do setek nanosekund. Firma twierdzi, że rezultatem może być tysiąckrotne zmniejszenie zużycia energii w porównaniu z rozwiązaniami opartymi na GPU.

    Chociaż architektura Rain została zademonstrowana w krzemie, "Nadal czeka nas sporo pracy inżynierskiej" przyznaje Wilson. "Ale wyeliminowaliśmy naukowe ryzyko, jeśli chodzi o pytanie, czy jest to możliwe". Pierwsze chipy Rain dostarczą 125 milionów parametrów INT8 do wsparcia algorytmów przetwarzania obrazu, mowy, przetwarzania języka naturalnego i rekomendacji, zużywając mniej niż 50 W. Firma spodziewa się, że próbki układów będą dostępne już w 2024 roku, a układy będą gotowe do komercyjnej wysyłki w 2025 roku.

    Źródło: https://www.eetimes.com/rain-neuromorphics-tapes-out-demo-chip-for-analog-ai/

    Cool? Ranking DIY
    Kamery 3D Time of Flight - zastosowania w przemyśle. Darmowe szkolenie 16.12.2021r. g. 10.00 Zarejestruj się
    About Author
    ghost666
    Translator, editor
    Offline 
    Fizyk z wykształcenia. Po zrobieniu doktoratu i dwóch latach pracy na uczelni, przeszedł do sektora prywatnego, gdzie zajmuje się projektowaniem urządzeń elektronicznych i programowaniem. Od 2003 roku na forum Elektroda.pl, od 2008 roku członek zespołu redakcyjnego.
    ghost666 wrote 10680 posts with rating 9001, helped 157 times. Live in city Warszawa. Been with us since 2003 year.
  • Computer Controls