Układ Axelera Metis
Firma wykorzysta zdobyte nakłady do zwiększenia produkcji akceleratora Metis, rozszerzenia siły sprzedaży i rozwoju swojej raczkującej działalności w Stanach Zjednoczonych, powiedział dyrektor generalny Axelera, Fabrizio Del Maffeo, w rozmowie z portalem EE Times. Fundusze zostaną również przeznaczone na zaprojektowanie nowej generacji akceleratora.
Podstawowe technologie
CTO marki Axelera, Evangelos Eleftheriou, wskazał, że chip Metis opiera się na dwóch kluczowych technologiach: cyfrowym akceleratorze mnożenia wektorów macierzy (MVM) z rdzeniem RISC-V do sterowania przepływem danych. Czterordzeniowy układ może osiągnąć graniczną wydajność 214 TOPS przy szczytowej sprawności 14,7 TOPS/W.
„Cały projekt jest wykonany ręcznie, aż do ostatniego tranzystora” — oznajmił Eleftheriou. „Powodem jest zminimalizowanie powierzchni i zużycia energii”.
MVM firmy Axelera to cyfrowy układ obliczeniowy do prowadzenia obliczeń AI w pamięci.
Efektywność energetyczna całości nie zależy od wysokiego wykorzystania, dodał Eleftheriou, ponieważ bloki można wyłączyć za pomocą flagi. Na poziomie rdzenia, przy 100% spożytkowaniu, sprawność układu wynosi 14,1 TOPS/W, ale spadek w tym zakresie do 6,25% oznacza, że Metis wciąż może osiągnąć 11,4 TOPS/W.
Akcelerator MVM uzyskuje 52,5 TOPS. Układ ten zawiera gęsto przeplatane jednostki do przechowywania i obliczania masy. Projekt posiłkuje się potokowaniem w celu utrzymania wysokiej przepustowości. INT8 jest używany dla wag, które gromadzą się w INT32. FP32 służy do opisu wartości aktywacji. Ma to w zamierzeniu zachowanie dokładności: uruchomienie skwantyzowanego modelu ResNet-50 na INT8 spowodowało stratę tylko 0,1 punktu procentowego w porównaniu z niekwantowanym FP32, bez ponownego uczenia.
„Przeprowadziliśmy wiele symulacji, aby zrozumieć, jakie optymalizacje musimy wykonać” — zakomunikował Eleftheriou. „Wiemy, że ogólnie sieci neuronowe wybaczają, jeśli chodzi o precyzję wagi, ale nie ma analogicznego zrozumienia w kwestii aktywacji”.
Każdy rdzeń AI ma 4 MB pamięci podręcznej L1, z czego 3 MB jest używane do wstępnego pobierania danych w celu utrzymania wysokiej przepustowości.
W każdym rdzeniu AI znajduje się mały procesor RISC-V do zarządzania przepływem danych przez operacje wejścia i wyjścia, mapowane w pamięci. Jest to skalarna jednostka zmiennoprzecinkowa, ale Eleftheriou wskazał, że chip nowej generacji może dodać rozszerzenia wektorowe. Jednostka przetwarzania danych (DPU) w rdzeniu AI obsługuje operacje i aktywacje na elementach (aktywacje są obliczane w FP32, aby uzyskać odpowiedni poziom dokładności, a następnie rzutowane do INT8). Jedna jednostka przetwarzania wgłębnego firmy Axelera (DWPU) jest używana do łączenia, konwolucji w głąb i próbkowania w górę. Te działania można wykonać w MVM, powiedział Eleftheriou, ale nie tak wydajnie.
Każdy rdzeń posiada 4 MB pamięci podręcznej L1; 1 MB jest stosowany do obliczeń, a 3 MB do wstępnego pobierania danych. Wagi i aktywacje można umieścić w 32-MB współdzielonej pamięci na warstwie L2. L2 służy również do przesyłania zasobów między rdzeniami. Dostępny jest także interfejs LPDDR4x, który umożliwia podłączenie do 4 GB pamięci zewnętrznej.
Modele mogą być uruchamiane jednocześnie w poszczególnych rdzeniach (różne naraz lub operacje wsadowe), kaskadowo/potokowo. A większe mogą być rozłożone na więcej niż jeden, w którym to przypadku pamięć podręczna L2 jest używana do wymiany danych między rdzeniami.
Stos oprogramowania Axelera jest gotowy i już działa. Potoki wielu sieci neuronowych (oraz wstępne i końcowe przetwarzanie obrazu) można łatwo oprogramować w systemie za pomocą pliku YAML.
Demo Axelery uwzględniało chip
Metis z niezoptymalizowaną wersją
SqueezeNet. (12 000 kl./s przy 5 W).
Ponieważ każdy rdzeń działa samowystarczalnie, projekt jest skalowalny w dowolnym kierunku, powiedział Eleftheriou. „Oczywiście diabeł zawsze tkwi w szczegółach — musisz mieć sieć na chipie, połączyć wszystkie porty na chipie, trzeba sprawić, by ze sobą współpracowały, ale w zasadzie każdy rdzeń może być powielany” — dodał.
Axelera już myśli o kolejnym produkcie nowej generacji, który zaoferuje lepszą wydajność dla transformatorów brzegowych. Chociaż Metis może obsługiwać ViT, przyszła jednostka może zawierać dedykowany akcelerator softmax i uzupełniałaby Metis, powiedział Del Maffeo. Firma celuje w rok 2025, aby wykonać kolejny krok w rozwoju swoich układów.
Axelera ma obecnie listę 55 firm zapisanych do programu wczesnego dostępu, który wciąż jest otwarty na zgłoszenia. Del Maffeo dodał, że około 15 wybranych klientów pracuje nad aplikacjami do widzenia komputerowego, chociaż zapytania dotyczyły różnych dziedzin, od bezpieczeństwa po rolnictwo. Wiodący z nich otrzymają próbki układów tego lata, a pierwsza wersja oprogramowania dla systemu ma się ukazać w lipcu tego roku.
Źródło: https://www.eetimes.com/axelera-demos-early-silicon-raises-50-million/
Cool? Ranking DIY
