Elektroda.pl
Elektroda.pl
X
Proszę, dodaj wyjątek dla www.elektroda.pl do Adblock.
Dzięki temu, że oglądasz reklamy, wspierasz portal i użytkowników.

AWS tworzy własne chipy do inferencji

ghost666 13 Gru 2019 11:44 486 2
  • AWS tworzy własne chipy do inferencji
    Amazon rozpoczął produkcję swojego nowego chipu - układ Inferentia to akcelerator dedykowany do zadań związanych z uczeniem maszynowym systemów klientów AWS (Amazon Web Services).

    Rok po prezentacji zaprojektowanego przez siebie układu akcelerującego AI, Amazon Web Services udostępnia klientom instancje oparte na nowym chipie Inferentia, który może być wykorzystywany do zadań własnych klientów firmy. Klienci AWS w różnych branżach wychodzą już poza etap eksperymentalny w zakresie uczenia maszynowego i obecnie zwiększają się obciążenia z systemami tego typu. AWS jest zatem gotowy na zwiększenie wydajności w zakresie tego rodzaju obciążeń, wprowadzając do swoich serwerów układy takie jak Inferentia.

    AWS tworzy własne chipy do inferencji
    Andy Jassy (na zdjęciu po prawej stronie), ​​dyrektor generalny AWS, wskazał w swoim przemówieniu na konferencji AWS Re:Invent, że w przypadku systemów uczenia maszynowego na dużą skalę, około 80–90% kosztów obliczeniowych zajmuje inferencja.

    "Dużo rozmawialiśmy, jako grupa, o systemach uczenia maszynowego i treningu algorytmów, co przyciąga wiele uwagi. Są to ogromne obciążenia (...) ale jeśli wykorzystujesz dużo algorytmów uczenia maszynowego na dużą skalę w środowisku produkcyjnym, tak jak my, to wiesz, że większość kosztów obliczeniowych to faktycznie wnioskowanie" tłumaczy Jassy.

    Korzystając z dużego modelu Alexy jako przykładu, porównał on obliczenia wymagane do szkolenia, które odbywają się dwa razy w tygodniu, z obliczeniami wymaganymi do wnioskowania po każdym żądaniu skierowanym do Alexy z każdego urządzenia na świecie. Powiedział, że obniżenie kosztów wnioskowania dla klientów jest zatem priorytetem firmy.

    AWS oferuje dostęp do instancji EC2 Inf1, które są oparte na 16 układach Inferentia. Instancje te są już dostępne dla klientów AWSa. W porównaniu z poprzednią, najlepszą ofertą AWS (która według Jassego była również najtańsza w branży dla obciążeń uczenia maszynowego), instancje EC2 G4 oparte na procesorach graficznych Nvidia T4, nowe instancje zapewniają mniejsze opóźnienia, do trzech razy wyższą przepustowość wnioskowania oraz do 40% niższy koszt obliczeniowy wnioskowania.

    Chociaż niewiele wiadomo o samej Inferentii, wiemy, że oferuje ona 128 TOPS na chip dla danych INT8 (każda instancja EC2 Inf1 oparta jest na 16 chipach i oferuje 2000 TOPS). Wiemy również, że obsługuje wiele typów danych (w tym INT8 i mieszanej precyzji FP-16 i bfloat16). Każdy układ ma 4 "rdzenie neuronowe" wraz z "dużą ilością" pamięci wbudowanej - AWS nie podaje dokładnych danych. Istnieje zestaw SDK dla tego układu, który może dzielić duże modele na wiele mniejszych układów, komunikujących się ze sobą za pomocą szybkiego połączenia w systemie.

    Amazon dołącza dzięki temu do elitarnej grupy hiperskalerów i centrów danych, które opracowują samodzielnie własne układy scalone do użytku w swoich obiektach chmurowych. Google ma swój procesor tensorowy (TPU), Baidu zaprojektował serię układów Kunlun, a Alibaba ma Hanguang 800. Microsoft nie znajduje się w tym gronie - zaczął on oferować układy firmy Graphcore do obciążeń uczenia maszynowego, klientom na platformie Azure. Facebook z kolei planuje wprowadzić w swoich centrach danych dedykowane ASICi do akceleracji obciążeń AI, jednakże to tylko nieoficjalne doniesienia, nie wiadomo jeszcze czy w ogóle opłaca im się inwestować w takie rozwiązanie dla swojej platformy.

    Źródło: https://www.eetimes.com/aws-rolls-out-ai-inference-chip/

    Fajne! Ranking DIY
    O autorze
    ghost666
    Tłumacz Redaktor
    Offline 
    Fizyk z wykształcenia. Po zrobieniu doktoratu i dwóch latach pracy na uczelni, przeszedł do sektora prywatnego, gdzie zajmuje się projektowaniem urządzeń elektronicznych i programowaniem. Od 2003 roku na forum Elektroda.pl, od 2008 roku członek zespołu redakcyjnego.
    ghost666 napisał 9482 postów o ocenie 7503, pomógł 157 razy. Mieszka w mieście Warszawa. Jest z nami od 2003 roku.
  • #2
    khoam
    Specjalista - ESP32, ESP8266
    ghost666 napisał:
    AWS tworzy własne chipy do inferencji


    Inferencja - proces myślowy, w którym na podstawie pewnych zdań uznanych za prawdziwe (twierdzeń udowodnionych) dochodzi się do uznania jakiegoś nowego twierdzenia.

    :)
  • #3
    zgierzman
    Poziom 24  
    @khoam to cenny przypis, bo nie miałem pojęcia co to słowo oznacza. Zaoszczędziłeś mi grzebania w wikipedii.

    Jestem już chyba za stary na takie artykuły, bo nie dość, że nie wiedziałem co to jest inferencja, to jeszcze skrót AWS skojarzył mi się mocno politycznie.