logo elektroda
logo elektroda
X
logo elektroda
REKLAMA
REKLAMA
Adblock/uBlockOrigin/AdGuard mogą powodować znikanie niektórych postów z powodu nowej reguły.

Czy MI300X od AMD może konkurować z H100 Nvidii?

ghost666 23 Lip 2023 01:12 873 3
REKLAMA
  • Czy MI300X od AMD może konkurować z H100 Nvidii?
    Kierownictwo AMD zaprezentowało swoją wizję dotyczącą sztucznej inteligencji i nowe produkty z zakresu procesorów oraz kart graficznych dedykowanych do centrów danych, podczas spotkania, jakie zorganizowano niedawno w San Francisco. Podkreślano na nim, że technologia AI jest kluczowym obszarem rozwoju firmy. Jednym z głównych zainteresowań było porównanie nowego rywala GPU AMD, Nvidia, z flagowym procesorem graficznym H100. Choć nowy układ akceleratora GPU od AMD zapowiada się bardzo wydajnie, pytanie brzmi, czy zdołają przewyższyć efektywność H100. To zagadnienie stało się szczególnie ważne w obliczu rosnącego zapotrzebowania na szkolenia i wnioskowanie dużych modeli językowych, takich jak ChatGPT.

    AMD przedstawiło również linię procesorów graficznych dla centrów danych, obejmującą wcześniej demonstrowany już model MI300A. Ten procesor będzie wykorzystywany w superkomputerze El Capitan o mocy 2 exaFLOPS, który obecnie jest uruchamiany w Lawrence Livermore National Laboratory. Co ciekawe, podczas omawianego wydarzenia AMD ujawniło także szczegóły nowego modelu MI300X, będącego wersją MI300A, ale ze zwiększonymi zasobami GPU, który stworzony został w celu optymalizacji tego układu pod kątem zastosowań AI. Chiplety GPU w MI300X bazują na architekturze AMD CDNA3 trzeciej generacji, oferującej nowy silnik obliczeniowy, który obsługuje formaty danych bardziej przyjazne dla wykorzystania w sztucznej inteligencji niż wcześniejsze modele, takie jak MI250.

    Wydarzenie AMD pokazało, że konkurencja na rynku układów akceleratorów GPU jest coraz bardziej zacięta. Wprowadzenie nowego układu MI300X i jego porównanie z flagowym produktem Nvidii zapowiada interesującą rywalizację, która przyniesie korzyści dla użytkowników sztucznej inteligencji i centrów danych. Czy AMD będzie w stanie zdobyć znaczącą część tego obszaru, czas pokaże, ale na pewno jest to krok naprzód w dążeniu do coraz bardziej zaawansowanych rozwiązań dla AI.

    Czy MI300X od AMD może konkurować z H100 Nvidii?
    Dwunastochipletowy procesor
    graficzny AMD MI300X ma
    konkurować bezpośrednio
    z H100 Nvidii.
    Nowy flagowy procesor graficzny AMD MI300X jest wyposażony w tuzin chipletów produkowanych w rozmiarach charakterystycznych 5 i 6 nm, łącznie posiadających 153 miliardy tranzystorów. Jego najważniejszym wyróżnikiem jest 192 GB pamięci HBM3 o przepustowości do 5,2 TB/s. W porównaniu z konkurencyjnym modelem Nvidia H100, który występuje w wersjach z do 80 GB pamięci HBM2e o łącznej przepustowości do 3,3 TB/s, MI300X oferuje 2,4-krotnie większą pojemność HBM i 1,6-krotnie większą przepustowość tejże.

    Według dyrektora generalnego AMD, Lisy Su (na zdjęciu po lewej u góry), okazalsza pojemność HBM daje MI300X przewagę, szczególnie w przypadku obsługi większych modeli sztucznej inteligencji. Dzięki temu można uruchamiać takowe bezpośrednio w pamięci, co skutkuje zmniejszeniem liczby potrzebnych procesorów graficznych. To przyspiesza wydajność, zwłaszcza w przypadku zastosowań do wnioskowania, a także zmniejsza całkowity koszt posiadania (TCO) tego systemu. W związku z tym AMD podkreśla, że wydatniejsza pojemność pamięci HBM w MI300X pozwala dostawcom usług w chmurze wykonywać więcej zadań wnioskowania na jednym GPU. Prowadzi to do obniżenia kosztów szkolenia dużych modeli językowych (LLM) i sprawia, że są one bardziej dostępne dla szerokiego ekosystemu. Dodatkowo, korzystanie z MI300X skraca czas programowania i wdrożenia, co przekłada się na wydajniejsze i szybsze opracowanie aplikacji opartych na sztucznej inteligencji. Innymi słowy, należy zapomnieć hasło: „im więcej kupujesz, tym więcej oszczędzasz”, wygłoszone w przemówieniu dyrektora generalnego Nvidii, Jensena Huanga w 2018 roku. AMD mówi, że można realizować te same zadania z mniejszą liczbą procesorów graficznych, jeśli istnieje taka potrzeba. Ogólny efekt jest taki, że dostawcy usług w chmurze mogą przeprowadzać więcej zadań wnioskowania na GPU, obniżając koszt utrzymania LLM i czyniąc je bardziej dostępnymi, jak mówi Su.

    Czy MI300X od AMD może konkurować z H100 Nvidii?
    Według obliczeń AMD, wnioskowanie z precyzją FP16 dla różnych LLM wymaga mniejszej liczby układów MI300X niż konkurencyjnych procesorów graficznych z pamięcią 80 GB (przypuszczalnie wskazuje to na Nvidię H100-80 GB).
    Falcon-40B potrzebował jednego z procesorów graficznych AMD lub dwóch konkurencyjnych.
    PaLM 540B wymagał 7 procesorów graficznych AMD lub 15 konkurencji.


    AMD zaprezentowało na wydarzeniu w San Francisco swoją wizję rozwoju sztucznej inteligencji, przedstawiając nowe produkty procesorów i kart graficznych skierowane do centrów danych. Jednak kluczową kwestią, która budzi zainteresowanie, jest możliwość wykorzystania flagowej jednostki AMD H100 w konkurencji z układami Nvidii. Pomimo tego, że H100 odnosi sukcesy w surowej wydajności, AMD przedstawiło swój nowy układ GPU MI300X jako wiarygodnego rywala. W ramach prezentacji AMD zademonstrowało również platformę AMD Instinct, która zawiera osiem układów MI300X i dwa procesory hosta AMD Genoa w formacie OCP, co pozwala na łatwe i szybkie instalowanie tychże w istniejącej infrastrukturze. Platforma ta ma trafić do kluczowych klientów firmy już w trzecim kwartale tego roku.

    Jednakże, aby wykorzystać pełnię możliwości MI300X, niezbędne jest odpowiednie oprogramowanie. AMD rozwija swój stos oprogramowania AI o nazwie ROCm, który oferuje otwarte narzędzia i frameworki, współpracując z PyTorch i HuggingFace, aby zapewnić obsługę różnych zastosowań z zakresu sztucznej inteligencji i uczenia maszynowego. Niemniej, Nvidia też ma swoje atuty, takie jak silnik transformatorowy i bardzo dojrzałe oprogramowanie CUDA, które od dawna przyciągało liczne start-upy w dziedzinie AI. Przeszkodą w przyjęciu MI300X może być również czas, ponieważ AMD planuje wypuścić produkt na rynek w czwartym kwartale tego roku, a Nvidia już teraz oferuje swoje rozwiązania.

    Podsumowując, AMD MI300X wydaje się wiarygodnym konkurentem dla układów Nvidii, jednak to przyszłość pokaże, jakie będzie jego miejsce na rynku AI w centrach danych. Ostateczną decyzję będą podejmować klienci, a zarówno AMD, jak i Nvidia, mają szansę zdobyć istotny udział w tym dynamicznie rozwijającym się obszarze sprzętu dla aplikacji sztucznej inteligencji.

    Źródło: https://www.eetimes.com/can-amds-mi300x-take-on-nvidias-h100/

    Fajne? Ranking DIY
    O autorze
    ghost666
    Tłumacz Redaktor
    Offline 
    Fizyk z wykształcenia. Po zrobieniu doktoratu i dwóch latach pracy na uczelni, przeszedł do sektora prywatnego, gdzie zajmuje się projektowaniem urządzeń elektronicznych i programowaniem. Od 2003 roku na forum Elektroda.pl, od 2008 roku członek zespołu redakcyjnego.
    https://twitter.com/Moonstreet_Labs
    ghost666 napisał 11960 postów o ocenie 10197, pomógł 157 razy. Mieszka w mieście Warszawa. Jest z nami od 2003 roku.
  • REKLAMA
  • #2 20665858
    siewcu
    Poziom 35  
    I wyjdzie to samo co z epyc. Może i szybsze, ale Intel stabilniejszy i sprawdzony. Plus kompatybilność oprogramowania. I wychodzi na to, że kolejny raz amd porównuje swój topowy sprzęt do nie-topowych modeli konkurencji :D Bo, uwaga, H100 występuje również w wersji z HBM3. I to nie od wczoraj.
  • REKLAMA
  • #3 20666396
    CC_PL
    Poziom 13  
    A co to oznacza, że Intel jest "stabilniejszy"? Jak to się objawia?? :)

    Co do wsparcia oprogramowania, to przy kartach GPU - owszem NGREEDIA ma dużą przewagę, ale powoli się to zmienia. Natomiast jeśli chodzi o procki, to nie ma żadnych problemów z kompatybilnością.

    BTW. Ta karta kosztuje ponad 30 tys. dolców!. AMD ma - o czym nie wiedziałem - także wersje kart będące połączeniem CPU i GPU.
  • #4 20667162
    toczyskik
    Poziom 11  
    siewcu napisał:
    I wyjdzie to samo co z epyc. Może i szybsze, ale Intel stabilniejszy i sprawdzony. Plus kompatybilność oprogramowania.


    U nas w firmie akurat wymieniamy serwery z procesorami Intela na takie z AMD ze względu na wydajność. Używamy AMD już ze dwa lata, a może i więcej. Problemów jakoś nie zauważyliśmy, a mamy ich już z 1000+.
REKLAMA