Kierownictwo AMD zaprezentowało swoją wizję dotyczącą sztucznej inteligencji i nowe produkty z zakresu procesorów oraz kart graficznych dedykowanych do centrów danych, podczas spotkania, jakie zorganizowano niedawno w San Francisco. Podkreślano na nim, że technologia AI jest kluczowym obszarem rozwoju firmy. Jednym z głównych zainteresowań było porównanie nowego rywala GPU AMD, Nvidia, z flagowym procesorem graficznym H100. Choć nowy układ akceleratora GPU od AMD zapowiada się bardzo wydajnie, pytanie brzmi, czy zdołają przewyższyć efektywność H100. To zagadnienie stało się szczególnie ważne w obliczu rosnącego zapotrzebowania na szkolenia i wnioskowanie dużych modeli językowych, takich jak ChatGPT.
AMD przedstawiło również linię procesorów graficznych dla centrów danych, obejmującą wcześniej demonstrowany już model MI300A. Ten procesor będzie wykorzystywany w superkomputerze El Capitan o mocy 2 exaFLOPS, który obecnie jest uruchamiany w Lawrence Livermore National Laboratory. Co ciekawe, podczas omawianego wydarzenia AMD ujawniło także szczegóły nowego modelu MI300X, będącego wersją MI300A, ale ze zwiększonymi zasobami GPU, który stworzony został w celu optymalizacji tego układu pod kątem zastosowań AI. Chiplety GPU w MI300X bazują na architekturze AMD CDNA3 trzeciej generacji, oferującej nowy silnik obliczeniowy, który obsługuje formaty danych bardziej przyjazne dla wykorzystania w sztucznej inteligencji niż wcześniejsze modele, takie jak MI250.
Wydarzenie AMD pokazało, że konkurencja na rynku układów akceleratorów GPU jest coraz bardziej zacięta. Wprowadzenie nowego układu MI300X i jego porównanie z flagowym produktem Nvidii zapowiada interesującą rywalizację, która przyniesie korzyści dla użytkowników sztucznej inteligencji i centrów danych. Czy AMD będzie w stanie zdobyć znaczącą część tego obszaru, czas pokaże, ale na pewno jest to krok naprzód w dążeniu do coraz bardziej zaawansowanych rozwiązań dla AI.
Nowy flagowy procesor graficzny AMD MI300X jest wyposażony w tuzin chipletów produkowanych w rozmiarach charakterystycznych 5 i 6 nm, łącznie posiadających 153 miliardy tranzystorów. Jego najważniejszym wyróżnikiem jest 192 GB pamięci HBM3 o przepustowości do 5,2 TB/s. W porównaniu z konkurencyjnym modelem Nvidia H100, który występuje w wersjach z do 80 GB pamięci HBM2e o łącznej przepustowości do 3,3 TB/s, MI300X oferuje 2,4-krotnie większą pojemność HBM i 1,6-krotnie większą przepustowość tejże.
Według dyrektora generalnego AMD, Lisy Su (na zdjęciu po lewej u góry), okazalsza pojemność HBM daje MI300X przewagę, szczególnie w przypadku obsługi większych modeli sztucznej inteligencji. Dzięki temu można uruchamiać takowe bezpośrednio w pamięci, co skutkuje zmniejszeniem liczby potrzebnych procesorów graficznych. To przyspiesza wydajność, zwłaszcza w przypadku zastosowań do wnioskowania, a także zmniejsza całkowity koszt posiadania (TCO) tego systemu. W związku z tym AMD podkreśla, że wydatniejsza pojemność pamięci HBM w MI300X pozwala dostawcom usług w chmurze wykonywać więcej zadań wnioskowania na jednym GPU. Prowadzi to do obniżenia kosztów szkolenia dużych modeli językowych (LLM) i sprawia, że są one bardziej dostępne dla szerokiego ekosystemu. Dodatkowo, korzystanie z MI300X skraca czas programowania i wdrożenia, co przekłada się na wydajniejsze i szybsze opracowanie aplikacji opartych na sztucznej inteligencji. Innymi słowy, należy zapomnieć hasło: „im więcej kupujesz, tym więcej oszczędzasz”, wygłoszone w przemówieniu dyrektora generalnego Nvidii, Jensena Huanga w 2018 roku. AMD mówi, że można realizować te same zadania z mniejszą liczbą procesorów graficznych, jeśli istnieje taka potrzeba. Ogólny efekt jest taki, że dostawcy usług w chmurze mogą przeprowadzać więcej zadań wnioskowania na GPU, obniżając koszt utrzymania LLM i czyniąc je bardziej dostępnymi, jak mówi Su.
Według obliczeń AMD, wnioskowanie z precyzją FP16 dla różnych LLM wymaga mniejszej liczby układów MI300X niż konkurencyjnych procesorów graficznych z pamięcią 80 GB (przypuszczalnie wskazuje to na Nvidię H100-80 GB).
Falcon-40B potrzebował jednego z procesorów graficznych AMD lub dwóch konkurencyjnych.
PaLM 540B wymagał 7 procesorów graficznych AMD lub 15 konkurencji.
AMD zaprezentowało na wydarzeniu w San Francisco swoją wizję rozwoju sztucznej inteligencji, przedstawiając nowe produkty procesorów i kart graficznych skierowane do centrów danych. Jednak kluczową kwestią, która budzi zainteresowanie, jest możliwość wykorzystania flagowej jednostki AMD H100 w konkurencji z układami Nvidii. Pomimo tego, że H100 odnosi sukcesy w surowej wydajności, AMD przedstawiło swój nowy układ GPU MI300X jako wiarygodnego rywala. W ramach prezentacji AMD zademonstrowało również platformę AMD Instinct, która zawiera osiem układów MI300X i dwa procesory hosta AMD Genoa w formacie OCP, co pozwala na łatwe i szybkie instalowanie tychże w istniejącej infrastrukturze. Platforma ta ma trafić do kluczowych klientów firmy już w trzecim kwartale tego roku.
Jednakże, aby wykorzystać pełnię możliwości MI300X, niezbędne jest odpowiednie oprogramowanie. AMD rozwija swój stos oprogramowania AI o nazwie ROCm, który oferuje otwarte narzędzia i frameworki, współpracując z PyTorch i HuggingFace, aby zapewnić obsługę różnych zastosowań z zakresu sztucznej inteligencji i uczenia maszynowego. Niemniej, Nvidia też ma swoje atuty, takie jak silnik transformatorowy i bardzo dojrzałe oprogramowanie CUDA, które od dawna przyciągało liczne start-upy w dziedzinie AI. Przeszkodą w przyjęciu MI300X może być również czas, ponieważ AMD planuje wypuścić produkt na rynek w czwartym kwartale tego roku, a Nvidia już teraz oferuje swoje rozwiązania.
Podsumowując, AMD MI300X wydaje się wiarygodnym konkurentem dla układów Nvidii, jednak to przyszłość pokaże, jakie będzie jego miejsce na rynku AI w centrach danych. Ostateczną decyzję będą podejmować klienci, a zarówno AMD, jak i Nvidia, mają szansę zdobyć istotny udział w tym dynamicznie rozwijającym się obszarze sprzętu dla aplikacji sztucznej inteligencji.
Źródło: https://www.eetimes.com/can-amds-mi300x-take-on-nvidias-h100/
AMD przedstawiło również linię procesorów graficznych dla centrów danych, obejmującą wcześniej demonstrowany już model MI300A. Ten procesor będzie wykorzystywany w superkomputerze El Capitan o mocy 2 exaFLOPS, który obecnie jest uruchamiany w Lawrence Livermore National Laboratory. Co ciekawe, podczas omawianego wydarzenia AMD ujawniło także szczegóły nowego modelu MI300X, będącego wersją MI300A, ale ze zwiększonymi zasobami GPU, który stworzony został w celu optymalizacji tego układu pod kątem zastosowań AI. Chiplety GPU w MI300X bazują na architekturze AMD CDNA3 trzeciej generacji, oferującej nowy silnik obliczeniowy, który obsługuje formaty danych bardziej przyjazne dla wykorzystania w sztucznej inteligencji niż wcześniejsze modele, takie jak MI250.
Wydarzenie AMD pokazało, że konkurencja na rynku układów akceleratorów GPU jest coraz bardziej zacięta. Wprowadzenie nowego układu MI300X i jego porównanie z flagowym produktem Nvidii zapowiada interesującą rywalizację, która przyniesie korzyści dla użytkowników sztucznej inteligencji i centrów danych. Czy AMD będzie w stanie zdobyć znaczącą część tego obszaru, czas pokaże, ale na pewno jest to krok naprzód w dążeniu do coraz bardziej zaawansowanych rozwiązań dla AI.
Nowy flagowy procesor graficzny AMD MI300X jest wyposażony w tuzin chipletów produkowanych w rozmiarach charakterystycznych 5 i 6 nm, łącznie posiadających 153 miliardy tranzystorów. Jego najważniejszym wyróżnikiem jest 192 GB pamięci HBM3 o przepustowości do 5,2 TB/s. W porównaniu z konkurencyjnym modelem Nvidia H100, który występuje w wersjach z do 80 GB pamięci HBM2e o łącznej przepustowości do 3,3 TB/s, MI300X oferuje 2,4-krotnie większą pojemność HBM i 1,6-krotnie większą przepustowość tejże.
Według dyrektora generalnego AMD, Lisy Su (na zdjęciu po lewej u góry), okazalsza pojemność HBM daje MI300X przewagę, szczególnie w przypadku obsługi większych modeli sztucznej inteligencji. Dzięki temu można uruchamiać takowe bezpośrednio w pamięci, co skutkuje zmniejszeniem liczby potrzebnych procesorów graficznych. To przyspiesza wydajność, zwłaszcza w przypadku zastosowań do wnioskowania, a także zmniejsza całkowity koszt posiadania (TCO) tego systemu. W związku z tym AMD podkreśla, że wydatniejsza pojemność pamięci HBM w MI300X pozwala dostawcom usług w chmurze wykonywać więcej zadań wnioskowania na jednym GPU. Prowadzi to do obniżenia kosztów szkolenia dużych modeli językowych (LLM) i sprawia, że są one bardziej dostępne dla szerokiego ekosystemu. Dodatkowo, korzystanie z MI300X skraca czas programowania i wdrożenia, co przekłada się na wydajniejsze i szybsze opracowanie aplikacji opartych na sztucznej inteligencji. Innymi słowy, należy zapomnieć hasło: „im więcej kupujesz, tym więcej oszczędzasz”, wygłoszone w przemówieniu dyrektora generalnego Nvidii, Jensena Huanga w 2018 roku. AMD mówi, że można realizować te same zadania z mniejszą liczbą procesorów graficznych, jeśli istnieje taka potrzeba. Ogólny efekt jest taki, że dostawcy usług w chmurze mogą przeprowadzać więcej zadań wnioskowania na GPU, obniżając koszt utrzymania LLM i czyniąc je bardziej dostępnymi, jak mówi Su.
Według obliczeń AMD, wnioskowanie z precyzją FP16 dla różnych LLM wymaga mniejszej liczby układów MI300X niż konkurencyjnych procesorów graficznych z pamięcią 80 GB (przypuszczalnie wskazuje to na Nvidię H100-80 GB).
Falcon-40B potrzebował jednego z procesorów graficznych AMD lub dwóch konkurencyjnych.
PaLM 540B wymagał 7 procesorów graficznych AMD lub 15 konkurencji.
AMD zaprezentowało na wydarzeniu w San Francisco swoją wizję rozwoju sztucznej inteligencji, przedstawiając nowe produkty procesorów i kart graficznych skierowane do centrów danych. Jednak kluczową kwestią, która budzi zainteresowanie, jest możliwość wykorzystania flagowej jednostki AMD H100 w konkurencji z układami Nvidii. Pomimo tego, że H100 odnosi sukcesy w surowej wydajności, AMD przedstawiło swój nowy układ GPU MI300X jako wiarygodnego rywala. W ramach prezentacji AMD zademonstrowało również platformę AMD Instinct, która zawiera osiem układów MI300X i dwa procesory hosta AMD Genoa w formacie OCP, co pozwala na łatwe i szybkie instalowanie tychże w istniejącej infrastrukturze. Platforma ta ma trafić do kluczowych klientów firmy już w trzecim kwartale tego roku.
Jednakże, aby wykorzystać pełnię możliwości MI300X, niezbędne jest odpowiednie oprogramowanie. AMD rozwija swój stos oprogramowania AI o nazwie ROCm, który oferuje otwarte narzędzia i frameworki, współpracując z PyTorch i HuggingFace, aby zapewnić obsługę różnych zastosowań z zakresu sztucznej inteligencji i uczenia maszynowego. Niemniej, Nvidia też ma swoje atuty, takie jak silnik transformatorowy i bardzo dojrzałe oprogramowanie CUDA, które od dawna przyciągało liczne start-upy w dziedzinie AI. Przeszkodą w przyjęciu MI300X może być również czas, ponieważ AMD planuje wypuścić produkt na rynek w czwartym kwartale tego roku, a Nvidia już teraz oferuje swoje rozwiązania.
Podsumowując, AMD MI300X wydaje się wiarygodnym konkurentem dla układów Nvidii, jednak to przyszłość pokaże, jakie będzie jego miejsce na rynku AI w centrach danych. Ostateczną decyzję będą podejmować klienci, a zarówno AMD, jak i Nvidia, mają szansę zdobyć istotny udział w tym dynamicznie rozwijającym się obszarze sprzętu dla aplikacji sztucznej inteligencji.
Źródło: https://www.eetimes.com/can-amds-mi300x-take-on-nvidias-h100/
Fajne? Ranking DIY