Przejęcie to uwydatnia coraz wyraźniejszy nacisk kładziony na eliminowanie wąskich gardeł w przetwarzaniu danych w chmurze i projektach opartych na sztucznej inteligencji. Pokazuje również, jak usprawnienia w architekturze zarządzania pamięcią mogą potencjalnie umożliwić wydajniejszą obsługę zadań obliczeniowych, obniżając tym samym całkowity koszt posiadania infrastruktury (TCO) u operatorów komercyjnych centrów danych. Rozwiązanie zaprezentowane przez firmę MEXT gwarantuje osiągnięcie wydajności klasy szybkiej pamięci DRAM przy jednoczesnych kosztach i pojemnościach charakterystycznych dla pamięci flash.
Nowa warstwa w hierarchii pamięci, oparta na technologii MEXT i pamięci flash, jest znacznie tańsza niż DRAM, a jednocześnie oferuje znacznie niższe opóźnienia niż tradycyjne wykorzystanie flash jako pamięci masowej. (Źródło: MEXT)
Warto zauważyć, że w dużych wdrożeniach AI coraz częściej głównym ograniczeniem okazuje się pamięć, a nie sama moc obliczeniowa. Współczesna pamięć DRAM urosła do rangi najtrudniej dostępnego i zdecydowanie najdroższego elementu całej architektury serwerowej. „Z racji tego, że globalna podaż układów DRAM pozostaje pod silną presją ograniczeń, a koszty stale rosną, korporacje znacznie chętniej skłaniają się ku rozwiązaniom realizowanym drogą programową, które pozwalają zmaksymalizować użyteczność już posiadanego sprzętu i zmniejszyć zjawisko kosztownego, nadmiarowego przydzielania zasobów” – podsumował Mast Eastwood, starszy wiceprezes ds. infrastruktury korporacyjnej w firmie IDC.
Kryzys pamięciowy w erze sztucznej inteligencji
Wielkie zbiory informacji stanowiące fundament nauczania modeli AI, zaawansowana analityka danych, usługi z zakresu wirtualizacji oraz obliczenia o wysokiej wydajności sprawiły, że to właśnie pamięć operacyjna stanowi dziś absolutne wąskie gardło branży. Wąskie gardła dotyczą przepustowości, opóźnień, pojemności, kosztów, stopnia wykorzystania pamięci oraz efektywności przenoszenia danych przez obciążenia robocze.
Dyrektor generalna pionu Xbox, Asha Sharma, wywołała niedawno prawdziwe poruszenie w prasie branżowej, informując, że w perspektywie ostatnich dwóch lat jednostkowe koszty pamięci wzrosły w przybliżeniu pięciokrotnie. W rezultacie Xbox nie jest w stanie wyprodukować tylu konsol, ilu oczekują konsumenci.
W odróżnieniu od procesorów, nowoczesnej infrastruktury sieciowej oraz dedykowanych rozwiązań magazynowania, fundamenty technologii DRAM pozostały praktycznie nienaruszone od momentu zaprezentowania przez firmę Intel pierwszego takiego układu jeszcze w 1970 roku. Każda z późniejszych prób wyparcia kilkudziesięcioletnich zasad kończyła się wielkim niepowodzeniem. Dokładnie tak, jak przewidywano - ogólny rozwój w kwestiach minimalizacji kosztów czy dalszej rozbudowy dostępnych bloków DRAM ostatecznie uległ stagnacji. Na rynku pojawiły się oczywiście rozwiązania, na rozwój których przeznaczono miliardy dolarów (jak np. pamięci Intel Optane), jednak ostatecznie żadne z nich nie stało się trwałym, nowym standardem.
Analizy ujawnione przez najważniejszych, rynkowych dostawców usług chmurowych bezlitośnie obnażają fakt, że rzeczywiste wykorzystanie zainstalowanych modułów pamięci regularnie utrzymuje się na poziomie 50% lub niższym. (Źródło: MEXT)
To w odpowiedzi na to zapotrzebowanie Gary Smerdon w marcu 2023 r. założył startup MEXT. Celem operacyjnym firmy stało się opracowanie technologii pamięci predykcyjnej, mogącej skutecznie obniżyć koszty pamięci w serwerowniach z gwarancją uzyskania większych pojemności nominalnych. Twórcy celowali wprost w zoptymalizowanie zdecydowanie najdroższego składnika tworzącego współczesne centra danych: modułów pamięci operacyjnej DRAM. W czasie inauguracji startupu szacowano, że to one odpowiadają za około 50% całkowitych kosztów postawienia maszyny serwerowej. Dziś, w 2026 roku, gdy rozwój algorytmów na bazie sztucznej inteligencji gwałtownie przyspieszył, wskaźnik ten z racji popytu na DRAM sięgnął alarmującego poziomu blisko 60%.
Rozwiązanie inżynieryjne forsowane przez MEXT miało w założeniu połączyć dotychczasowy świat pamięci szybkiego dostępu (DRAM) z przestrzeniami masowymi flash. Należy jednak zdawać sobie sprawę, że mimo wybitnej atrakcyjności rozwiązań typu flash z perspektywy księgowości (są to technologie średnio 50 razy tańsze, pochłaniające blisko 30-krotnie mniej prądu od odpowiedników DRAM), stawiają one ogromne opory techniczne ze względu na z natury 500-krotnie wolniejszą realizację zadań. MEXT oparł swoje rozwiązanie na założeniu, że nieaktywne strony pamięci można przenosić do flash, a algorytm AI może przewidywać, kiedy będą ponownie potrzebne.
Taki kierunek myślenia stał się fundamentem i szkieletem technologii przewidywania zapotrzebowania na pamięć, kładącej dużo większy nacisk na wydajność samego sprzętu niż architekturę skomplikowanych modeli obliczeniowych. Dzięki takiemu podejściu, nawet na pozór marginalne zwiększenie ogólnego stopnia wykorzystania posiadanej już pamięci skutkuje olbrzymimi zyskami pod kątem ostatecznej przepustowości danych w operacjach wykonywanych na masową skalę.
Wniosek staje się tu więc oczywisty: autorska optymalizacja od MEXT eliminuje jedno z największych wąskich gardeł w infrastrukturze obliczeniowej (czyli barierę pamięciową). Inżynierowie ze słonecznej Kalifornii podjęli się zresztą rozwiązania sprawy, którą większość branży uznała za odgórnie zamkniętą, czyli jak zaradzić rażącej nieefektywności układów DRAM na ogólnoświatowym rynku szacowanym na niemal 100 miliardów dolarów.
Wydajność DRAM w cenie pamięci flash
Startup ten tworzy inteligentne algorytmy usprawniające pracę niedrogich pamięci półprzewodnikowych. Technologia optymalizacji pamięci MEXT sprawia, że NAND flash może z perspektywy systemu operacyjnego zachowywać się podobnie do DRAM dzięki predykcyjnemu zarządzaniu pamięcią opartemu na AI. Pozwala to na obniżenie kosztów infrastruktury i zwiększenie użytecznej pojemności pamięci bez utraty wydajności.
Przyjrzyjmy się dokładniej mechanice warstwowania zmuszającej nośniki NAND do reagowania podobnego kościom DRAM z punktu widzenia nadrzędnego systemu operacyjnego. Technologia działa w trzech krokach, tworząc nową warstwę cenowo-wydajnościową: wydajność zbliżoną do DRAM przy kosztach i pojemności typowych dla flash.
Pierwszym z kroków, które realizuje MEXT jest zidentyfikowanie tych partii pamięci (stron), które chwilowo nie biorą udziału w aktywnych zadaniach. To nieaktywne bloki, które zaraz po wskazaniu przenoszone są do pamięci flash kosztującej dosłownie 50 razy mniej od swojego szybkiego odpowiednika DRAM. Kolejnym kluczowym krokiem jest przekazanie kontroli nad tym procesem silnikowi MEXT opartemu na AI. Ten po dokonaniu błyskawicznej analizy predykcyjnej wskazuje strony w obszarze flash, na które z dużym prawdopodobieństwem znów powróci popyt zgłoszony ze strony aplikacji. Modele te, nadzorujące powtarzające się wzorce logistyczne przewidują z wyprzedzeniem i ze świetną dokładnością co będzie potrzebne maszynie w następnym kroku.
W finale wkracza sztuczna inteligencja, która jeszcze na ułamek sekundy przed zgłoszeniem fizycznego żądania dostępu do zapisu ze strony systemu potrafi proaktywnie „wyciągnąć” przewidziane strony i skopiować je z powrotem do układów DRAM. Dzięki temu istotne strony pamięci są dostępne w DRAM wtedy, gdy są potrzebne, co pozwala utrzymać wydajność aplikacji. Tym samym gwarantowana wydajność zostaje nienaruszona przy zachowaniu wręcz mikroskopijnego obciążenia droższych modułów pamięci.
Główny cel biznesowy firmy AMD
Niedawny ruch zakupowy giganta takiego jak AMD uświadamia i uzewnętrznia plany firmy mierzącej się z jednym z największych ograniczeń branży AI – odpowiednim zarządzaniem pamięcią w superkomputerach. Zaimplementowane modele zmniejszają opóźnienia i racjonalizują ciągłą wędrówkę poszczególnych partii informacji pomiędzy procesorami (CPU), układami graficznymi (GPU) oraz pamięciami o wysokiej przepustowości (HBM). Zabieg ten poszerza zasoby możliwe do szybkiego zastosowania i pozwala zwiększyć użyteczną pojemność pamięci bez konieczności proporcjonalnego zwiększania nakładów na sprzęt.
Pamiętajmy o tym, że topowe akceleratory z serii MI300 oraz MI355X pochodzące ze stajni AMD wykazują wielkie zapotrzebowanie na stosowanie superszybkiej pamięci HBM. Optymalizacja tego czynnika ma tu więc kluczowe, a nawet strategiczne znaczenie. Niezbędna z punktu widzenia powodzenia transakcji wydaje się w tym miejscu perfekcyjna implementacja technologii predykcyjnej u boku dedykowanych chipów.
Fuzja i omawiane przejęcie to także bezprecedensowy sygnał ze strony korporacji ewoluującej w oczach klientów do rangi globalnego giganta na polu kreowania usług AI. AMD usilnie ulepsza swoją platformę programistyczną ROCm, rzucając bezpośrednie wyzwanie standardowi wykreowanemu przez Nvidię (czyli środowisku CUDA). Narzędzia MEXT mogą pomóc AMD zmniejszyć dystans do ekosystemu CUDA Nvidii i ustabilizować silną pozycję firmy z Santa Clara jako głównego gracza alternatywnego w produkcji akceleratorów wspierających zaawansowane modele.
Tego rodzaju zakup poczyniony przez firmę AMD jest znaczącym krokiem na rzecz poszerzenia barier ograniczających dzisiejsze układy z rodziny superkomputerów. Ponadto daje to zarządowi możliwość spojrzenia na proces budowy przyszłych środowisk operacyjnych w sposób absolutnie innowacyjny, wielokierunkowy i kompletny.
Źródło: EE Times
Fajne? Ranking DIY
