Urządzenie będzie znajdować się w nowej serii serwerów SambaNova DataScale wykorzystywanych na potrzeby szkolenia systemów AI, do wnioskowania i dostrajania układów uczenia maszynowego, dostarczanych jako systemy gotowe do montażu w szafie rack. Na targach Kunle Olukotun, CTO i współzałożyciel firmy SambaNova zaprezentował zabójczą aplikację dla systemów nowej generacji: tzw. modele fundamentowe. „Wchodzimy w nową erę sztucznej inteligencji, którą umożliwiają modele podstawowe” — powiedział. Termin: „modele fundamentowe” został ukuty w Stanford Center for Research on Foundation Models. Odnosi się do specjalnego typu dużego modelu języka. Jeśli podstawowy jest trenowany na wystarczająco zróżnicowanych danych w zadowalająco dużych ilościach, można go dostosować do wykonywania wielu zadań opartych na języku, być może obejmujących ujęcia tak różnorodne, jak odpowiadanie na pytania, podsumowywanie czy analiza sentymentu. „To całkowicie wysadza tradycyjną, zorientowaną na wytyczne, jednostkę uczenia maszynowego używaną do tej pory, w której każde ujęcie miało określony model, przeszkolony w tym celu” — oznajmił Olukotun. „Dzięki modelom podstawowym możesz wziąć pojedynczy i przystosować go do konkretnej instrukcji, [pozwalając] zastąpić tysiące indywidualnych, specyficznych dla zadania, jedną jednostką. Oznacza to, że zarządzanie jest łatwiejsze i możesz sprawniej przekształcić swoje możliwości sztucznej inteligencji dopasowane do nowych ujęć, które się pojawią”.
Technika zwana uczeniem kontekstowym oznacza,
że modele podstawowe mogą być używane do obsługi różnych zagadnień
za pomocą tej samej jednostki.
Skala modeli fundamentowych, które na ogół przekraczają 10 miliardów parametrów, stanowi wyzwanie dla firm chcących z nich korzystać. „Bardzo trudno jest faktycznie zagregować zasoby sprzętowe i prawidłowo skonfigurować oprogramowanie oraz zdobyć wiedzę na temat uczenia maszynowego, aby właściwie wyszkolić, a następnie wdrożyć [tak duży model — przyp. red.] i utrzymać, przeprowadzić szkolenie i wnioskować oraz stale zarządzać tymi jednostkami” — wskazał Rodrigo Liang, współzałożyciel i dyrektor generalny SambaNova.
Przy dzisiejszej technologii, uczenie modeli fundamentowych od podstaw może zająć miesiące. Jednak firma SambaNova zamierza skrócić ten proces, dostarczając wstępnie wytrenowane jednostki wraz ze swoim sprzętem. Ten umożliwia dostrajanie tych modeli na ich własnych prywatnych danych w celu zwiększenia dokładności realizacji konkretnego zadania, do którego klient będzie wykorzystywał te jednostki. Ogólnie mówiąc, SambaNova posiada dwie oferty. Pierwszą z nich jest infrastruktura DataScale — szafy serwerowe zaopatrzone w urządzenia SambaNova oraz kompletny stos oprogramowania. Jest to odpowiednie dla organizacji zorientowanych na model, w tym rynków kapitałowych, farmacji i klientów HPC. Drugi to pakiet Dataflow-as-a-Service — te same szafy serwerowe i oprogramowanie, ale także dodatkowo przeszkolone modele podstawowe, które klienci mogą dostosowywać i wdrażać na tym sprzęcie. Jest to oferta dla firm zorientowanych na dane, które nie chcą tracić czasu i wysiłku na budowanie i utrzymywanie własnych modeli czy zaplecza on-premise. SambaNova utrzymuje te jednostki w imieniu klienta, ale po dopracowaniu całość jest unikalna dla tego ujęcia.
Systemy SambaNova są już zainstalowane w Lawrence Livermore National Laboratory (LLNL), a laboratorium ogłosiło, że przejdzie na następną generację układów. „Z niecierpliwością czekamy na wdrożenie większego, wielorackowego mechanizmu nowej generacji DataScale SambaNova” — powiedział Bronis de Supinski, CTO w Livermore Computing w LLNL. „Integracja tego rozwiązania z tradycyjnymi klastrami w całym naszym centrum umożliwi technologii głębsze oddziaływanie programistyczne. Przewidujemy wzrost wydajności od 2 do 6 razy, ponieważ nowy system DataScale obiecuje znacznie poprawić ogólną szybkość, efektywność i produktywność”. Argonne National Labs również wdraża mechanizm multirackowy oparty na systemie SambaNova nowej generacji na stanowisku testowym AI ALCF, gdzie można go wypróbować pod kątem różnych zastosowań.
Źródło: https://www.eetimes.com/sambanovas-new-silicon-targets-foundation-models/
Fajne? Ranking DIY
