Zanim rozpoczniesz przeglądanie dostępnych na rynku ofert procesorów wspomagających systemy uczenia maszynowego, koniecznie musisz zadać sobie jedno, kluczowe pytanie - czy naprawdę jest on Ci potrzebny? Ponieważ coraz więcej firm zaczyna korzystać z algorytmów uczenia maszynowego w ramach swoich normalnych operacji biznesowych, inwestując we własny sprzęt, stają przed wyborem różnych akceleratorów AI. Przy wyborze między bardzo różnymi architekturami układów scalonych, które pojawią się na rynku, oczywistymi kryteriami będą wydajność, zużycie energii, elastyczność, łączność i całkowity koszt inwestycji (tj. zakupu i utrzymania systemu). Ale są też inne, mniej intuicyjne, aspekty tego wyboru.
Portal EETimes rozmawiał na ten temat z Alexis Crowell, starszym dyrektorem marketingu produktów AI w Intelu. Firma ta oferuje różne produkty tego segmentu, o zupełnie różnych architekturach (w tym między innymi układy kupionych przez siebie firm - Movidius, Mobileye, Nervana, Loihi, a także swoje własne procesory, które mogą być w tym celu wykorzystywane). Crowell podkreśliła niektóre mniej oczywiste kryteria, które należy wziąć pod uwagę przy wyborze akceleratora AI.
Czy naprawdę potrzebujesz akceleratora AI?
Jedno z najmniej oczywistych pytań, które powinno być najbardziej oczywiste: czy dana aplikacja naprawdę wymaga najnowszego akceleratora AI w formie dedykowanego układu ASIC? "Jest to bardzo powszechny problem, szczególnie dlatego, że AI to takie modne hasło" - powiedziała przedstawicielka Intela - "Ludzie naprawdę chcą wykorzystywać algorytmy sztucznej inteligencji, ale niewiele osób tak naprawdę wie, co to znaczy, ani nie wie, od czego zacząć".
Doświadczenie firmy Intel w prowadzeniu klientów przez cały proces ujawnia, że poza hiperskalowymi centrami danych i dużymi dostawcami usług chmurowych, większość klientów nie jest jeszcze gotowa na implementację akceleratorów sztucznej inteligencji. Crowell twierdzi, że większość będzie musiała poświęcić jeszcze dużo czasu na przygotowanie swoich danych. "Jeśli próbujesz przeanalizować swoje dane, nie musisz inwestować w drogi sprzęt przyspieszający, aby wykonać te analizy" - powiedziała. "Wiele naszych rozmów z klientami polega na ustaleniu, gdzie się realnie znajdują" - dodała Crowell. Powiedziała również, że nawet niektórzy klienci centrów danych mogą również mieć wiele wolnych cykli procesora - w takim razie po co wydawać pieniądze na dodatkowe akceleratory?
Jak dojrzały jest stos oprogramowania?
Każdą nową architekturę układu trzeba będzie jakoś oprogramować. Chociaż nikt nie wypuszcza obecnie chipa bez odpowiedniego łańcucha narzędzi, należy wziąć pod uwagę dojrzałość stosów oprogramowania. "To, co będzie naprawdę najbardziej interesujące dla wszystkich startupów pojawiających się na rynku, to fakt, że stos oprogramowania dla sztucznej inteligencji jest trudny" - mówi Crowell. "Intel ma 25-letnią historię pisania i pracy nad oprogramowaniem, a setki osób pracuje nad software w naszych produktach. Myślę, że integracja z frameworkami, których ludzie już używają, stosami kompilatorów lub czymkolwiek innym, co jest używane, jest bardzo ważna dla ludzi, którzy rozumieją, jak to działa, podejmując decyzje dotyczące zakupu nowego sprzętu".
Czy myślałeś o bezpieczeństwie?
"Obecnie bezpieczeństwo jest ważniejsze niż kiedykolwiek" - mówi Crowell. Podkreśla ona, że bezpieczeństwo danych i bezpieczeństwo modelu jako równie ważne. "Istnieje wiele zabezpieczeń, które powinny obejmować same dane, aby upewnić się, że naprawdę jest to interesująca nas pula danych, o którą chodzi operatorowi systemu. (...) W jaki sposób zabezpieczasz dane przed treningiem, aby upewnić się, że nie otrzymujesz błędnych danych wejściowych? Skąd wiesz, czy ktoś nie podmienia jakiegoś podzbioru danych, aby zaczął generować błędne wyniki?"
Bezpieczeństwo modelu jest równie ważne. Po wdrożeniu modelu w urządzeniu końcowym należy go chronić przed atakującymi, którzy mogą próbować go zhakować, zmienić wagi w modelu w celu zmanipulowania wyniku, a nawet po prostu starać się ukraść Twój model.
"Jeden z układów, które budujemy na potrzeby wnioskowania, wyposażyliśmy w dodatkowe funkcje RAS (skrót oznaczający niezawodność, dostępność i łatwość serwisowania - przyp. red.), aby pomóc w rozwiązaniu tego problemu" - mówi przedstawicielka Intela. "Ponieważ uważamy bezpieczeństwo i sztuczną inteligencję za fundament, nie może być tak, że najpierw zbudujesz rozwiązanie, a następnie zmodernizujesz je dla osiągnięcia odpowiedniego poziomu bezpieczeństwa. Musisz to robić od samego początku" - tłumaczy Cromwell.
Czy układ był już benchmarkowany?
Odpowiednie testy porównawcze akceleratorów AI są wciąż na wczesnym etapie. Intel jest jedną z niewielu firm, które przedstawiły wyniki MLPerf, a także DeepBench Baidu dla swoich układów. Crowell podkreśliła, że Intel chce, aby jej klienci mogli dokonywać uczciwych porównań między produktami i że testy porównawcze są dobrym punktem wyjścia. Z drugiej strony przedstawiciela Intela wyraża pewne zmartwienie, co do testów, jakie wykorzystywane są obecnie do porównywania poszczególnych układów.
Procesor sieci neuronowej Intel Nervana - dostępny w wersjach do nauki i do wnioskowania (zdjęcie: Intel)
"Dzisiaj ResNet i MobileNet są rodzajem topologii startowych i nie wskazują na to, jak ludzie faktycznie używają AI w prawdziwych zastosowaniach. (...) Myślę, że to dobry fundament, aby spróbować połączyć wszystkie aplikacje w podobnym teście, ponieważ w systemach AI jest bardzo wiele parametrów - wielkość partii danych, wymagania dotyczące opóźnień, wymagania dotyczące dokładności… - musisz gdzieś zacząć. Rozpoczynanie od ResNet i MobileNet nie oznacza, że nie możemy dojść do bardziej nowoczesnych, większych modeli, które lepiej odnoszą się do tego, co naprawdę dzieje się w branży".
Ostatnią uwagą Crowell było to, że testy porównawcze należy rozpatrywać jako część szerszego obrazu, który uwzględnia wszystkie omówione tutaj problemy. "Zawsze ostrzegam klientów, aby nie wykorzystywali wskaźników jako całości kryteriów decyzyjnych" -powiedziała - "Jest tak wiele czynników - jak wszystko w życiu, nie jest to takie proste".
Źródło: https://www.eetimes.com/how-to-choose-between-ai-accelerators/
Portal EETimes rozmawiał na ten temat z Alexis Crowell, starszym dyrektorem marketingu produktów AI w Intelu. Firma ta oferuje różne produkty tego segmentu, o zupełnie różnych architekturach (w tym między innymi układy kupionych przez siebie firm - Movidius, Mobileye, Nervana, Loihi, a także swoje własne procesory, które mogą być w tym celu wykorzystywane). Crowell podkreśliła niektóre mniej oczywiste kryteria, które należy wziąć pod uwagę przy wyborze akceleratora AI.
Czy naprawdę potrzebujesz akceleratora AI?
Jedno z najmniej oczywistych pytań, które powinno być najbardziej oczywiste: czy dana aplikacja naprawdę wymaga najnowszego akceleratora AI w formie dedykowanego układu ASIC? "Jest to bardzo powszechny problem, szczególnie dlatego, że AI to takie modne hasło" - powiedziała przedstawicielka Intela - "Ludzie naprawdę chcą wykorzystywać algorytmy sztucznej inteligencji, ale niewiele osób tak naprawdę wie, co to znaczy, ani nie wie, od czego zacząć".
Doświadczenie firmy Intel w prowadzeniu klientów przez cały proces ujawnia, że poza hiperskalowymi centrami danych i dużymi dostawcami usług chmurowych, większość klientów nie jest jeszcze gotowa na implementację akceleratorów sztucznej inteligencji. Crowell twierdzi, że większość będzie musiała poświęcić jeszcze dużo czasu na przygotowanie swoich danych. "Jeśli próbujesz przeanalizować swoje dane, nie musisz inwestować w drogi sprzęt przyspieszający, aby wykonać te analizy" - powiedziała. "Wiele naszych rozmów z klientami polega na ustaleniu, gdzie się realnie znajdują" - dodała Crowell. Powiedziała również, że nawet niektórzy klienci centrów danych mogą również mieć wiele wolnych cykli procesora - w takim razie po co wydawać pieniądze na dodatkowe akceleratory?
Jak dojrzały jest stos oprogramowania?
Każdą nową architekturę układu trzeba będzie jakoś oprogramować. Chociaż nikt nie wypuszcza obecnie chipa bez odpowiedniego łańcucha narzędzi, należy wziąć pod uwagę dojrzałość stosów oprogramowania. "To, co będzie naprawdę najbardziej interesujące dla wszystkich startupów pojawiających się na rynku, to fakt, że stos oprogramowania dla sztucznej inteligencji jest trudny" - mówi Crowell. "Intel ma 25-letnią historię pisania i pracy nad oprogramowaniem, a setki osób pracuje nad software w naszych produktach. Myślę, że integracja z frameworkami, których ludzie już używają, stosami kompilatorów lub czymkolwiek innym, co jest używane, jest bardzo ważna dla ludzi, którzy rozumieją, jak to działa, podejmując decyzje dotyczące zakupu nowego sprzętu".
Czy myślałeś o bezpieczeństwie?
"Obecnie bezpieczeństwo jest ważniejsze niż kiedykolwiek" - mówi Crowell. Podkreśla ona, że bezpieczeństwo danych i bezpieczeństwo modelu jako równie ważne. "Istnieje wiele zabezpieczeń, które powinny obejmować same dane, aby upewnić się, że naprawdę jest to interesująca nas pula danych, o którą chodzi operatorowi systemu. (...) W jaki sposób zabezpieczasz dane przed treningiem, aby upewnić się, że nie otrzymujesz błędnych danych wejściowych? Skąd wiesz, czy ktoś nie podmienia jakiegoś podzbioru danych, aby zaczął generować błędne wyniki?"
Bezpieczeństwo modelu jest równie ważne. Po wdrożeniu modelu w urządzeniu końcowym należy go chronić przed atakującymi, którzy mogą próbować go zhakować, zmienić wagi w modelu w celu zmanipulowania wyniku, a nawet po prostu starać się ukraść Twój model.
"Jeden z układów, które budujemy na potrzeby wnioskowania, wyposażyliśmy w dodatkowe funkcje RAS (skrót oznaczający niezawodność, dostępność i łatwość serwisowania - przyp. red.), aby pomóc w rozwiązaniu tego problemu" - mówi przedstawicielka Intela. "Ponieważ uważamy bezpieczeństwo i sztuczną inteligencję za fundament, nie może być tak, że najpierw zbudujesz rozwiązanie, a następnie zmodernizujesz je dla osiągnięcia odpowiedniego poziomu bezpieczeństwa. Musisz to robić od samego początku" - tłumaczy Cromwell.
Czy układ był już benchmarkowany?
Odpowiednie testy porównawcze akceleratorów AI są wciąż na wczesnym etapie. Intel jest jedną z niewielu firm, które przedstawiły wyniki MLPerf, a także DeepBench Baidu dla swoich układów. Crowell podkreśliła, że Intel chce, aby jej klienci mogli dokonywać uczciwych porównań między produktami i że testy porównawcze są dobrym punktem wyjścia. Z drugiej strony przedstawiciela Intela wyraża pewne zmartwienie, co do testów, jakie wykorzystywane są obecnie do porównywania poszczególnych układów.
Procesor sieci neuronowej Intel Nervana - dostępny w wersjach do nauki i do wnioskowania (zdjęcie: Intel)
"Dzisiaj ResNet i MobileNet są rodzajem topologii startowych i nie wskazują na to, jak ludzie faktycznie używają AI w prawdziwych zastosowaniach. (...) Myślę, że to dobry fundament, aby spróbować połączyć wszystkie aplikacje w podobnym teście, ponieważ w systemach AI jest bardzo wiele parametrów - wielkość partii danych, wymagania dotyczące opóźnień, wymagania dotyczące dokładności… - musisz gdzieś zacząć. Rozpoczynanie od ResNet i MobileNet nie oznacza, że nie możemy dojść do bardziej nowoczesnych, większych modeli, które lepiej odnoszą się do tego, co naprawdę dzieje się w branży".
Ostatnią uwagą Crowell było to, że testy porównawcze należy rozpatrywać jako część szerszego obrazu, który uwzględnia wszystkie omówione tutaj problemy. "Zawsze ostrzegam klientów, aby nie wykorzystywali wskaźników jako całości kryteriów decyzyjnych" -powiedziała - "Jest tak wiele czynników - jak wszystko w życiu, nie jest to takie proste".
Źródło: https://www.eetimes.com/how-to-choose-between-ai-accelerators/
Fajne? Ranking DIY
