Elektroda.pl
Elektroda.pl
X
Elektroda.pl
Advanced Search
Elektroda.pl
Please add exception to AdBlock for elektroda.pl.
If you watch the ads, you support portal and users.

Jakie dyski do RAID, różne czy takie same?

And! 15 Mar 2018 09:22 11061 47
Nazwa.pl
Reply | New topic
  • #1
    And!
    Admin of Design group  
    RAID czyli przechowywanie danych na grupie dysków zwiększa bezpieczeństwo (odporność na awarię HDD), a także zwiększa szybkość dostępu do danych (strip i rozdzielenie strumienia danych sekwencyjnie na kilka HDD). Rodzaj RAID i typ HDD wpływa na cechy uzyskanego storage. Możemy stawiać na bezpieczeństwo i wykorzystać kilka nadmiarowych HDD. Można zbudować archiwum na HDD SATA wysokiej pojemności np. 10TB sztuka, lub osiągnąć więcej iops na mniejszych hdd SAS, lub zbudować all-flash na SSD.

    Mam inne pytanie, czy w RAID6 np. na 5 HDD warto zastosować różne dyski różnych producentów?

    Brzmi dziwnie, gdyż ten sam model HDD zapewnia ten sam czas dostępu i transfer, ale takie same dyski to także ryzyko wspólnej wady fabrycznej, błędu firmware, równoczesnego starzenia i wspólnej awarii. Co myślicie o takim nietypowym pomyśle?

    Co do modeli HDD, tam gdzie wydajność nie jest na pierwszym planie a chodzi o pojemny magazyn lubię WD RED. Przy większej ilości iops Seagate 2.5' SAS 10k są trwałe i dają wysoką gęstość.

    Jakie HDD stosujecie w małych i dużych grupach RAID?

    Ze względu na liczne raporty, informacja: temat założony celowo w dziale 'po godzinach' sekcji projektowanie, zależy mi na wymianie doświadczeń i pomysłów z osobami odwiedzającymi sekcję, oraz prowadzenie tematu w nieco luźniejszej atmosferze zgodnie z: https://www.elektroda.pl/rtvforum/topic3382856.html gdyż temat jest nieco badawczy :)
  • Nazwa.pl
  • #2
    Sareph
    Level 24  
    And! wrote:
    ale takie same dyski to także ryzyko wspólnej wady fabrycznej, błędu firmware, równoczesnego starzenia i wspólnej awarii.
    To się nie zdarza, a przynajmniej nie w jednym momencie. Więc osobiście nie widzę sensu jako "środek zapobiegawczy". Sens w tym IMO bardziej jako "mam dużo podobnych dysków różnych producentów i coś chce z nimi zrobić".

    And! wrote:
    Jakie HDD stosujecie w małych i dużych grupach RAID?
    Zawsze były to seagate barracuda, dalej są, żaden jak dotąd nie padł, może mają komfortowe warunki pracy. ;)
  • #3
    Anonymous
    Anonymous  
  • #4
    Karaczan
    Level 41  
    @Piotrus_999 O bugu w firmware w Barracudach 7200.11 słyszał? Albo węgierskich DeskStarach? ;)
    Przypadki może skrajne ale pokazują że niczego wykluczyć nie można.

    Lecz uwagi kolegi co do stabilności kontrolera są jak najbardziej słuszne.

    Zdecydowanie większe prawdopodobieństwo niż niespodziewane padnięcie 2ch dysków jest awaria zasilacza :D A tu i UPS On-Line nie pomoże.
    A wtedy w najgorszym przypadku uszkodzi nawet najbardziej redundantną macierz.
  • #5
    Anonymous
    Anonymous  
  • Nazwa.pl
  • #6
    And!
    Admin of Design group  
    Cieszę się że udało mi się wywołać nieszablonową dyskusję.
    Każdy kto dobrze zna tematykę storage patrząc na temat może odczuwać wewnętrzną sprzeczność. Z jednej strony ogólnie wiadomo 'co się robi a co się nie robi' ale profesjonalista dokładnie wie dlaczego i czasem wychodzi poza ramy odnosząc korzyści.
    W przypadku tradycyjnych 'sprzętowych' kontrolerów faktycznie przy różnych dyskach mogą być problemy z synchronicznością i/o (chociaż jest to problem coraz mniejszy, a hdd mają zbliżone parametry).
    Kolejna sprawa to 'RAIDy' oparte o 'chunki' mające z tradycyjnym RAID mniej wspólnego i pozwala się coraz bardziej oderwać od sprzętu. Kolejna sprawa SDS i tematy poboczne.
    Błędy firmware, jednolite obciążenie i/o, wspólne starzenie to niezerowe ryzyko awarii drugiego HDD w procesie odbudowy, gdy HDD dostają spore obciążenie i/o.
    Dzięki za dotychczasowe wypowiedzi i czekam na więcej, podejrzewam że czegoś się nauczę szczególnie z tych nieszablonowych i niepokornych pomysłów.
  • #7
    GrandMasterT
    Level 25  
    Ja jednak widziałem na własne oczy w bardzo dużej firmie, gdzie administratorzy za ciągłość działania odpowiadają głowami, macierze budowane celowo z różnych dysków o zbliżonych parametrach. Niestety nie dane mi było poznać szczegółów konfiguracji, ale wiem, że robili to właśnie na wypadek gdyby jakaś seria dysków okazała się wadliwa. Zauważcie, że dla dużej i bardzo obciążonej macierzy odbudowanie po awarii do 100% zakładanej redundancji może ładną chwilę potrwać i warto zawczasu się podrapać w głowę i zastanowić, co jeśli w trakcie odbudowy trafi się kolejna awaria.

    Sam mam doświadczenie (póki co) jedynie z małymi i średniej wielkości macierzami, z których największa ma tam może z 40 dysków. Za wyjątkiem pewnego istotnego przypadku, o którym napiszę niżej, nie zauważyłem do tej pory specjalnych problemów jeżeli dyski były mniej więcej takie same parametrami, ale różnych producentów. Stosowanie bardzo różniących się od siebie powoduje jednak czasami komplikacje, typu nienaturalny spadek wydajności, dużo większy niż by to wynikało z oszacowania "na oko", dlatego staram się raczej tego unikać.

    Tym szczególnym przypadkiem kiedy można zaliczyć wtopę, jest natomiast wielkość dysku. Dyski różnych producentów, zwłaszcza SATA, bo nie pamiętam czy spotkałem też takie zjawisko wśród dysków SAS, mogą nieznacznie różnić się wielkością i zależnie od tego, jak macierz była skonfigurowana, może się okazać że padnie dysk 4TB i na inny 4TB nie da się go wymienić bo będzie brakowało paru kilobajtów. Osobiście się raz na to naciąłem i od tamtej pory zwracam uwagę, a tworząc "softwarowe" macierze np. na md, ucinam na dysku parę ostatnich MB żeby ewentualnie mieć mały zapas jakby w przyszłości trzeba było jeden z dysków wymienić na inny.
  • #8
    Anonymous
    Anonymous  
  • #9
    GrandMasterT
    Level 25  
    A ja myślę, że goście głowy zachowają do emerytury, nie są to jakieś kiepy z łapanki, a ewentualna "amatorszczyzna" już dawno byłaby wychwycona przez audyty które ich trzepią regularnie. Za przyjętymi rozwiązaniami musi stać jakiś plan i uzasadnienie, inaczej na pewno by to nie przeszło. Ogólnie widziałem tam parę innych, jak dla mnie dziwnych rozwiązań. Różne dyski to jeszcze mnie tak bardzo nie dziwią, bo nie raz spotkałem się z opiniami, żeby w miarę możliwości chociaż nie stosować wszystkich dysków z tej samej serii.

    Sam bałbym się jednak kombinować z mixem dysków w jakiejś większej macierzy, ale jest różnica między "klepaniem biedy" w dziale IT a firmą która może pozwolić sobie na długie testy wybranej konfiguracji zanim wejdzie na produkcję.
  • #10
    And!
    Admin of Design group  
    @GrandMasterT dzięki za informację z praktyki potwierdzającą mój pozornie zwariowany pomysł, dobrze wiedzieć że ktoś wypróbował to w produkcji. Na pułapkę z wielkością dysku pewnie nie jedna osoba się złapała...

    Generalnie w systemach dyskowych RAID liczących setki czy dziesiątki dysków, zwykle długość jednej grupy RAID nie przekracza kilkunastu HDD. Czyli mamy wiele grup i degradacja jednej nie wpływa na działanie innych. Grupy są połączone logicznie w jedną lub więcej puli pamięci, więc o ile degradacja jednej grupy nie wpływa na inną, to niestety uszkodzenie określonej grupy spowoduje utratę danych.

    W ramach jednego systemu możemy dokładać dyski parzystości (np. w ZFS Z1, Z2, Z3), czyniąc grupy odporne na jednoczesną awarię więcej niż jednego HDD.

    Kolejnym krokiem są macierze / systemy z replikacją synchroniczną (asynchroniczną), pozwalające na ciągłość działania przy kompletnej awarii urządzenia lub nawet ośrodka przetwarzania. Obecnie taki element klastra HA czasami pełnią rozwiązania chmurowe.

    Chunklets czyli rodzaj wirtualizacji RAID to coś co przekracza możliwości tradycyjnego RAID:
    https://blog.mwpreston.net/2015/11/07/learnin...nklets-logical-disk-cpgs-and-virtual-volumes/
    daje np. możliwość dodania kolejnego HDD do grupy i rozpoczęcie wyrównywania zajętości HDD 'chunkletami'.

    Kolejny krok to rozproszone systemy przechowywania danych typu Apache Hadoop, GlusterFS.

    Natomiast jeszcze wyższy poziom abstrakcji to chyba pamięci obiektowe.

    BTW. słyszeliście o HDD z interfejsem GBE? To pomysł gdzie znika kontroler, jest tylko grupa zasilanych dysków i przełącznik sieciowy, transport po IP i logika zaszyta w programowym kontrolerze.

    @Piotrus_999 tak są to "inne" dyski, ich inność często polega na wliczonej usłudze wsparcia/bezpłatnej wymiany, zmodyfikowany firmware daje dodatkowe możliwości i zgodność z produktem (a czasem blokadę "nieautoryzowanych" HDD, tak jak w uproszczonej wersji było kiedyś z danymi SPD w RAM). Czasami taki specjalny dysk ma zaimplementowane w firmware możliwości typu WORM, a czasami jest to dysk który przeszedł dodatkowe testy i posiada firmową naklejkę.

    Myślę że dobre działy R&D robią znacznie bardziej zakręcone próby niż opisujemy w tym temacie :)
  • #11
    Anonymous
    Anonymous  
  • #12
    And!
    Admin of Design group  
    Nie zależnie jaka metoda "matching and mixing" została zastosowana wracamy do sedna czyli pomysłu na unikanie awarii wszystkich HDD w podobnym czasie.

    Te dyski "o innej konstrukcji" nie są produkowane przez producenta macierzy, tylko przez producenta dysków (z paroma drobnymi wyjątkami),
    także można tu liczyć na optymalizację i naklejanie naklejek vendora na większą ogólną serię i ew. dostrajanie firmware.

    Dyski desktopowe nie nadają się do pracy 24/7 (o czym nikt tu nie pisał :) chyba że chodzi o dyski SATA ale tutaj też nie ma bezpośredniej korelacji z dyskami PC ) a np. dyski do CCTV nie nadają się do pracy w NAS itd. Już od dłuższego czasu powstają linie produktowe HDD przeznaczone do określonych zastosowań np. https://www.wdc.com/pl-pl/products/internal-storage.html

    Jak widać od początku tematu przeszliśmy z twierdzenia, "że tak się nie robi" do stwierdzenia "że czasami się robi i nawet ma to swoją nazwę" :) to dobrze, czasami warto zrobić to co wydaje się nierozsądne gdyż:

    "Człowiek rozsądny dos­to­sowu­je się do świata. Człowiek nierozsądny usiłuje dos­to­sować świat do siebie. Dla­tego wiel­ki postęp do­konu­je się dzięki ludziom nierozsądnym."
    George Bernard Shaw

    ;)
  • #13
    GrandMasterT
    Level 25  
    Dyski w zależności od zastosowań jednak mocno się różnią fizycznie budową, już nawet w miarę zwykłe ale przewidziane do użytku np. w NASach są solidniejsze, pojawia się inne łożyskowanie talerzy/silnika, inna konstrukcja ramienia z głowicami, jakieś wzmocnienia itp. W lepszych dyskach to nawet widziałem jakiś wspornik który chyba służył do mocowania silnika od drugiej strony, w zwykłym to się takich rzeczy nie uświadczy.

    Nie zgadzam się natomiast z teorią, że zwykłe dyski, przynajmniej te solidniejsze, a nie najtańsze badziewie, nie nadają się do pracy 24/7. Oczywista sprawa że pod zbyt dużym obciążeniem dość szybko polegną, ale sądzę że poza tym pracując ciągle mają się dobrze, o ile nie lepiej niż te które są często wyłączane. Hard Disk Sentinel ma ciekawą opcję, gdzie można SMART swojego dysku porównać do innych takich samych i moje wiekowe dinozaury wyglądają tam znacznie lepiej od średniej, mając przy tym po 4-5x więcej przepracowanego czasu. Niektóre przekroczyły już zakładany przez producenta czas pracy i dalej mają się dobrze, już dawno powinienem je powymieniać, ale tak w sumie trzymam dalej wiedziony m.in. ciekawością. Mam 2 blaszaki służące do cięższego kalibru obliczeń i praktycznie wyłączane są kilka razy w roku.
  • #14
    Anonymous
    Anonymous  
  • #15
    And!
    Admin of Design group  
    @GrandMasterT duża liczba start/stop może być bardziej destrukcyjna niż liczba przepracowanych godzin (oba parametry są w SMART), moje określenie 24/7 było dość nieprecyzyjne, bardziej chodziło mi o obciążenie ilością wymienianych danych.

    @Piotrus_999 dość mało konkretne wypowiedzi aby się do nich odnieść, ale tak już jest że wszystko jest względne. Nawet wspomniane "poważne" zastosowania zależą od tego co uznamy co poważne. SATA występują w niezłych rozwiązaniach, efektywnych kosztowo i nawet posiadających 2 kontrolery, gdyż w kieszeniach na dyski umieszczono kawałek elektroniki udostępniający dwa interfejsy jak w SAS. Także rozwiązań jest baardzo wiele, a każde ma określone zastosowania.
  • #16
    GrandMasterT
    Level 25  
    Piotrus_999 wrote:
    Widać że średnio wiesz o co chodzi. Dyski desktopowe nawet jak są właczone 24/7 to nie pracują 24/7. Wyłaczają się silniczki, redukują prędkość obrotową, głowice nie chodzą cały czas w lewo i w prawo.


    Chyba żartujesz w tym momencie. W opcjach zasilania wystarczy ustawić, że ma się nigdy nie wyłączać i w tym momencie będzie się kręcił 24/7/365. Większość dysków ma start/stop count gdzie dodatkowo każde zatrzymanie i uruchomienie silnika będzie zwiększało licznik, niektóre mają head flying hours określający z grubsza czas kiedy głowice nie były zaparkowane tylko wisiały gdzieś nad talerzami. Dysk który zwalniał obroty idlując miałem do tej pory tylko raz i był to dysk 2,5". Wiem że takie są ale kupując teraz nowy, raczej bym je omijał, chyba że nie byłoby wyboru.
    Zresztą dyski w moich kompach nigdy całkowicie nie idlują, jakby miały się tylko kręcić bezużytecznie to bym je wyjął, szkoda prądu.

    Poniżej masz przykład. 78k godzin, ~1300 cykli start/stop, na wykresie widać, że od 2016 roku w sumie wyłączony kilkadziesiąt razy. Większość start/stopów nabiło mu kiedyś przy awarii blaszaka, który próbując wystartować włączał się, stał chwilę, wyłączał i tak w kółko.

    Jakie dyski do RAID, różne czy takie same?
  • #17
    Anonymous
    Anonymous  
  • #18
    And!
    Admin of Design group  
    Nie koniecznie duże systemy, 5 dyskowy przykład z pierwszego postu raczej się do nich nie zalicza.

    Natomiast w dużych systemach koegzystencja SATA, SAS, SSD dobrze się wpisuje w mechanizm tiering. W laptopach SSD praktycznie wypiera HDD, zobaczymy czy i kiedy flash zdominuje DC. Każdy zapis na SSD to krok do uszkodzenia komórki. Tutaj zależność zużycia od ilości zapisanch danch jest wyraźnie widoczna.

    SMART i jego użyteczność oraz skuteczność lub bezskuteczność to kolejny temat w sprawie niezawodności storage.
  • #19
    GrandMasterT
    Level 25  
    Piotrus_999 wrote:
    GrandMasterT wrote:
    Chyba żartujesz w tym momencie.
    Widze że nie widzisz różnicy w pracy dysku w obciązonym serwerze a desktopem. Serwer non stop przewala dane, desktop wykonuje jakieś programy, które od czasu do czasu czegoś chcą od dysku. Ta są całkowicie nieporównywalne rzeczy.


    Czyli według Ciebie, każdy desktop to zabawka ? :D Dziwne, wydawało mi się, że są też komputery nie będące serwerami, a jednak służące do poważnej pracy i obciążone bardziej niż niejeden serwer.

    And! wrote:

    SMART i jego użyteczność oraz skuteczność lub bezskuteczność to kolejny temat w sprawie niezawodności storage.


    Według mnie SMART jest bardzo skuteczny w dyskach gdzie producenci się o to postarali. Niestety w części dysków połowa parametrów to jakiś ponury żart, gdzie parametry zjadą do wartości uruchamiających alarmy dopiero w momencie, kiedy dysk dawno już się będzie nadawał na złom, bo progi ustawione są bardzo nisko.
    Może trochę wcześniej da się coś zauważyć zaglądając raz na jakiś czas w SMART ręcznie. Najlepiej chyba jednak używać czegoś co zbiera historyczne wartości parametrów, wtedy zazwyczaj widać kiedy coś zaczyna się nagle zmieniać i wiadomo że raczej w takim przypadku nie będą to zmiany pozytywne. Dla niektórych modeli dysków nawet da się zauważyć charakterystyczne zachowania sygnalizujące zbliżającą się awarię lub postępującą degradację dysku, osobiście używam do tego celu Hard Disk Sentinela na kilku komputerach gdzie mam licencję i smartmontools na reszcie. W obu przypadkach da się zrobić powiadomienia ostrzegające gdy coś zaczyna się dziać.
  • #20
    Anonymous
    Anonymous  
  • #21
    And!
    Admin of Design group  
    Jako ciekawostkę podam, że parę lat temu dysk o określonym P/N HP do serwera NL HP raz był dostarczany jako hdd 3.5' Seagate z serii constelation a raz WD storage works z naklejką HP. Wynikało to pewnie z łańcucha dostaw i tego że dla kontrolera nie miało to znaczenia, raczej chodziło wyłącznie o koszty i dostępność, natomiast niezawodność nie była tu brana pod uwagę.
  • #24
    Anonymous
    Anonymous  
  • #25
    And!
    Admin of Design group  
    @Piotrus_999 warto abyś zauważył, że w tym temacie każdy ma rację gdyż to luźna dyskusja wymiana pomysłów i spostrzeżeń, także ciężko wyjść na swoje :) dodatkowo skąd takie przekonanie o samym marketingu? ze swoich doświadczeń czy z tego tematu, jeśli tak to z którego postu?
    Jak już wspominałem w poście #12 dostępne są HDD do różnych zastosowań i zarówno ich cena jak i właściwości są różne, chyba nikogo to nie dziwi.

    Temat generalnie nie dotyczy desktopów, a wymieniony w pierwszym poście RAID6 na 5 HDD w rozwiązaniu desktopowym to będzie raczej marginalne rozwiązanie.

    Ciekawe jak potoczą się dalsze losy HDD, z jednej strony cena za GB w 12TB HDD będzie pewnie niższa niż w SSD, ale SSD nadrobi wydajnością, zużyciem energii i produkcją ciepła. Pojawiają się także zapowiedzi co może pojawić się w przyszłości np. 50TB SSD: http://www.vikingtechnology.com/products/storage-overview/uhc-silo-35ssd/

    Wygląda na to że o przetrwaniu HDD może zadecydować wyłącznie cena?

    W wyciąganym w tym temacie segmencie desktopów pojawiały się też rozwiązania hybrydowe HDD+SSD czyli SHDD, ale chyba są już na wymarciu?
  • #26
    Anonymous
    Anonymous  
  • #27
    komatssu
    Level 29  
    Wszyscy użytkownicy martwią się ograniczoną ilością zapisów na dyskach SSD, ale w przypadku HDD producenci też podają tzw. współczynnik obciążenia, który oznacza ilość danych przesyłanych przez użytkownika z dysku twardego lub na dysk twardy. Przykładowo dla popularnych dysków WD RED ten parametr wynosi 180 TB/rok, niezależnie od pojemności dysku.
  • #28
    Anonymous
    Anonymous  
  • #29
    pawelr98
    Level 39  
    W przypadku backblaze jest problem w postaci warunków pracy dysków.

    Dyski standardowe używane w warunkach serwerowych czyli większe temperatury,drgania częstsza praca.
    Jeżeli ktoś ma mniejszy serwer domowy gdzie dyski mają dużo lżej to może się okazać iż żywotność będzie dużo lepsza.

    Jeżeli dysk standardowy wytrzymuje warunki serwerowe to świadczy to o nim dobrze. Kwestia różnicy cenowej w porównaniu z konkurencją. Jeżeli jest nieduża to kupować, jeśli jednak jest spora to bym rozważał.

    Zauważyć można też wpływ parkowania głowic na żywotność. Dlatego jeżeli chcemy mieć dobrą żywotność to należałoby nie dopuszczać do wyłączania dysków.

    U mnie 6x2TB od Seagate w RAID6(HP P400 256MB z baterią) . UPS oraz dodatkowe transile(zarówno 12V jak i 5V) wlutowane na liniach zasilających dyski twarde. Pracuje 24/7 przy sporadycznym i niedużym obciążeniu (transfer ograniczony przepustowością sieci 1Gbit/s) od dłuższego czasu bez zarzutu.

    Najlepsze jest to że dyski siedzą sobie zamontowane za pomocą kątowników z marketu budowlanego :D . Znaczna oszczędność na obudowie.
  • #30
    Anonymous
    Anonymous  
Reply | New topic