Witam, sytuacja wygląda następująco, 19 HDD x 500GB, jest możliwość rozbudowy o kolejne, dostępne mam 2 kontrolery RAID sprzętowe. Komputer ma 2x 2 rdzenie 3.0 GHz Intel XEON i 16 GB RAM a na wyjściu 10 GBit ethernet system to Nas4free.
Aktualnie używam raid 10 w konfiguracji 9 x 2 dyski, 1 hdd jako hotspare, 64 GB SSD MLC jako cache do odczytu oraz 20 GB SSD intel SLC jako ZIL log.
zastanawiam się nad zmianą konfiguracji, dla uzyskania optimum miejsca/bezpieczeństwa/wydajności.
Aktualnie przy dyskach 500GB (desktopowe - w planach ich powolna wymiana na serverowe/większe?) uzyskuję ~4,08TB miejsca (czyli jak to w RAID10 - 50%).
Niby w RAID10 może paść po 1 dysku w każdym z mirrorów, więc przy optymalnych wiatrach 9 hdd.
Dlaczego zastanawiam się nad RaidZ1/2/3, otóż chodzi mi o inne rozplanowanie potencjalnie wadliwych HDD, gdyż wystarczy żeby pechowe 2 hdd zostały uszkodzone w RAID10 i cały RAID jest offline. w przypadku RaidZ2/3 już ten problem znika.
Tak jestem świadom że w przypadku uszkodzenia spada wydajność
Tak jestem świadom potencjalnego ryzyka utraty dysku już w przypadku odbudowy macierzy po wymianie dysku.
Czego nie wiem to tzw testy w praktyce czyli,
Jak długo odbudowuje się taka macierz np z 6 dysków 500GB (powiedzmy 50% zajęte) po wymianie dysku.
Jakie są realne dane dotyczące prędkości zapisu/odczytu bądź też jak wychodzi w praktyce IO dla całej macierzy.
Zastanawiam się nad przejściem z
RAID 10 9x 2 HDD (50% miejsca dostępne, u mnie 4TB) + 1 HotSpare
(potencjalnie do 9 hdd może być offline - idealny surrealistyczny przypadek by macierz cały czas funkcjonowała w takim samym stresie z proporcjonalną utratą prędkości)
na
3xRaidZ2 (z 6 dysków, 66% miejsca dostępne, u mnie będzie 6TB) + 1 HotSpare
(potencjalnie do 6HDD może być offline aby macierz dalej funkcjonowała ale działała wolniej i w znacznie wiekszym stresie).
Raczej zakładam wymianę dysków na większe i lepszej klasy, więc nawet jak jakiś się "wyłączy" zostanie potencjalnie zastąpiony albo dyskiem typu SAS, albo RAID (WD RED) albo co najmniej większym (np z 500GB > 1TB/2TB).
Jako ciekawostkę, konfiguracja wykorzystywana jest wyłącznie w domu do celów prywatnych.
Jak wygląda wasza opinia, może jeszcze inny pomysł.
Z góry dzięki za uwagi i pomoc.
ak długo odbudowuje się taka macierz np z 6 dysków 500GB (powiedzmy 50% zajęte) po wymianie dysku.
Nie napisałeś jakie dyski, jakie kontrolery i w jakim układzie. "Z pod dużego palca" uwzględniając wiekowość sprzętu od 6 do 40 godzin.
DarekMich wrote:
Jakie są realne dane dotyczące prędkości zapisu/odczytu bądź też jak wychodzi w praktyce IO dla całej macierzy.
Zależy od stopnia optymalizacji macierzy i do czego jest używana. Wstępnie dla 6 HDD przyjmij 700 IO/s przy nie sekwencyjnym odczycie. Użycie kontrolerów z cache zmieni to, ale zależy od kontrolerów. Oczywiście zależy tez od dysku, jego cache, ilosci talerzy i prędkości obrotowej.
DarekMich wrote:
Jak wygląda wasza opinia, może jeszcze inny pomysł.
Mówi sie, że obraz mówi więcej niż tysiąc słow, a więc:
SSD zastanawiałem sie dużo wczesniej, w cenie 1 dysku SSD 500 GB mam 10 nowych dysków 500GB HDD, póki co idę w tę stronę.
Wciąż posiadam możliwość rozbudowy (dołożenia na kolejny kanał) kolejnego Dell Powervault MD1000 na kolejne 15 HDD, i na każdym kanale mogę mieć do 3 x MD1000.
Odnośnie użytkowania:
- trzymanie danych prywatnych (zdjęcia / filmy rodzinne ~100Gb na chwile obecną)
- multimedia (filmy/muzyka) zmapowany dysk do dekodera DVBS (dostęp do ponad 30 dostawców z dwóch satelit - często coś nagrywam, a materiały HD zajmują średnio 3-4GB / h materiału - tu bez problemu nagrywam, oglądam jednocześnie i jeszcze córka gra na stacjonarnym - całość wyrabia i ma spory zapas).
- gry (od czasu do czasu w końcu trzeba )
- maszyny wirtualne (aktualnie tylko kilka sztuk - host WWW/email (debian), serwer gry minecraft(debian), Windows XP/7/8/9/10 - testowanie oprogramowania, większa prywatność w poruszaniu się po internecie, jako że na żądanie proxy poprzez TOR - debian)
Dostęp do danych mam z każdego miejsca na świecie poprzez VPN (posiadam stałe IP / kilka domen z 200 Mbit download / 20 Mbit upload)
Przydwało sie znacznie jak chciałm korzystać chociażby z Netflix (moja córka uwielbia) kiedy byłem w odwiedzinach w PL, teraz podobono już jest dostępne.
i wiele wiele innych, ogólnie prywatny domowy użytek (choć zdaję sobię sprawę, że trochę wykracza to poza znamiona domowego użytku, ale na pewno nie jest to zastosowanie firmowe z przeznaczeniem dla odbiorcy/klienta.
Całość podtrzymywane jest poprzez UPS 1500VA - około 20-30 minut pracy wystarczające w przypadku kiedy wyskoczy okazjonalnie różnicówka z jakiegoś powodu(raz padłą pralka np, a to stłuczona żarówka itp), przerwy prądu nie zdażają się (1 raz na 6h nie było w przeciągu 3 lat ).
Pobór prądu całości (więcej maszyn niż tylko te wspomniane) yo okolice 900W, z czego opłąty prądu mam zryczałtowane - w kosztach wynajmu domu. Właśćicielowi to nie przeszkadza - działam już tak dobre 3 lata.
trochę o wydajnosci (wirtualna maszyna, zapisana na nas po 10 Gbit - Udział Samba):
SSD zastanawiałem sie dużo wczesniej, w cenie 1 dysku SSD 500 GB mam 10 nowych dysków 500GB HDD, póki co idę w tę stronę.
A jak brzmi pytanie?
Słuchaj, ja też lubię takie zabawy i w żaden sposób tego nie potępiam Więc jak chcesz sie pochwalić, to owszem fajne! Mało tego, poprosił bym nawet o zdjęcia.
Trzymasz w klimatyzowanym pomieszczeniu?
Czyli RAID obsługujesz tylko poprzez software? Jak zapewniasz sobie backupy?
Ja wole składować prywatne dane na dyskach po 2 TB - i nie wybieram najwydajniejszych dysków, wolę cichsze.
Tam gdzie potrzebuję wydajności używam SSD. Fizyczny dysk z kręcącymi się talerzami dla odczytu losowego to będzie ponad 120 IO/s. Podkreślam: uogólniam i dla rw losowego. Dla dysku SSD ten parametr będzie lepszy niż 50000 IO/s, nie wspominając o bardziej wydajnych modelach na PCI.
Temat: Mirror Raidz2/3 vs Raid 10 wydajność/miejsce/bezpieczeństwo zapytanie
...
...
Zastanawiam się nad przejściem z
RAID 10 9x 2 ...
na
3xRaidZ2 (z 6 dysków...
...
Jak wygląda wasza opinia, może jeszcze inny pomysł.
Odnośnie przechwalania, sam prosiłeś o więcej szczegółów:
Quote:
Nie napisałeś jakie dyski, jakie kontrolery i w jakim układzie...
...
Zależy od stopnia optymalizacji macierzy i do czego jest używana.
Celowo nie napisałem więcej szczegółów w pierwszym poście, żebym nie został błednie odebrany. Celem nie jst "oj co to ja nie mam..." jedynie w najbliższym czasie ilość miejsca jakie będę zajmował na dyskach drastycznie wzrośnie, a zmiany jakie planuję zrobić będą miały duży wpływ na całosć.
Nie hce mówić za dużo już odnośnie backup- u gdyż znowu zostanę odebrany jako, że się przechwalam.
Pierwszy "NAS" jaki kupiłem (chwilowo w stanie spoczynku to HP ProLiant N36L z 8gb RAM, z dodatkowym kontrolerem SATA, więc mam tam możliwość włożenia 4 x 3.5" i 4X2.5" i jeszcze wciąż 1 wewnętrzne gniazdo SATA podłączone oryginalnie do napędu CD/DVD) Próbowałem kiedyś motyw z rsync i byłem bardzo zadowolony, gdzie 1 katalog w raid był synchronizowany (jedynie nowe/zmienione pliki) ze zdalnym komputerem w obie strony. Rozwiązanie świetne, jednak potem system uległ rozbudowie i chwilowo backup jest trzymany na komputerze stacjonarnym (tutaj kolejny raid sprzętowy 8x 320 GB z SSD 120 jako cache i 48GB ram).
Zdjęcia jedynie na życzenie, na prawde nie chcę zejść na bok z zapytaniem
Ja sam wychodzę własnie do pracy, zdjęcia mogę wstawić, ale też wieczorem (okolice 23:30 PL czasu dopiero wracam) wychodzę za 10-15 minut
Ogólnie całość trzymana jest w piwnicy, jest ona wysuszona, i bez wilgoci (sucho jak pieprz), po temperaturze dysków widać, ze się raczej nie przegrzewają. Całośc oczywiście rozbudowywana w ciągu ostatnich 3 lat.
Koszt - hmm... po prostu duży, niestety ponad 80% częsci jedynie z USA (opłaty celne i wysyłka to tragedia). Ale i tak nie należą do najdroższych i wciąż są dostępne - co jest ważne.
Ogólnie stacjonarny chciałem "mocniejszy" planuęję pobawić się w drukowanie 3D, reauthoring filmów (córka chce kanał na YT) - zawsze pretekst Gry nie były moim celem, choć nie narzekam na brak płynności.
Nie jestem profesjonalistą, wiedza zdobyta w praktyce metodą prób i błędów i duuuuuużo czytania w internecia wielu grup dyskusyjnych/FAQ itp itd.
Cel, chyba dawno przekroczony, teraz jedynie myśłe nad wyciśnięciem wszyskich możliwych soków z tego co jest a przy okazji daje to duużo satysfakcji.
Dokłądniejszy opis części i kilka zdjęć dodam wieczorem.
Niestey ze względu na to jak są obecnie urządzenia zainstalowane nie jestem w stanie zrobić zdjęć środków.
Z opisu Twoich i Twojej rodziny działań na macierzy wychodzi, że masz więcej odczytów, niż zapisów. I jest to ważny wniosek do dalszych rozważań. Przy duzej ilości zapisów dotychczasowy układ jest wydajniejszy (dla zapisu). Nowy układ, proponowany przez Ciebie będzie bardziej uzasadniony dla Twoich zastosowań. Odczyt utrzymasz na podobnym poziomie, spowolni zapis.
Użył bym RAID6 i co najwyżej zwiększył bym ilość dysków hot spare do dwóch. Z tym, że zwiększenie ilości dysków hot spare zależy od tego jaką masz kontrolę nad uszkodzeniami macierzy. Jak masz doby monitoring tego co się dzieje z dyskami - może powiadomienie SMS - to może zostać jeden dysk.
Nie wykonywał bym też trzech oddzielnych zestawów dysków. ZFS powstał do tego, by na tym poziomie już tego nie robić. Podział może być słuszny, gdy masz jakiś specjalny cel. Przykładowo: jeden zestaw dysków zamęczany jest nieprzewidywalnym ruchem z http, a drugi musi działać na potrzeby wystawiania paragonów i faktur - tak ogólnie i obrazowo.
Wykorzystujesz snapshots?
Ponieważ używasz tego do celów "domowych" to nie rozważał bym czasu odtworzenia macierzy jako krytycznego elementu. Bardziej bym się skupił nad ilością dostępnego miejsca. Zresztą podczas odtwarzania jednego z dysków dane nadal są dostępne, tylko działa to trochę wolniej.
Jakie konkretnie procesory masz w NAS?
Wszystkie dyski wrzucił bym w jeden zestaw z poziomem RAID6 i dwoma dyskami hot spare. Dopracował bym monitoring i powiadamianie, tego co sie dzieje z macierzą:
- SMS - > np.: daemon gnokki)
- CACTI i email
Reszta to kopie zapasowe, ale o tym dopiero napiszesz.
Wynosisz kopie zapasowe poza budynek? Może kopiujesz w chmurę?
PS: Czujka dymu w piwnicy jest? Może czujka zalania?
Tak sobie na szybko policzyłem, zakładając około 120 IO/ dysk w macierzy, przy Raid 10 i 9 mirrorach zapis będzie 9x 120 IO, natomiast odczyt 18x120 IO, w przypadku RaidZ2 składającego się z 6 dysków i tak 3 połączonych w raid 0 otrzymamy ~700 IO / vdev *3
Podsumowanie:
RAID 10:
Zapis: 9 X 100-120 = 900-1080
Odczyt 18 x 100-120 = 1800-2160
max do 9 hdd offline (po 1 każdym mirror)
50% miejsca dotępnego
Ryzyko uszkodzenia innego dysku podczas odbudowy macierzy - niewielkie
3xRaidZ2(6 HDD):
Zapis: 3 x 600-720 = 1800-2160
Odczyt 3 x 600 - 720 = 1800 - 2160
max do 6 hdd offline (po 2 w każdym mirrorze)
66% miejsca dostępnego
Ryzyko uszkodzenia kolejnego dysku w trakcie odbudowy - umiarkowane (choć wciąż całość pracuje).
6 x RaidZ1/raid5(3 x hdd):
Zapis/Odczyt ~RaidZ2
Max do 6 hdd offline (po 1 w każdym mirrorze)
66% miejsca dostępnego
Ryzyko uszkodzenia kolejnego dysku przy odbudowie - umiarkowane
2 x RaidZ3 (9 x hdd):
Zapis / odczyt ~ RaidZ2
66% miejsca dostępnego
Ryzyko uszkodzenia kolejnego dysku przy odbudowie - umiarkowane (poziom stresu wzrasta wraz z każdym uszkodzonym dyskiem razem z ryzykiem uszkodzenia kolejnego)
Logicznie myśląc wyciągam następujące wnioski:
Niezależnie od rozwiązania, nic nie uchroni macierzy przed tym żeby "padła" i nie ma też macierzy na to odpornej.
Wydaje mi się, ze dobrze by było pójść w stronę np coś a'la Raid50, albo RaidZ10
(o ile mog sobie tak pozwolić powiedzieć), ale żeby osiągnąć satysfakcjonującą liczbę miejsca przestrzeni dyskowej, trzeba na prawdę sporo dysków użyć
Niezależnie od rozwiązania, kolejna prosta macież RAID 10 np 4x 500TB (2TB) jako mirror całości lub najbardziej wrażliwych danych pracująca niezależnie to najleprze rozwiązanie.
Mysłąlem nad Sprzętowym vs Programowym Raid i tutaj nie da isę jassno odpowiedzieć co jest leprze co gorsze, Póki co zostanę przy programowym - większa swoboda / elastyczność.
Zastanawiam się nad RaidZ2 - wydaje się względne optimum trochę więcej miejsca, nawet jak 2 dyski będą offline w jednym vdev całość dalej działa w razie nie zrobienia kopii jest to właśnie ostatni dzwonek na to żeby to zrobić.
Obiecane zdjęcie:
Idąc od góry :
1:
48 portowy switch zarządzalny 1Gbit layer 2
NetGear ProSafe GS748TS
(ma z tyłu wyjście HDMI do kaskadowego łączenia maks 10 switchy o przepustowości 20 Mbitów/s)
2:[NAS]
Dell poweredge 2850 (planowana wymiana na 2950),
2 x dualcore 3.0 GHz Intel Xeon (nie pamiętam modelu)
Komputer uległ przerobieiu i z dysków SCSI obsługuje teraz SATA w kieszeniach
(kątowe złącza SATA i klej na gorąco+klej budowlany) - jedynie diody jeszcze nie podłaczone.
Zainstalowane 16GB ram / 16 GB max
Hynix 16Gb (4x4Gb) HYMP151F72CP4N3-Y5 AC ECC PC2-5300F
Intel E27466 Dual Port 10GbE LAN PCI-e X8
Dell 10Gbase SFP+ DAC Twinax Cable 5M
LSI Logic SAS3801E Dual SFF-8088 SAS/SATA PCIe Storage Controller Card Host Bus do łączenia się z zewnętrzną macierzą
Wewnętrzny raid:AOC-SAT2-MV8 do obsługi 6x HDD 3.5" i 2 wewnętrzne SSD
2x PSU
zmieniony moduł z PCIX na PCIE: Dell PowerEdge 2850 PCI-E Riser Board X8157 0X8157 3 x PCIe 8x
Nas4free na USB 4GB
3:[macierz dyskowa]
MD1000
15 x SAS/SATA 3.5"
zajęte przez 13 dysków
2x PSU
2x Kontroler RAID + 2 x przewody Molex 1m Mini SAS 26P SFF 8088 to SAS （4X） SFF-8470
każy kontorlel w macierzy umożliwa podłączenie maks do 3 kolejnych macierzy MD1000, więc teoretycznie na 1 karcie RAID można mieć do 6x MD1000 (każda po 15 HDD)
4: [Router]
Dell powervault 1850
2 x dualcore xeon 3.2GHz
Zainstalowane 16GB ram / 16 GB max
Qimonda RAM 4x 4GB PC2-3200R ECC
Tutaj pamięć ustawiona jako redundantna (tylko 8GB dostępne, pozostała ilość w zapasie "HOTSPARE").
Komputer bez napędu choć także z kontrolerem wewnątrz z dolutowanym 1 złączem zasilania dla dysku SATA
3ware 8006-2LP PCI-X 64-bit SATA 2-Port Sata Raid Controller.
2x PSU
System PFsense z pendrive - u mnie jako router
5: [ Wirtualizacja ]
HP ProLiant DL360 G5
2x quad core xeon E5430 2.66 GHz
32 GB ram - niestety nie mogę znaleźć modelu w historii zakupu Intel E27466 Dual Port 10GbE LAN PCI-e X8
wewnątrz jedynie 60GB SSD na sam Ubuntu Server zainstalowany jedynie Virtualbox + phpVirtualBox (ostatni rok pracowałem na Vsphere od VMware, ale trochę dłużej potrafiło zejść z jego konfiguracją).
6:
UPS Pulsar Evolution 1500VA
Oto mój pierwszy (pierwotnie używany jako NAS potem backup po zakupie Dell 2850, nastepnie na emeryturze po zakupie MD1000:
HP ProLiant MicroServer Athlon II Neo X2 N36L 1.3GHz 8GB ram
dołożony został kontroler SATA 4x 3.0Gbit oraz 4x2.5" w miejsce napędu.
Aktualnie troche się na nim osadów nazbierało
Ogólnie komputery wymagają czyszczenia co średnio 3-4 mc-e
Zastanawiałem się nad zastosowaniem szczelnych drzwiczek i żeby było możliwość zaislić to np tunelem z wtłaczanym powietrzem np z wiatraków (15k obrotów) o wydajności ponad 120CBM (np 4 sztuki) i żeby powietrze było zasysane poprzez filtry HEPA (np takie spotykane w filtrach kabinowych w samochodach).
Ciekawy pomysł jeszcze mam małą zamrażarkę, i można by wykorzystać jakąś chłodnicę na froncie komputerów - ale póki co nie widzę takiej potrzeby.
Jest jeszcze 16 portowy switch gigabitowy:
Netgear ProSafe 16 Port GS116
Do niego podłączonych jest kilka access pointów, drukarka sieciowa oraz komputer stacjonarny (w planach kolejny przewód 10 GBit do NAS).
i oprócz tego stacjonanry komputer:
Dell powerEdge 2900:
2 x Xeon 5470 quad core 3.33GHz
48GB ram
8 x 320 GB Raid10 na sprzętowym kontrolerze
1 x 120 GB SSD jako cache do macierzy
8gb ram jako cache do zapis odczyt do macierzy z opóźnieniem zapisu 3 minut
Geforce GTX 960
2x PSU (każdy 1950W)
Wymieniłem w nim jedynie wiatraki na cichsze o przepustowości 60CBM oraz dorobiłem gniazdo zasilania do karty graficznej i musiałem niestety naciąć gniazdo PCIE, gdyż grafika wymagała gniazda 16x, a komputer ma 8 gniazd 8x
Jest też druga grafika Radeon x1250 128MB.
Problem z tym, że komputer nie uruchamia się na GTX, wymaga starszej karty w Standarcie PCIe 1.0 po uruchomieniu Windows przełącza się na stałe na "więkrzą grafikę" na której już jest podłączone wyjście na monitor
Ogólnie zamierzam się pozbyć Starych Delli 1850/2850 i prawdopodobnie aktualna stacjonarka wyląduje jako dedyk do wirtualizacji, HP DL360 posłuży jako NAS i dokupiony zostanie kolejny MD1000 żeby mieć gdzie wrzucić dyski ze starego 2850 i zrobić miejse na rozbudowe.
Chyba tyle.
Jaki sprzęt u ciebie siedzi?
Dodano po 22 [minuty]:
Niestty wszytsko w wolnym czasie, macierzy doglądam średnio co 2/3 dni Jak sam potwierdziłeś nie pracuje zbyt obciążona.
Miąłem wczesniej robioną kopie w chmurze. poprostu był to dedyk z 3 x 120GB SSD, ale wtopiłem bo wyjechałem na wakacje, ominęła mnie płatnośc zapominałęm i straciłem, trochę używałem też tego małego HP, ale dysku wylądowały w końcu w dużej macierzy.
Ogólnie backup był robiony tylko na 1 katalogu głownym w macierzy w dwie strony - po prostu nie dało się nic z niej usunąć, kopia porównywana było co 3h w cron:
Code: bash
Log in, to see the code
Jak zobaczysz moje tematy na elektrodzie to zauważysz że generalnie całośc dążyw kierunku dobrego monitoringu.
W UK posiadanie czujników dymu/CO2 to bezwzględny obowiązek. Państwo może odebrać Ci nawettymczasowo prawa rodzicielskie jak tego nie posiadasz w domu a masz małe dzieci (a ja posiadam aż 2-kę).
Z opomiarowań wynika, ze całość pobiera w przedziale 900-1000W przez cay czas (głównie za sprawą prądożernych Delli 1850/2850) z tąd pomysł na zmianę.
Dodano po 5 [minuty]:
Quote:
Nie wykonywał bym też trzech oddzielnych zestawów dysków. ZFS powstał do tego, by na tym poziomie już tego nie robić. Podział może być słuszny, gdy masz jakiś specjalny cel. Przykładowo: jeden zestaw dysków zamęczany jest nieprzewidywalnym ruchem z http, a drugi musi działać na potrzeby wystawiania paragonów i faktur - tak ogólnie i obrazowo.
Wykorzystujesz snapshots?
Nie nie korzystam ze snapshots, po prostu jeszcze tej części ZFS nie dotknąłem.
Dużo się mówi/pisze żeby w macierzach ZFS nie przesadzać z ilościami dysków np 20 HDD w Raid6/RaidZ2 lepiej dać mniej i w RAID 0 ze względu na potencjalne ryzyko stresu w trakcie odbudowy.
Nie znam realiów, a dopóki wszytsko działa kazdy się cieszy, chcę zapobiec potencjalnej tragedii a nadmiar dysków kosztem miejsca uzasadniony wydaje się zwykle "po fakcie" - a tego chcę uniknąć.[/quote]
Dużo danych. Przeczytam dokładnie jutro, przemyślę i odpowiem, ale też pod wieczór/wieczorem. Na dzisiaj już kończę, jutro muszę rano wstać.
U mnie zdecydowanie skromniej. Kiedyś miałem sporo sprzętu, teraz już nie. Dziecko Zresztą już nie mam takich potrzeb. Zajmuje sie tym zawodowo, wiec w pracy mam łącza i sprzęt z najwyższej półki.
Nawet łącza w domu łącza mam super skromne jak na dzisiejsze czasy: dwa x kabelek po... hmmm... muszę sprawdzić. Łącza konsumenckie, oczywiście bez BGP No proszę myślałem, że mam po około 10/2, a tu niespodzianka mam 15/3 i 18/3 - wiec jak widzisz dużo skromniej. Nie potrzebuje więcej, ale potrzebuję niezawodną łączność, dlatego do tego jeszcze dwóch operatorów internetu przez LTE.
Sprzęt dzielę na ten użytkowy i ten do testów.
Użytkowy ma być cichy. NAS to 2 x SSD i 3 x HDD. Router to Intel Atom bez wentylatorów (łącznie z zasilaczem). Ponieważ obudowa mała to jest to "router on the stick". Cała reszta to siedem laptopów.
W domu nie mam potrzeby posiadania już np.: klastra czy dobrych grafik do liczenia. Jak potrzebuje coś "policzyć" to chmura. Cenne dane: również chmura. Wirtualizacja, testy: praca (z domu zdalnie).
Zrobię zdjęcia jutro to wstawię i bardziej opiszę.
Delle były jednymi z pierwszych jakie kupiłem za skromne 20 GBP niemalże od sztuki (~100PLN), bez dysków i z 2/4GB ram, dołożyłem potem kolejno a to kontroler, a to ram, a to kartę do zarządzania po LAN i tak ziarnko do ziarnka i jakoś wyszło. Sam nie posiadam też potrzeb na tyle dużych żeby aktualnie tutaj cokolwiek zutylizować. Znacząco na chwile obecną przekracza całość moje zapotrzebowanie, dlatego cały problem roplanowania macierzy (tutaj jednak jestem za mało doświadczony) Coś wiedzieć i zrobić zeby działało to jedno, a robić tak żeby osiągnąć co się chce to drugie. Ze sprzętem nie mam problemu podłączyć.
Szukam ciągle czegoś fajnego żeby router postawić na Atomie, ale u mnie faktycznie dużo się korzysta. Jak to w UK netflix podstawa na kilka ekranów w porywach do 20Mbitów na oglądającą osobę. YT meczony na max. Na to zdecydowanie najwięcej pasma idzie.
Wychodzącego strumienia tyle mi nie potrzeba.
Musze się przyznać ze zastanawiałem się na kolejnym łączem od innego dostawcy, aktualnie mam VirginMedia (coś a'la UPC/Vectra w PL) a jako Drugie łącze było by od BT (odpowiednik Neostrady) - maks jaki dają to 80/17.
Ogólnie 2 tablety, 5 telefonów 3 laptopy oprócz wymienionych powyżej sa jeszcze w użyciu w domu (nie wspominając o dekoterze DVBS - uproszczeniu NC+ oraz polsat w jednym ogólnie do nagrywania i oglądania w weekend filmów zz serwisów www - zainstalowana Enigma z wtyczką IPtv) i trzech dekoderach polastu multirum w całym domu, kazdy podłączony do internetu (ipla+HBOgo).
Dekoder DVBS to VU+ SOLO i pozwala po zainstalowaniu KODI na android lub PC na streamming TV z satelity na tablet lub PC, łąduje listę i po porstu oglądasz lub poprzez przeglądarkę.
Inna opcja to jeszcze kolega troszke się zaraził ode mnie tym wszytskim i tez cos zaczął skłądać do tego mieszka niedalego mnie (w lini prostej 20-25 metrów), myśleliśmy już obaj nad łączem radiowym między nami żeby sobie pasma udstepniać.
Idealnie jak napisałem dużo bym pozmieniał, ale też jestem w dosyć "bujnym" okresie życia, 2 córeczki (7.5 i 3.5) młodsza jutro pierwszy dzień w przedszkolu zaczyna, starsza w 2 klasie tez sporo uwagi wymaga (czytanie pisanie w 2 językach a w przyszłym roku pojawi się jej język obcy - jak by tego było mało - hiszpański/francuzki/niemiecki do wyboru) i wchodzi w ciekawy wiek (jak by z resztą każdy inny był mniej ciekawy ), a do tego praca dużo mi zajmuje - Pracuje w dużej firmie farmakoloogicznej (sprzedaż/przechowanie/dystrybucja), ogólnie praca w oparciu o bazy danych, dużó generowania niestandardowych raportów na życzenie(SQL/Excel), szukania błedów w wpracy ludzi, pracy wysyłek, kontakt z klientami/alokacje zamówień/reklamacje itp itd, na prawde poważne kontrakty i poza tym szykujemy się z żoną do zakupu domu więc, jakoś tak też powoli to idzie z tą zabawą. Do jutra w takim razie.
Przepraszam, że odpisuję z takim opóźnieniem. Po naszej konwersacji niespodziewanie wypadł bardzo gorący okres w pracy, a teraz od tygodnia nadrabiam zaległości.
Ciężko mi było odpisać na Twoje posty, ponieważ są bardzo treściwe i odpisanie wymaga odrobinę więcej czasu. W kilku zdaniach odpowiedzieć się nie uda:-)
Przy tej ilości dysków RAID5 nie będę rozpatrywać, nie warto, za duże ryzyko utraty danych.
Tak, przy RAID10 wydajnościowo zapis jest na "połowie" dysków, a odczyt ze wszystkich (jak kontroler lub software to wspiera).
Powstanie problem przy rozpatrywaniu zapisów dla innych wyższych poziomów RAID, więc pokrakujmy to jeszcze przez wydajność IO:
- Odczyt to jedna operacja IO - odczytanie jednego bloku danych (i od jednego do kilku sektorów na dysku).
- Zapis to dwie operacje IO - zapisanie tego samego bloku danych dwa razy (na dwóch dyskach).
(czyli przez operacje IO przyjmuję tu działanie na logicznym bloku danych wielkości przyjętej przy konfiguracji danego zestawu dysków)
RAID 6 (raidz2):
Ja bym nie dzielił dysków na trzy części - chyba, że zakładasz ich stopniową wymianę na dyski o np.: większej pojemności.
Spotkałem się z poglądem, że raidz2 w magiczny sposób przyspiesza, gdy dysków jest 6, lub gdy zmniejszymy ilość dysków - uzasadnienia jednak już nie widziałem. Jedynym uzasadnieniem może być potrzeba kolejkowania operacji zapisów (i obliczeń) w ramach danego paska - ale ten argument pada, gdy dyski są o jednakowej wydajności.
Rozpatrzmy więc raidz2 tak jak przyjąłeś dla 6 dysków.
W jednym raidz2 mamy cztery dyski z danymi, czyli odczyt to 4 x 120, lub jeden odczyt to jedna operacja IO. Zapis to:
- Rozpatrując poziom bloku danych to trzy odczyty i trzy zapisy, czyli 6 IO.
- By rozpatrzeć zapis należy teraz wyjść z prostego porównania ilości dysków i zacząć konkretnie liczyć to w jakiejś jednostce czasu. Patrząc wiec na zdanie powyżej można przyjąć, że zapis będzie więcej niż sześciokrotnie wolniejszy, niż odczyt.
RAID 5,6,7,50,60,itp nie powstały dla zwiększenia szybkości, tylko optymalizacji zużycia (przeznaczenia) zasobów.
Miejsce:
3 x raidz2 (po 6 HDD): dane: 3 x 4 HDD = 12 (parzystość: 3 x 2 HDD = 6)
2 x raidz2 (po 9 HDD): dane: 2 x 7 HDD = 14 (parzystość: 2 x 2 HDD = 4)
Zawsze przy wymianie dysków w macierzy warto zmówić zdrowaśkę i sprawdzić czy ostatni backup wykonał się poprawnie. Do tej pory nie odnotowałem większego ryzyka przy odbudowie RAID5 i 6. Do tej pory wszystkie błędy przy obsłudze RAID wynikały z pomylenia wymienianego dysku, lub innego błędu ludzkiego.
W pełni zgadzam się z Twoim zdaniem: "Niezależnie od rozwiązania, nic nie uchroni macierzy przed tym żeby "padła" i nie ma też macierzy na to odpornej."
Widziałem macierze klasy enterprise storage kosztujące dwa wagony pieniędzy i stojące tygodniami w oczekiwaniu na naprawę.
I kolejna rzecz, z którą zgadzam się w 100%, i która jak napisałeś wynika po prostu z logiki: "Niezależnie od rozwiązania, kolejna prosta macież RAID 10 np 4x 500TB (2TB) jako mirror całości lub najbardziej wrażliwych danych pracująca niezależnie to najleprze rozwiązanie". Poniżej opiszę co stosuję w domu i jest tam analogiczne rozwiązanie.
"Mysłąlem nad Sprzętowym vs Programowym Raid i tutaj nie da isę jassno odpowiedzieć co jest leprze co gorsze, Póki co zostanę przy programowym - większa swoboda / elastyczność. " Moje doświadczenie informatyczne i ogólne wskazuje, że rozwiązania sprzętowe są lepsze.
"Dużo się mówi/pisze żeby w macierzach ZFS nie przesadzać z ilościami dysków np 20 HDD w Raid6/RaidZ2 lepiej dać mniej i w RAID 0 ze względu na potencjalne ryzyko stresu w trakcie odbudowy. "
Nie warto wierzyć we wszytsko co w necie jest napisane. Buduję swoje doświadczenie informatyczne (i od początku z macierzami) od ponad 25 lat i za darmo wszystkiego nie opiszę, zapewne tak samo jak i inni. W necie najczęściej powtarza się tą samą rzecz, aż uzyska status prawdy.
Nie ma jednej odpowiedzi: zależy jaka (i ile) magistrali, jakie kontrolery, jakie procesory i pamieć (w kontrolerze sprzętowym lub w serwerze), jakie dyski, organizacja danych. Około 20 dysków w RAID0 widywałem tylko w macierzach przeznaczonych do edycji materiałów video (w TV). Układ taki miał uzasadnienie: miało to być pojemne (i w miarę szybkie), dane były na tasiemkach DV, więc można zawsze było je zgrać ponownie, a przygotowane dane o edycji (bardzo małe) były zapisywane już w bezpiecznym miejscu. Obecnie, gdy czas od dostarczenia materiałów do ich emisji jest krótki, już takiego rozwiązania sie nie stosuje (chyba, że ktoś działa jeszcze na starym sprzęcie). Obecnie po pierwsze ma działać.
Dodano po 30 [minuty]:
Zrobiłem zdjęcia rzeczy, które były dostępne. Reszta jest w komórce zakryta rzeczami z działki. Zaczyna się sezon, wiec rzeczy działkowe trafią na działkę, i odblokują mi resztę sprzętu. Postanowiłem jednak, że nie będę dłużej trzymać tych rzeczy.
Poniżej widoczne są moje zabawki służące tylko do celów testowych. Zdarzało sie, że zestawiałem macierze na potrzeby jakiś obliczeń w domu, ale teraz jak potrzebuję miejsca to z dużymi dyskami nie ma problemu, a jak szybkości to SSD. To jest sprzęt w domu - w firmach nie trzeba martwić się o miejsce, czy hałas.
Testowałem głównie różne konfiguracje systemów operacyjnych, sterowników, routing'u danych - wszystko w celu znalezienia optymalnych układów zapewniających spójne dane dla wielu serwerów z wielu układów macierzy. Również takiej konfiguracji, by na switchu FC zarządzać dostępnością (czyli bezpieczeństwo). Oczywiście wszystko w układach redundantnych.
Jak zrobiłem zdjęcia to zauważyłem, że miałem ustawioną bardzo mały rozmiar w aparacie - ale ponieważ najcięższe graty ważą prawie po 50 kg, to już darowałem sobie ponowną sesję zdjęciową.
Dodano po 2 [godziny] 12 [minuty]:
Mój sprzęt używany na potrzeby domu - przy Twoim to jak zabawki Jakiś czas temu przeszedłem z komputerów stacjonarnych na laptopy. Ciche, mniej miejsca zajmują. W tym, z którego piszę, mam dwa dyski SSD w RAID0 - więc na wydajność nie narzekam. Reszta też tylko z dyskami SSD.
Mój NAS, to system FreeBSD i kiedyś płyta z Atome'm (bez wentylatora - było cicho), teraz jakiś odpad z trzy rdzeniowym AMD. Zamieniłem na szybko, jak okazało się, że Atom nie wyrabia. Tymczasowa płyta i procesor pracuje już chyba drugi rok...
Dane przechowuję na dwóch dyskach SATA . Do tego nie są to najszybsze dyski, ponieważ miały być ciche i mało prądu zużywać. Więc są eco, green, czy jak je tam zwał... Każdy z dysków ma po około 2 TB, ale są rożnych firm. Minimalizuję ryzyko awarii wynikającej z błędu producenta dysku. Na tych dyskach trzymam tylko dane.
W NAS są jeszcze 2 x 64 GB SSD i jakiś HDD na dane tymczasowe, testowe - nic co trzeba zabezpieczyć. Te trzy trzy dyski są nieszyfrowane.
Dyski pracują niezależnie (nie są w RAID). Na jednym mam ZFS (główny od danych), a na drugim UFS. Dwa systemy również dla bezpieczeństwa (szczególnie ZFS jest ciągle rozwijany).
Drugi montuję tylko na czas synchronizacji danych. Gdy coś wgram, jakieś nowe dane, to montuję UFS i zapuszczam synchronizację. Jeżeli coś kasuję przez przypadek, to mam natychmiast dostępny zapas na drugim dysku. Trochę więcej pracy (minimalne), ale duże bezpieczeństwo danych i natychmiastowa dostępność do kopii zapasowej. Nawet konfiguracje od NFS mam zdublowaną do udostępniania tych tych dwóch dysków. Nie robię synchronizacji automatycznie, by przypadkiem nie rozpoczęła się wtedy, gdy np. coś przypadkiem skasuję.
Dzieciak (i ja) to głównie YT. Łącz do netu mam kilka. Dwa kablowe, z dwóch różnych kablówek (każda z łączami do PLIX, Thinx). Jak powyżej wspomniałem, prędkość tych łącz jest mierna, ale dla nas wystarczajaca. Nic nie ściągam, tylko zdalna praca i YT. W żaden sposób nie agreguje lub rozdzielam tego ruchu, zarządzam routingiem ręcznie. Niezawodność łącz jest taka, że nie mam potrzeby by zastanawiać sie nad tym, czy poświęcać na to czas. Skonfigurowałem tylko dostęp do zdalnych włączników napięcia i NAS ze świata (oczywiście niestandardowe porty, knocking + IPSEC + SSH).
Do tego jeszcze internet od dwóch różnych operatorów komórkowych. Nie potrzebuję szybkości tylko jak największą niezawodność.
Dyski z danymi w NAS szyfruję 256 bit. I teraz nadchodzi czas zmian. Procesor chcę wymienić na coś nowego z 6-rdzeniami Intela. Lepiej poradzi sobie z szyfrowaniem i bedzie wspomagał kodowanie moich filmów (montaż na jednym kompie, a kodowanie na NAS - dane i tak są na NAS). Również dyski po 2 TB zaczynają być za małe. Czyli i je zamienię na większe. Potrzebuję na to czas: system buduję pod konkretny procesor, a przegranie danych też chwilę zajmie, nie wspominając o losowym wypełnieniu np. 4 GB dysków przed zainstalowaniem na nich systemu plików.
Backupy ważnych danych, jak zdjęcia wykonuję na szyfrowanych dyskach BR.
Przygotowanie jednak tego i czas nagrania.... masakra. Robię to zapewne z raz na dwa lata. Te dyski wywożę do innej lokalizacji. Zakładam też trwałość płyt BR na poziomie poniżej 10 lat, dlatego za każdym razem nagrywam wszystko, a stare płyty niszczę.
Bardziej na bieżąco, czyli pewnie nie rzadziej niż raz na miesiąc robię synchronizację na szyfrowany dysk przenośny, też 2 TB. Ten też przewożę z innej lokalizacji. W razie pożaru stracę tylko najnowsze dane. Głównym backupem jest szyfrowany dysk w NAS, wiec ww. backupy stanowią ochronę przez kradzieżą, zalaniem, pożarem, itp.
W domu mam WiFi (2 i 5 GHz) i kabelek gigabit (podstawa łączności domowej, chociaż mam też odcinek 100 Mbps). Oczywiście nie wszystkie dane z NAS są udostępnianie dla wszystkich i do tego przez Wi-Fi
Router to rozwiązanie "router on the stick". Małe routery zdolne poradzić sobie z czymś więcej niż oprogramowaniem typu Tomato są bardzo drogie i mają małą wydajność. Użyłem więc komputera z Atomem (dwa rdzenie, cztery wątki), z systemem FreeBSD. Ponieważ w obudowę nie włożę wieloportowej karty Ethernet, to dlatego właśnie "on the stick" - współpracuje z malutkim switchem 8-portowym (jednym z trzech w domu).
Jeden z routerów kablowych i dwa switche.
Skorzystałem z okazji i wymieniam ram i dysk z SSD 64 na SSD 160. Wyczyszczę też z kurzu...
Zasilacz do widocznego powyżej routera - zero wentylatorów
Jednym słowem konfiguracje mocno dostosowane do potrzeb. I zawsze tak było. Nie ma problemu z szybką wymiana sprzętu - jeżeli jest taka potrzeba. Obecnie mam cicho, zajmuje to mało miejsca, mam kilka dróg do Internetu, dane są bezpieczne.
Widzę, że żeby Ci rzetelnie odpowiedzieć potrzebuję więcej czasu niż mam
Obaj się borykamy z brakiem czasu, ale tak jest rodzina praca i inne obowiązki.
Dokonałem kilka zmian u siebie, wyjąłem 4 dyski z macierzy, dokupiłem drug MD1000, pozbyłem się tych antycznych dell poweredge, zreorganizowałem też konfigurację dysków. teraz jest RaidZ3 z 12 x 500GB + 2 Hotspare, do tego 120GB SSD jako L2ARC i 64 GB SSD jako ZIL (wiem, że jest limit tylko do 8GB, ale więcej miejsca nie zaszkodzi - chodzi o zużywanie się SSD, tutaj ma zapas na nadpisywanie nowych sektów). 80GB jest jako UFS na nim instalowane są wirtualne maszyny (np ta Debian do robienia synchronizacji danych, XP64 - testy, WIn7 - pulpit zdalny itp itd). NAS oprócz 32Gb ram ma jeszcze 4 GB Swap na wspomnianej 80-tce, okazuje się, że poimo dużej ilości RAM system potrafi nie nadążyż ze zwalnianiem zasobów których brakuje na programy, w ten sposób rozwiązałem kilka problemów z "zacinkami" i "czkawkami" jakie isę zdażały.
Efekt pracy to masywne przyspieszenie, wcześniej IO było na poziomie 6-8k po sieci 1GB a zapis/odczyt maks ~400MB Wirtualny <-10GBE-> NAS.
Teraz 10GBE lan poszedł do NAS, druga karta do stacjonarki i osiągam stałe 17k-22k IO i zapis/odczyt na poziomie ~450MB/s (zapis/odczyt).
Wyjęte 4 dyski planowane są jeszcze w małym HP N36L jako backup NAS i pójdzie on do innh lokalizacji, najprawdopodobniej w PL, gdzie Rodzina ma internet ze stałym IP i to będzie mój 2 zdalny backup.
Ciągle jeszcze kalkuluje tak by było to w miare ekonomiczne (tzn. poziom skąplikowania vs opłacalność), na chwilę obecną zdalny dedyk(nie VPS) z 200GB miejsca to koszt rzędu 5EUR/m-c każde dodatkowe 150 GB które mogę dodać w każdej chwili to kolejne 2EUR / m-c - chyba taniej się już nie da.
Wziąłem też dedyk na 4 rdzeniowym ARM 64bit scaleway i 2Gb ram z dodatkowym dyskiem - 50GB system + 150GB sieciowy NAS w DC i jestem wtrakcie konfiguracji całości.
Zastanawiam się nad szyfrowaniem plików przed wysyłaniem na zdalny dedyk - jednak prywatnośc przede wszytskim.
Jako proof of concept - działa
Na próby na zdalnym serwerze zainstalwałem OwnCloud, server PPTP (wiem, że nie najlepszy - bezpieczeństwo), ustawiłem serwer SMB (zasoby widoczne po połączeniu z VPN jako zwykły dysk sieciowy). Na dedyku nie ma ustawionego żadnego hasła, łączę się za pomocą kluczy SSH 2048 bitów. Na Nas4Free zainstalowany jest wirtualny debian który wykonuje 2 stronny rsync co 1h poprzez ssh (ale myslę trochę te czasy zmienić). Pierwsza synchronizacja zajęła mu chyba z 9h (włączone w nocy więc trudno powiedzieć kiedy skończył / 63 GB wysłane). Za to teraz jest to jedynie czas poniżej minuty dla samej synchronizacji. Zainstalowany tez soft do owncloud na telefonach, każde zdjecie/film jest od razu wysyłane na serwer a te co 1h są synchronizowane z domowym NASem (zastanawiam się czy nie zrobić odwrotnie, ale póki co jest ok).
Jako router chwilowo jest ten od Virgin media, ale pójdzie 4 rdzeniowy amd na AM3 z 8gb ram - vpn to podstawa u mnie w domu - to ze względu na fakt, ze oryginalny router potrafi jednym słowem nie wytrzymać ilości pakietów jakie czasami przez niego staram się "przecisnąć".
Sprzętu się nazbierało u Ciebie, ja wyciągam wnioski i zmieniam/optymalizyje i określam swoje potrzeby wyhodzi na to, ze nei zawsze więcej sprzętu to lepiej.
Quote:
Jeszcze trochę i taki sprzęt z drugiej ręki będzie bardziej dostępny dla prywatnych odbiorców
Powoli staje się to dostępne, jednak pomimo, ze sam sprzęt jednostkowo drogi nie jest, to jednak złozenie zestawu (kontrolery, przewody, karty sieciowe, dobrej klasy switche itp itd) to już łącznie wycjśc potrafią dosyć kosmiczne kwoty.
Mówi się, ze ram jest stosunkowo tani, chętnie bym dał te 96GB w NAS, ale cena pamięci przekroczy wartość całego sprzętu
Dokonałem kilka zmian u siebie, wyjąłem 4 dyski z macierzy, dokupiłem drug MD1000, pozbyłem się tych antycznych dell poweredge, zreorganizowałem też konfigurację dysków. teraz jest RaidZ3 z 12 x 500GB + 2 Hotspare, do tego 120GB SSD jako L2ARC i 64 GB SSD jako ZIL (wiem, że jest limit tylko do 8GB, ale więcej miejsca nie zaszkodzi - chodzi o zużywanie się SSD, tutaj ma zapas na nadpisywanie nowych sektów). 80GB jest jako UFS na nim instalowane są wirtualne maszyny (np ta Debian do robienia synchronizacji danych, XP64 - testy, WIn7 - pulpit zdalny itp itd). NAS oprócz 32Gb ram ma jeszcze 4 GB Swap na wspomnianej 80-tce, okazuje się, że poimo dużej ilości RAM system potrafi nie nadążyż ze zwalnianiem zasobów których brakuje na programy, w ten sposób rozwiązałem kilka problemów z "zacinkami" i "czkawkami" jakie isę zdażały.
Efekt pracy to masywne przyspieszenie, wczęsniej IO było na poziomie 6-8k po sieci 1GB a zapis/odczyt maks ~400MB Wirtualny <-> NAS.
Teraz 1 10GBE lan poszedł do NAS, druga karta do stacjonarki i osiągam stałe 17k-22k IO i zapis/odczyt na poziomie 450MB/s.
Ładnie i bezpiecznie to teraz wygląda, oraz konkretne wyniki wydajność.
DarekMich wrote:
Na Nas4Free zainstalowany jest wirtualny debian który wykonuje 2 stronny rsync co 1h poprzez ssh.
pierwsza synchronizacja zajęła mu chyba z 9h (włączone w nocy więc trudno powiedzieć kiedy skońćzył / 63 GB do wysłania). Za to teraz jest to jedynie czas poniżej minuty.
Jak nie masz tego sprawdzanego to dodaj kontrolę przed uruchomieniem, czy poprzedni rsync się zakończył.
Jak nie masz tego sprawdzanego to dodaj kontrolę przed uruchomieniem, czy poprzedni rsync się zakończył.
TO jest zadanie na ten tydzień, chyba wespre się pythonem.
planuje w cron uruchamiań skrypt sh, sprawdzać, czy jest plik PID dla jedynego procesu python jaki będzie uruchamiał rsync i jeżeli jest to przerwie operację, jeżeli nie to uruchomi skrypt python, w nim będzie montowanie, rsync dwu stronny i odmontowanie, w razie przerwania procesu lub jego zakończenia python również się zakończy uniknę potencjalnych wielu synchronizacji jednocześnie (całkowicie bez sesnu) - plan na ten tydzień, możńe dziś/jutro wieczorem. Z takich powodów coraz bardziej podoba mi sie Unix/BSD. Windows nie daje tej elastyczności z oprogramowaniem jakie dostępne jest po isntalacji i bez dodatkowych opłat, licencji itp
W bash to zrób, przecież nie trzeba komplikować sobie życia. W podstawowej wersji możesz sprawdzać, czy w ogóle jakiś proces rsync działa w systemie. Twój proces może też używać jakiegoś semafora, np. czy istnieje plik (w systemie jest to operacja atomowa). Numer procesu do tego nie jest potrzebny. Dodaj tylko logowanie samych zakończeń procesu synchronizacji, albo lepiej startów i zakończeń (z datą i czasem).
Dodano po 4 [minuty]:
DarekMich wrote:
rsync dwu stronny i odmontowanie
Tak przeczytałem jeszcze raz i tego nie zrozumiałem. Przecież jak wykonasz rsync /test01 /test02 to na obu masz te same dane i nie ma potrzeby wykonywać rsync /test02 /test01.
DarekMich wrote:
w razie przerwania procesu lub jego zakończenia
Zakończenie z sukcesem loguj do pliku, a zakończenie rsync z błędem raportuj np.: e-mail'em do siebie.
rzecz w tym, że traz będzie 1 katalog tylko synchronizowany, w przyszłości może być więcej niż jeden choć będą różne, wiem, że mogę jedynie tylko sprawdzać obecność procesu i przerywać kontynuacje i wznawiać kolejny (inny katalog/backup itp itd) jak ten skończy.
rsync robię w 2 strony ze względu, na fakt, że np. telefon zdjęcie/film od razu wysyła na zdalny serwer w chwili robienia z djęcia, ale już cyfrowy camcorder raczej zrzucać będę na lokalny NAS.
Póki co trochę rozwiązałem sprzętową stronę, teraz obmyślam jak to najprościej rozwiązać programowo, niestety nadgodziny (w domu jestem jedynie przez 1h w ciągu dnia oprócz snu oczywiście). Jest wiele problemów z obustronna synchronizacją. Wydaje mi się to uzasadnione, jednak tworzy komplikację, bo jak by tu chociażby "posprzątać" pliki to się wszystko zaczną dublować itd itp. Raczej skończy sie na bash tak jak wspomniałeś.
rzecz w tym, że traz będzie 1 katalog tylko synchronizowany, w przyszłości może być więcej niż jeden choć będą różne, wiem, że mogę jedynie tylko sprawdzać obecność procesu i przerywać kontynuacje i wznawiać kolejny (inny katalog/backup itp itd) jak ten skończy.
rsync robię w 2 strony ze względu, na fakt, że np. telefon zdjęcie/film od razu wysyła na zdalny serwer w chwili robienia z djęcia, ale już cyfrowy camcorder raczej zrzucać będę na lokalny NAS.
Rozumiem.
DarekMich wrote:
niestety nadgodziny (w domu jestem jedynie przez 1h w ciągu dnia oprócz snu oczywiście).
I tak podziwiam Twój zapał Pasja to fajna rzecz! Trzymam więc kciuki za tak fajne rozwiązanie. Jak będziesz mieć jeszcze jakieś pomysły to podziel się proszę, ponieważ miło poczytać o tak fajnych zabawach.
)
i w żaden sposób tego nie potępiam 
