Veeam Agent 6.3.2 Win7 File-level: zamiast Incremental robi Full USB

Question

Mam problem z konfiguracją Veeam Agent for Windows (v. 6.3.2) na systemie Windows 7. Moim celem jest wykonywanie kopii przyrostowych (Incremental) na zewnętrzny dysk USB, który podłączam raz na jakiś czas. Stan faktyczny: W styczniu wykonałem pierwszy Full Backup (ok. 14 TB, tryb File-level...

Brodi · Answer

Jak backup trwa kilka dni, to przy przyrostowym aby w razie problemów dostać się do danych będziesz potrzebował tygodnia, to jest dla mnie bez sensu. Nie wiem ile danych zostało zmienionych i co tam trzymasz, jak baza danych to Veeam będzie backupował całość, jak pliki audiovideo to wtedy przyrostowy się sprawdzi.

Ogólnie wyznaje zasadę system + aplikacja + dane, czyli
Sam system robię pełny obraz ( bare metal recovery ) systemowymi narzędziami, linuxem ( clonezilla ), dowolnej aplikacji która robi to dobrze,
Aplikacja jeżeli to możliwe robię backup folderu + ustawień aby dało się przywrócić bez przywracania systemu,
Dane - trzymam na osobnym dysku/partycji aby dane były oddzielone od systemu, w zależności czy to baza czy pliki , ile danych jest zmienianych można użyć narzędzi dedykowanych dla konkretnej bazy danych, 7zip+lz4 ( robi backup 1 TB w 30 minut ), rsync, windowsowych snapshotów itp.

Youmound · Answer

Ostatnio było dużo zmian.

I o to chodziło - dla testu - jak się zachowa program.
Jak będzie wyglądał backup po teście.

To całe archiwum mojego życia - dokumenty, projekty, i sporo materiałów archiwalnych tj. zdjęcia filmy z aparatów, telefonu, drona. I to idzie w te TB...

A wydawało mi się, że przyrostowa poleci po zmianach:

- nowe pliki,
- zmienione,
- przeniesione. . .
- usunięte

Bo ja to ma za każdym razem przemielać tyle TB danych to... nie ma to sensu....

Brodi · Answer

Jeżeli to zwykłe pliki to najlepszy będzie program do synchronizacji folderów FreeFileSync, SyncBack Pro / SE / Free , GoodSync.
Dla każdego folderu ustawiasz sposób synchronizacji, np dla filmów i zdjęć tylko dodajesz nowe pliki bez wersjonowania, dla dokumentów pełna synchronizacja z zachowaniem np 10 wersji, dla projektów synchronizacja w jedną stronę z wersjonowaniem itp.

Dla synchronizacji po sieci są np syncthing/resilio, tylko te programy nie potrafią synchronizować na poziomie bloków, synchronizują całe pliki, więc w przypadku dużych plików lepiej sprawdza się rsync + --no-whole-file

Youmound · Answer

Nie zależy mi na wersjonowaniu tylko na lustrze 1:1.

Na razie testuję RClone.
I wydaje się świetnie sobie radzić.

Checka dla partycji gdzie jest 3.5mln małych plików (głównie dokumenty, zapisane strony WWW) zrobił w nie całą 1h.
Jednak obawiam się jak wpłynie to na dysk (odczyt całego dysku) na poziomie wielu TB..
Przy aktualizacji kopii..

Po testuję jeszcze ale myślę czy nie zrobić bazy SQLite, i w pythonie napisać skrypt aby zapisywał do bazy informacje o zmianach w plikach - tj. nowe pliki, nowe ścieżki, zmiany ścieżek, nazw itd.

Wtedy RClone dostałby tylko zakres zmian z bazy - od momentu ostatniej kopii do TERAZ. I tylko te operacje zrobił.
Tylko czy uda się sensownie trzymać zadanie w tle - które będzie rejestrować zmiany..

Brodi · Answer

Możesz zobaczyć jak sprawdzi się synchronizacja folderów po dacie modyfikacji, wtedy aplikacja dogrywa to przyrostowo bez skanowania plików, tylko skanuje atrybuty, nie powiem ci dokładnie która aplikacja to posiada ( SyncBack Pro ? ). Zaleta - szybkie , wada - jeżeli plik się zmienił bez zmiany atrybutów to go nie zsynchronizuje ( zawsze rób backup bazy przy wyłączonej bazie :] ).

ZFS można synchronizować przyrostowo, ale to linux/bsd, więc nie dla Windows.

RClone - ciekawe jak się zachowa po dłuższej przerwie.

bazę i dorabiane narzędzia bym sobie darował, już lepiej użyć windowsowego robocopy z masą parametrów, bez problemu poradzi sobie z taką ilością plików, dodatkowo jest wielowątkowy i może skanować po dacie utworzenia i dacie modyfikacji, tylko to konsola

pidar · Answer

Co to za dysk i w jakiej obudowie jest? Do jakiego sprzętu z portem USB jest podpinany? Może da się zwiększyć transfer przy kopiowaniu?

Youmound · Answer

Nie da się zwiększyć transferu bo ogranicza mnie port USB 2.0. Długi kabel USB.

Youmound · Answer

Jednak RClone się nie sprawdza… to narzędzie u mnie nie kopiuje wszystkiego. Pomija pliki i nie pokazuje jasno, co zostało pominięte. Do tego kończy działanie błędem 1 bez ponawiania próby i bez informacji, czego dotyczy błąd – jakich plików nie skopiował i dlaczego…

Macie coś innego sprawdzonego, co się lepiej sprawdzi? Bo na razie robię niepotrzebnie kolejne odczyty na terabajtach danych i zapisy na nie mniej…

pidar · Answer

FreeFileSync z ustawieniem porównywania po dacie i rozmiarze.

Youmound · Answer

>>21877109 Tylko ten FreeFileSync ogarnie podłączanie dysku kopii co jakiś czas? Dysk Seagate USB 16 TB. Z zewnętrznym zasilaniem.

GrandMasterT · Answer

Przede wszystkim w Veeamie przejrzyj ustawienia kopii zapasowej, tam w jednej z zakładek jest opcja wykonywania okresowo pełnej kopii i być może masz to włączone, wtedy (zależy jeszcze od innych ustawień) po dłuższym odstępie czasu od ostatniej kopii następna będzie pełna.
Jak najbardziej Veeam potrafi analizować system plików i kopiować tylko to, co się zmieniło, z tym że nie wiem czy działa to w trybie File Level, zgadywałbym że w tym przypadku opiera się raczej o metadane plików.

Youmound · Answer

FreeFileSync zrobił skanowanie 2 folderów i na tym się skończyło.

Tak samo jak po RCLONE nic się nie zmienia. Nie bierze wszystkich plików i nie wiadomo jakich nie bierze.
Jak sprawdzałem po VEEAM to tak nie było. Kopia po VEEAM była kompletna i taka sama jak na dysku źródłowym.

Veeam Agent 6.3.2 Win7 File-level: zamiast Incremental robi Full USB

Post #1

Post #2

Post #3

Post #4

Post #5

Post #6

Post #7

Post #8

Post #9

Post #10

Post #11

Post #12

Post #13

Podsumowanie tematu