Kopiowanie ogromnej ilości małych plików


(Qqcoufame) #1

Poszukuję oprogramowania/sposobu które:

  • szybko skopiuje kilka milionów plików o wielkości < 1MB
  • zachowa ich ścieżki w miejscu docelowym, nie nadpisując istniejących już adekwatnych folderów
  • będzie przy tym potrafiło porównać dwa zbiory danych ( kilka TB ) na różnych dyskach, by w razie błędów dokończyć proces
  • nie stwarza ryzyka stworzenia pustych plików w czasie kopiowania i pominięcia danych

Jak wiadomo, przy małych plikach najlepiej użyć zipa - problem jednak wtedy, gdy nie ma miejsca na tego tymczasowego zipa bo zbiór jest tak wielki. A kopiowanie plików z prędkością 20-40 kb/s to cofanie się chyba o 30 lat. Nie wierzę, że nie ma rozwiązań które takie problemy rozwiązują.

 

Win8.1, NTFS


(bachus) #2

Wypada podać OS i system plików.


(Qqcoufame) #3

oczywiscie, dodałem juz.


(pigers1986) #4
  • nie da się … moim zdaniem XPek pod tym względem był lepszy
  • nawet Windows to potrafi
  • Wygląda to na zadanie dla TotalCommander’a
  • ryzyka ? jeśli Twój plik ma zero bajtów to zostanie przekopiowany i kropka

Na Linuxie polecałbym rsynca, a na Windowsie TotalCommander’a - ma tam narzędzie “Synchronizuj katalogi …” który spełnia Twoje marzenia :wink:


(bachus) #5

Spróbuj Unstoppable Copier (http://www.roadkil.net/program.php?ProgramID=29). W zakładce ustawień: Resume Partial files/Calculate Remaining Time/Include Sub Folders/Copy Empty Folders/Fastes Data recovery. Jak dwie strony pozwalają i urządzenia sieciowe, możesz pokusić się o ‘jumbo frames’  ( ping -f -l 9000 cel powinno dawać wynik bez fragmentacji pakietów).


(Qqcoufame) #6

@pigers1986 - Najistotniejszy jest punkt 1 - nie zaakceptuję, że się nie da - toż to jakieś technologiczne upośledzenie ;p  Pozostałe punkty realizuję przez FreeFileSync no ale prędkość jest dobijająca. Apropos ryzyka - używałem kiedyś jakiegoś ustrojstwa do backupu. Wszystko zakończył pięknie, pliki są, rozmiary się zgadzają. Tylko potem otworzyć się nie dało, a ich zawartość w HxD pokazała same zera - było już za późno.

 

@bachus - urządzenie sieciowe? Mam tu 2 dyski i PC z pełnym wsparciem USB 3.0. Odpaliłem na próbę Roadkila, póki co sporo mu zajmuje samo pomijanie skopiowanych już plików, ale dam mu chwilę.

Edit: tak samo wolno.


(bachus) #7

Spróbuj jeszcze RichCopy. TeraCopy - ale cudów nie spodziewaj się. Pliki muszą być porównane.


(pigers1986) #8

nic to nie zmieni bo musisz odpytac system plików o wszystkie elementy w danym folderze, następnie pozyskac ich rozmiar i inne dane ,

następnie te dane musza byc przetrawione i przesłane