Software zum schnellen Kopieren von vielen Dateien

[AVoelp]

Ich habe demnächst gut 100.000 Dateien, insgesamt ca. 2 TB, von einer USB-Festplatte auf eine andere zu kopieren. Es sind einige wenige große Dateien dabei (~100 GB); die meisten Dateien haben <1 MB.

Mit welcher Software erledige ich so etwas am schnellsten und zuverlässigsten?

Gruß, Andreas

 

[areiland]

Naja, schau Dir z.B. Robocopy an, das Tool kann auch in mehreren Threads kopieren und ist dementsprechend schneller.

 

[WinSearch]

Ich habe demnächst gut 100.000 Dateien, insgesamt ca. 2 TB, von einer USB-Festplatte auf eine andere zu kopieren. Es sind einige wenige große Dateien dabei (~100 GB); die meisten Dateien haben <1 MB.

Mit welcher Software erledige ich so etwas am schnellsten und zuverlässigsten?

Gruß, Andreas

Ich nutze FREE FILE SYNC. Damit kann man verschiedene Funktionen, dank grafischer Benutzeroberfläche, sehr leicht anwenden

1. Vergleichen
2. Spiegeln
3. Aktualisieren
4. Zwei-Wege
5. eigene Vorgabe

Für ein regelmäßiges "manuelles" Daten-Backup für mich die beste Möglichkeit da ich dank inutiviter Oberfläche die maximale Kontrolle habe.

Freilich wird der Kopierprozess dadurch nicht beschleunigt. Der ist ja weitgehend durch die Hardware beschränkt. Da gibt es aber einen Tipp. Ich habe gelesen, dass Du relativ wenige, aber große Dateien benutzt. Man kann bei der Formatierung die Blockgröße in NTFS vorgeben. Wenn man weiß, dass man wenige große Dateien hat, dann darf man ruhig auch mehr als 4 KByte pro Block nutzen. Zwar wird dann der Verschnitt auch größer, aber bei wenigen großen Dateien, zumindest habe ich das mal gelesen, sollen größere Blöcke den Zugriff auf den Datenträger beschleunigen.

Beitrag automatisch zusammengeführt: 23.12.2020

Naja, schau Dir z.B. Robocopy an, das Tool kann auch in mehreren Threads kopieren und ist dementsprechend schneller.

Mir war nicht bekannt, dass Robocopy auf Grund mehrer Threads schneller sein soll. Als was wäre das denn schneller? Wenn man einmal schaut wie das System arbeitet, sei es bei Programmen wie FreeFileSync oder aber dem Windows Explorer, dann sieht man, dass nicht Datei um Datei verarbeitet wird. Ich könnte mir vorstellen, denn wieso sollte das jeder selber programmieren, dass bereits das Betriebssystem den parallelen mehrfach ausgeführten Kopiervorgang grundsätzlich ganz unabhängig von der eingesetzten Software unterstützt.

Das kann jeder übrigens ganz leicht selber überprüfen. Einfach vor dem Kopiervorgang den Ressourcenmonitor (ist bei Windows 10 dabei) öffen und dann die Mappe Datenträgeraktivität hervor heben. Danach startet man den Kopiervorgang (egal mit welchen Tool) und sortiert dann die Mappe z. B. nach Lesevorgänge. Man wird sofort sehen, dass da mehrere Datein gleichzeitig gelesen und geschrieben werden.

Daher weiß ich im Moment nicht wirklich wieso Robocopy effizienter als andere Kopierprogramme sein sollte?

Ohne Frage besteht aber mit RoboCopy die Möglichkeit das in ein Shellscript zu automatisieren und die Befehlsoperatoren von RoboCopy lassen viele Varianten zu. Es ist ein extrem mächtiges Kopierwerkzeug.

 

[Argor]

Ich verstehe aber auch nicht so wirklich, weshalb Kopiervorgänge immer so lange dauern. An der Hardware gemessen müsste das alles wirklich viel schneller gehen ...

 

[areiland]

...Daher weiß ich im Moment nicht wirklich wieso Robocopy effizienter als andere Kopierprogramme sein sollte?

Mehrere Threads bedeutet, dass Robocopy auch mehrere Dateien gleichzeitig kopieren kann. Gerade bei einer grossen Anzahl kleiner Dateien kann das einen Geschwindigkeitsvorteil bringen. Und mit dem Parameter "/MT:n" kann man Robocopy die gewünschte Zahl an Threads übergeben, wobei "n" zwischen 1 und 128 betragen darf. Standardmässig nutzt Robocopy 8 Threads.

 

[webtrack]

... weshalb Kopiervorgänge immer so lange dauern ...

... da mischt wohl auch noch Antivirus mit.

Gruß