filesystem merger...

Du hast eine Idee für ein Projekt?
Antworten
Benutzeravatar
jens
Python-Forum Veteran
Beiträge: 8502
Registriert: Dienstag 10. August 2004, 09:40
Wohnort: duisburg
Kontaktdaten:

Ich hätte da eine Idee. Ein Tool was mir hilft meine Backup Festplatten zu mergen.

Hintergrund:
Aufgrund der größeren Datenmassen erstelle ich gern Backups (Einfache kopieren) auf mehrere Festplatten. Da Festplatten immer größer werden, macht es Sinn die Daten von kleineren auf größere zusammen zu führen. Ein einfaches kopieren in mehreren Ordner hätte aber Redundanzen zur folge.

Das Tool sollte also wie folgt vorgehen:
Scanne alle Dateien auf Platte A und erstelle SHA Hashwerte.
Lese Datei für Datei von Platte B ein, erstelle dabei den SHA Hashwert. Wenn es den Hashwert schon auf A gibt, dann muss nur ein Hardlink oder symbolischer Link angelegt werden, ansonsten wird die Datei kopiert.

GitHub | Open HUB | Xing | Linked in
Bitcoins to: 1JEgSQepxGjdprNedC9tXQWLpS424AL8cd
DasIch
User
Beiträge: 2718
Registriert: Montag 19. Mai 2008, 04:21
Wohnort: Berlin

Mercurial existiert doch schon? :wink:
Benutzeravatar
jens
Python-Forum Veteran
Beiträge: 8502
Registriert: Dienstag 10. August 2004, 09:40
Wohnort: duisburg
Kontaktdaten:

BlackJack hat geschrieben:Vielleicht wäre http://www.lessfs.com/ etwas passendes?
Ja, das ist schon recht nett. Allerdings sind die Backup Platten NTFS, weil Windows kram... Und das lessfs ist auch noch Beta...

GitHub | Open HUB | Xing | Linked in
Bitcoins to: 1JEgSQepxGjdprNedC9tXQWLpS424AL8cd
Benutzeravatar
mkesper
User
Beiträge: 919
Registriert: Montag 20. November 2006, 15:48
Wohnort: formerly known as mkallas
Kontaktdaten:

Vielleicht ist Unison was für dich?
Benutzeravatar
jens
Python-Forum Veteran
Beiträge: 8502
Registriert: Dienstag 10. August 2004, 09:40
Wohnort: duisburg
Kontaktdaten:

Unison kenne ich schon. Hab ich früher auch mal verwendet. Mal abgesehen davon das es wohl nicht mehr weiter entwickelt wird... Es passt nicht ganz zu meinem Problem:

Ich habe nicht immer die selbe "Datei-Oganisation". Von daher kann ich nicht einfach alles zusammen kopieren, weil dann alles durcheinander ist.

Deswegen will ich die Platten einfach in Unterverzeichnisse legen. Und damit nicht unnötig viel Speicher verbraucht wird, sollten gleiche Dateien nur einmalig gespeichert werden.

Im Grunde ist http://www.lessfs.com/ dafür schon passend. Aber ich weiß nicht ob ich einer exotischen Beta Software meine Backups anvertrauen sollte ;)
Von daher tendiere ich schon zu einer Lösung auf NTFS Basis mit Links. Hab gerade aber keine Zeit das zu verwirklichen :(

GitHub | Open HUB | Xing | Linked in
Bitcoins to: 1JEgSQepxGjdprNedC9tXQWLpS424AL8cd
Leonidas
Python-Forum Veteran
Beiträge: 16025
Registriert: Freitag 20. Juni 2003, 16:30
Kontaktdaten:

jens hat geschrieben:Im Grunde ist http://www.lessfs.com/ dafür schon passend. Aber ich weiß nicht ob ich einer exotischen Beta Software meine Backups anvertrauen sollte ;)
Also ich sehe was von 1.0 und "stable".
My god, it's full of CARs! | Leonidasvoice vs (former) Modvoice
Benutzeravatar
jens
Python-Forum Veteran
Beiträge: 8502
Registriert: Dienstag 10. August 2004, 09:40
Wohnort: duisburg
Kontaktdaten:

Also hier http://www.lessfs.com/wordpress/?p=1#more-1 steht was anderes:
Although stability is one of our priorities you should keep in mind that lessfs is still beta software.
Aber vielleicht ist das nicht mehr aktuell?

Dennoch sehe ich so eine Lösung als recht exotisch an. Wenn es schon was länger irgendwo eingesetzt werden würde und man es einfach aus der Linux Distro. installieren könnte... Darüber hinaus gibt es neben der FUSE Abhängigkeit noch "Tokyo Cabinet" http://1978th.net/tokyocabinet/ was man installieren muß. FUSE ist ja kein Problem, aber das andere bekommt man auch nicht aus den Repositories...

Der zweite Kommentar zum v1.0 Release hört sich auch nicht so gut an: http://www.lessfs.com/wordpress/?p=295#comments

Das ist mir alles ein wenig zu experimentell...

GitHub | Open HUB | Xing | Linked in
Bitcoins to: 1JEgSQepxGjdprNedC9tXQWLpS424AL8cd
Benutzeravatar
Masaru
User
Beiträge: 425
Registriert: Mittwoch 4. August 2004, 22:17

Angst? :lol:
Leonidas
Python-Forum Veteran
Beiträge: 16025
Registriert: Freitag 20. Juni 2003, 16:30
Kontaktdaten:

Also Tokyo Cabinet lässt sich ziemlich trivial bauen, das ist reines C ohne weitere Abhängigkeiten.
My god, it's full of CARs! | Leonidasvoice vs (former) Modvoice
Antworten