Hashwert ermitteln (CRC32)

[Titankyojin]

Leider passieren bei Dateitransfers viele Fehler, ein einziges falsches Bit kann eine ganze Datei beschädigen. Aber das weiss wahrscheinlich eh jeder. Wegen solchen Sachen kann die Anzeigesoftware abstürzen oder andere Probleme entstehen.

Problem ist nur dass ich bisher kein gutes Haschtool gefunden habe. Das von Lavasoft ist ungenügend da es ungenau arbeitet. Es spuckt bei ein und derselbe Datei verschiedene Werte aus, wenn mehrmals getestet.

Gibts irgend ein Tool welches genauer ist?

[Shadow]

HasCh LOL

[LeviathanX]

http://en.wikipedia.org/wiki/Computation_of_CRC
http://www.codeguru.com/Cpp/Cpp/algorit ... .php/c5103

Selbst gemacht ist immer noch am besten

[Titankyojin]

Also das erste ist das fertige Tool und das zweite ist einfach die Code Source? Damit kann ich nix anfangen aber solange das Tool geht... mal sehen.

Also, es scheint zu funzen aber auch hier scheint es Unregelmässigkeiten zu geben. Keine Ahnung woher die stammen. Wobei ich sagen muss, die Dateien die ich checke sind mehrere GB gross, also kein Kinderspiel.

Bei meiner ersten eSATA HDD ( 1 TB Verbatim über eSATA) ist es meistens korrekt, mit vielen Unregelmässigkeiten, z.B, ist Datei 5 und 18 inkorrekt, beim zweiten Durchlauf ist es Datei 10.

Bei meiner zweiten USB-HDD ( 1.5 TB WD Essential über USB 2.0) wo ich die Daten von der eSATA Backuped habe, da ist beim Hasch sogut wie alles falsch. Wenn ich dort dem Hasch glauben schenken muss dann ist diese HDD ein mobiler Datensarg.

Ich zerbrech mir momentan echt den Kopf wie ich das angehen soll, aber sicher ist dass der USB HDD als Datenbackup kaum zu trauen ist. Verlorene Daten passieren wohl oft, und man könnte zurecht sagen dass USB HDDs "Datensärge" sind, wohl kein haltloses Gerücht. Fast alle Leute verwenden USB HDDs als externer Datenspeicher, kein Wunder, sind ja auch spottbillig. Aber ob die davon wussten dass sie soviele Daten verlieren? Wahrscheinlich nicht.

Wobei ich noch hinzufügen muss dass die USB HDD im FAT32 formatiert ist und die Verbatim ist NTFS. Ob das eine Rolle spielt weiss ich auch nicht.

[SinGinSmith]

Du kannst selbst ein Tool entwickeln, welches die Hashwerte überprüft,z.b. mit VB.Net oder C#

Der Zeitaufwand dürfte nicht mehr als eine Stunde betragen, da es dafür jenste Tutorials im Netz gibt und es nur ein Paar Zeilen Code sind.

Ganz Grundsätzlich kann man sagen dass diese Probleme mit Fehlerhaften Dateien in Gegensatz zu früher eher selten auftreten.

[ritschi]

:schwert:

[Chäller]

was söll das? Chauf doch eifach e zweiti USB Harddisk wänn dir d'Date so wichtig sind. So hät mer sie dopplet gsicheret.

[Mastler(P)]

nei, jetz hauts mer dae nuggi use! s erscht mal dasi wieder was vom titte laese.
titte, wie gahts?

[elnino]

was söll das? Chauf doch eifach e zweiti USB Harddisk wänn dir d'Date so wichtig sind. So hät mer sie dopplet gsicheret.

Ebe nid, sind die reinschte Datesärg! Wenn ihr wüssted, wievil Date ihr verlüred, nur scho jetzt i dem Moment!

[Reinforced]

was söll das? Chauf doch eifach e zweiti USB Harddisk wänn dir d'Date so wichtig sind. So hät mer sie dopplet gsicheret.

Ebe nid, sind die reinschte Datesärg! Wenn ihr wüssted, wievil Date ihr verlüred, nur scho jetzt i dem Moment!

wieso? die Platte hesch ja würkli nur dranne zum backupe het also e nidrigi belaschtig.

[elnino]

was söll das? Chauf doch eifach e zweiti USB Harddisk wänn dir d'Date so wichtig sind. So hät mer sie dopplet gsicheret.

Ebe nid, sind die reinschte Datesärg! Wenn ihr wüssted, wievil Date ihr verlüred, nur scho jetzt i dem Moment!

wieso? die Platte hesch ja würkli nur dranne zum backupe het also e nidrigi belaschtig.

Ja eh, aber das nützt nüd, die Date möched glich all de Fisch! Chasch ne im File explorer zuelege, wie sich's in Luft uflösed. Ha selber au mehreri USB-HDDs sit Jahre ohni Problem im Iisatz gha, bis ich dur de Titan as Liecht gfüehrt worde bi. Jetzt machi immer grad direkt Shift+Delete, isch eh alles verlore!

[Chäller]

rächt vernünftig

[Titankyojin]

Also das Problem ist doch einfach dass man gerne ein 1:1 Backup haben möchte aber wenn Daten verloren gehen ist es KEIN 1:1 Backup, ich denke da kapiert jeder was ich meine. Klar gibts auch bessere und schlechtere USB-Controller welche genauer oder ungenauer arbeiten aber im grossen und ganzen haben fast alle PCs ähnliche Controller eingebaut. Die kommen eh alle aus China und Qualitätsunterschiede sind eigentlich minim, das ist alles Massenproduktion. Man kann auch nicht pauschal sagen dass es nicht geht, es treten einfach "Instabilitäten" auf. Bei Tests hatt sich gezeigt dass die USB HDD manchmal bis zu 2 GB grosse Files fehlerfrei "aufnehmen" konnte, aber urplötzlich macht es dann wieder reihenweise Fehler.

Nehmen wir mal an die primäre HDD geht kaputt, dann möchte ich ja mithilfe der Backup-HDD Daten "retten", das ist der grundlegende SINN dieser Sache, wenn ich da danach Korruption habe von heiklen Daten, dann ist mir dieses Backup kaum etwas wert. Die Belastung spielt keine grosse Rolle, wird wohl keiner ernsthaft behaupten dass eine 3.5 Zoll USB-HDD bei 25 MB/s Speed überlastet werden kann, die eSATA Verbatim hatt dreifachen Speed und arbeitet praktisch fehlerfrei. Es hatt wohl eher mit der Übertragungstechnologie zu tun, USB ist ganz einfach nicht optimal um Daten zu übertragen. Ursprünglich wurde USB auch nie dafür entwickelt sondern um einfache Peripherie wie Maus/Tastatur anzuschliessen.

Wo ich aber sagen kann dass die Datensicherheit, also Fileintegrität, sehr hoch ist, fast perfekt, und wo ich kaum je Probleme hatte (ausser es wurde von irgend einem blöden Host übertragen der es bereits defekt zusendete). Was ich sehr empfehlen kann sind die eSATA von Verbatim (leider auch schweineteuer, 2x soviel wie ne interne), Verbatim stellt sehr gute Speicherprodukte her. Also, bei mir kommt nur noch eSATA als Backup HDD in Frage. Und bei der USB HDD muss ich halt immer den Polizist spielen da etwa 50% aller Files Defekte aufweisen könnten. Jedoch tut man auf solche USB HDDs meistens eh nur Musik und Videofiles drauf, aber auch da gibts ein Limit wieviel fehlerhafte Bits so ein Videoplayer aushalten kann.

CRC32 ist nicht das beste aller Check-Tools, aber das einfachste/schnellste. Um bei CRC32 sicherzugehen muss man es wohl am Anfang 10x durchrechnen, danach ist dieser Wert richtig welcher am meisten vorkam. Wenn man den Wert erstmal weiss muss er nur per Zufall bei 5 Durchläufen diesen Wert erreichen. Falls es inkorrekt ist wird er auch nach 100x nicht den richtigen Wert erreichen weil es mehrere Millionen Möglichkeiten gibt, dass es per Zufall aufs Resultat kommt ist praktisch ausgeschlossen.

Ich habe gesprochen, Hugh.

[geosnow]

[Mastler(P)]

was isch etz din haschwert?!

[Titankyojin]

Das P heisst wohl Master Proletenschrott, nehm ich an, natürlich nur die logischste aller Annahmen.

[Mastler(P)]

das beantwortet mini frag aber immernanig. :/

[Titankyojin]

Mein persönlicher Haschwert? Es gibt keinen bekannten Wert weil wenn der Supercomputer nach einigen Jahrhunderten fertig wäre mit rechnen dann war jede mögliche Haschzahl im CRC32 bereits ungefähr 3 hoch 1000 (also 478 stellige Zahl) schon einmal vorgekommen. Da CRC32 mehrere Millionen an möglichen Kombinationen hatt und jede Kombination ungefähr 3 hoch 1000 vorkommen wird kann man davon ausgehen dass es millionenfach mit 30 hoch 1000 multipliziert werden muss bis all meine Haschzahlen so durchgerechnet wurden sodass es nicht per Zufall mit einer Chance höher als die Möglichkeit dass in den nächsten 24h ein "Prominenter" an Krebs erkrankt, diesselbe Zahl zweimal trifft, was gleichzusetzen mit einem Aufsplittverfahren ist. Was das für die Prozessoren für ne unmaschinerische irremathematische Disaufgabe bedeutet im Schlauchheitsgrad Kategorie A++ ist kaum in menschlichen Worten zu fassen. Es würde sich ne neue Widerstandsbewegung genannt "Praesidium agitare computus ultimatus" in aufsteigendem Abgang setzen und dann wird das ganze nochmals verzögert. Und dann kommt noch die neue Umweltschutzbewegung welche 1x monatlich die Stromleitung mithilfe eines Protestverfahrens lahmlegt ins Spiel da die Supercomputer lediglich Energieeffizienz P-- sind (im Vergleich zum 16 core Haushaltscomputer, da 2 cores nicht mehr fähig sind ein einfaches Videoprogramm abzuspielen wegen 1000 facher Systemanforderungen für das wo man 100 Jahre zuvor lediglich ein 2 core brauchte). Danach kommt der Fall jedesmal zum Bundesrat wo lauthals ausdiskutiert wird und wenn der oberste der Bundesesselinhaber/in etwas in Gang setzen möchte dann streicht ne andere Partei wieder die Luft aus den Segeln und die Debatte beginnt von vorn. Dabei wird unter anderem ausdiskutiert wie es möglich war dass Dubai eine Metropole so gross wie New York in 5 Jahren in den wakeligen Wüstenboden stampfte, aber es keiner schafft eine Wüste teilweise mit Solarzellen auszupflastern um die Supercomputer damit zu versorgen. Danach kannst dir ja denken wie lange das ganze wieder dauert. Dennoch, danke für die "gute Frage".

[randy]

also jetzt machsch es äxtra

[Chäller]

soo...wer hät am titan sin account ghackt?

[Asskicker]

de weises sicher, frögsch en male!

[Mastler(P)]

Danach kannst dir ja denken wie lange das ganze wieder dauert. Dennoch, danke für die "gute Frage".

oh ja! bitte.

[SinGinSmith]

Wenn das de Titan isch, isch miini schwöschter d prinzässin vo qatar

[Mastler(P)]

wer schriebt suschd no so?

[Titankyojin]

Danke für die niveau und fantasievollen Beiträge.

Noch etwas zu der Scheiss USB 2.0 HDD: Habe das jetzt echt ausgetstet mit ca. 200 GB Videofiles.

Die HDD versemmelt mir jedes zweite Video, und der VLC Player crasht praktisch permannent da die Bits inkorrekt sind. Ich bin am suchen obs ein Debugmode hatt aber sowas ist in keinster Weise brauchar. Der Player crasht immer genau an derselben Stelle d.h. der Fehler ist 100% dem Material zuzuschreiben. Die Übertragung werden erst dann fehlerhaft wenn ich es zwischen Vebatim und USB-HDD transferiere. Also von der eSata HDD zur USB-HDD. Fragt mich nicht wer eine USB HDD brauchen könnte, hatt man doch nur Ärger. Auf der eSata Verbatim sind solche Fehler nur bei einem einzigen Ordner aufgetreten, wobei ich hier die Fehler einem Host zuschieben kann.

Problem ist nur dass ich gerne alle Daten der Verbatium backupen möchte. D.h. ich werde wohl eine zweite interne SATA einbauen müssen. Bisher ist nur eine drinn und die 250 GB reichen leider hinten und vorn nicht aus, ist schon fast voll obwohl kein einziges Videofile drauf ist. Wobei ich dann wohl die 2 TB SATA primär verwende und auf die 1 TB eSATA backupe, denke so mach ichs.

USB kommt mir keine mehr ins Haus, sowas ist nur geeignet für Memory Sticks da dort die Datenmenge so klein ist dass man es relativ einfach auf Fehler überprüfen kann, alles über 32 GB ist jedoch Schwachsinn, viel zu unzuverlässig. Die USB HDD ist aber kein rausgeworfenes Geld denn ich kann sie im FAT32 gut als PS3 backup brauchen, und sollte etwas korrupt werden dann hoffe ich dass es aus Versehen ein Bit zu meinen gunsten verändert welches mein Gamelevel auf 9999 anhebt.