Speicherbegrenzung String

Wenn du dir nicht sicher bist, in welchem der anderen Foren du die Frage stellen sollst, dann bist du hier im Forum für allgemeine Fragen sicher richtig.
encbladexp
User
Beiträge: 61
Registriert: Freitag 7. März 2003, 19:28
Kontaktdaten:

Was auch schön wäre: Ein der der Daten die die re durchwühlt...

Es sollte doch noch ein anderes, und vor allem schnelleres Verfahren für dein Problem geben.

mfg Betz Stefan
BastiL
User
Beiträge: 135
Registriert: Montag 7. Juli 2008, 20:22

encbladexp hat geschrieben:Was auch schön wäre: Ein der der Daten die die re durchwühlt...
Das verstehe ich nicht....? Was meinst Du damit?
epsilon
User
Beiträge: 71
Registriert: Freitag 20. Juni 2008, 19:48

Das verstehe ich nicht....? Was meinst Du damit?
Ich denke, der Satz sollte eigentlich
Eine der Dateien die der re durchwühlt...
heißen ;)
BastiL
User
Beiträge: 135
Registriert: Montag 7. Juli 2008, 20:22

das geht leider nicht, da die Files riesig sind und vertrauliche Daten enthalten.
BastiL
User
Beiträge: 135
Registriert: Montag 7. Juli 2008, 20:22

Also ich bin inzwischen etwas weiter:

1. habe ich Python 2.5.2 verfügbar, damit läuft "mem" und "mmap" über Files größer als 2GB

2. scheint das Thempo mit Python 2.5.2 deutlich langsamer zu sein....

Ich muss mir das noch einmal anschauen und poste die Resultate dann.
BlackJack

@BastiL: Vielleicht könntest Du ja eine Testdatei erstellen, die dem Original im Muster entspricht, also z.B. Anfangs- und Endmarkierungen an ungefähr den Stellen, wo sie auch in der Originaldatei stehen und ansonsten irgendwelche Fülldaten.

Du könntest dafür dann auch ein kleines Programm, das diese Datei erstellt ins Netz stellen, statt der Datei selbst.

Ich denke bei diesem Problem ist es nicht ganz unwichtig, dass die Leute ihre Tests auf den selben Daten machen, sonst gibt's zu viele Unterschiede, die einen Vergleich der Benchmarks weniger aussagekräftig machen.
BastiL
User
Beiträge: 135
Registriert: Montag 7. Juli 2008, 20:22

Was die Musterdatei angeht: Wenn müsste es ein Programm sein das eine erzeugt, Datei selbst ist zu groß. Wi eich so etwas schreibe ist mir nicht ganzt klar. Im Prinzip genügt es, vor und hinter dem RE einige Zeilen ASCII zu erzeugen und dazwischen 2GB binäre Daten....
BastiL
User
Beiträge: 135
Registriert: Montag 7. Juli 2008, 20:22

So ich habe dieses Thema lange liegen lassen aber jetzt wird das ganze wieder aktuell. Ich habe hier den Link auf eine Beispieldatei, die wir für Benchmarks jetzt verwenden können:

http://euler.yonsei.ac.kr/fluent/tutfil ... l_mesh.zip

Zip auspacken -> Datei filmcool.cas.gz auspacken -> filmcool.cas ist das Musterfile

Wie gesagt muss ich zunächst Binär- und ASCII-Teile trennen. Der Binärteil steht zwischen "(0 "Grid:")" und "(0 "Thread variables:"), alles andere ist ASCII. Ich werde demnächst mal EUre bisherigen Vorschläge auf meinem Musterrechner über diese Datei laufen lassen und die Ergebnisse posten.
Antworten