FileSize Limit

[ben]

Hi,

ich hab nen Parser der mir LogFiles analysiert, leider sind die Teilweise so um die 3,5 GB groß.
Mein System ist 32 Bit und ich arbeite mit Python 2.5.
Hat einer von euch ne Idee, wie ich trotz der Dateigröße diese Dateien parsen kann?

Gruß
Ben

[lunar]

In dem Du sie nicht am Stück einliest, sondern block- oder zeilenweise.

[noisefloor]

Hallo,

> Mein System ist 32 Bit
Das ist quasi egal, WENN du Linux nutzt und deine Distribution sowie deine CPU PAE unterstützen. Was bei allen halbwegs aktuellen Distros und CPUs der Fall ist / sein sollte.

Aber selbst wenn du 6 oder 8 GB RAM hast - zeilenweisen einlesen macht trotzdem Sinn.

Und vorher Gedanken machen, wie groß das Ergebnisses des Parsens werden könnten.

Gruß, noisefloor

[joshi]

> Mein System ist 32 Bit
Das ist quasi egal, WENN du Linux nutzt und deine Distribution sowie deine CPU PAE unterstützen. Was bei allen halbwegs aktuellen Distros und CPUs der Fall ist / sein sollte.

Das ist nicht ganz korrekt. Mithilfe von PAE kann zwar das System insgesamt mehr als 4GB Arbeitsspeicher an die Prozesse verteilen, ein Prozess ist aber immer noch auf ein 32bit Adressregister beschränkt -> pro Prozess max. ~4GB

[Leonidas]

Trotzdem, selbst mit 64 Bit ist es oftmals nicht sinnvoll so große Dateien in den Speicher zu laden. Spätestens wenn dein System anfängt zu swappen geht die Performance total in den Keller.

[ben]

Danke für die Denkanstöße.
Lese die Dateien jetzt zeilenweise ein und es scheint zu funktionieren.

Ben