Speicherverbrauch

[Gremlin]

Hallo zusammen,

ich würde gerne wissen wie ich mit python so wenig Arbeitsspeicher wie möglich in Anspruch nehmen kann. Mein Programm benötigt aktuell 35Mb (Direkt nach dem Start) und ich bezweifle stark dass ich wirklich alles davon brauche. Nun dachte ich daran alles mit "from x import y" zu machen, aber das hat zumindest bei wx nichts gebracht als ich es im Interpreter mal kurz ausprobiert habe. (from wx import ID_YES) Ich vermute das liegt daran, dass wx eben alles in einen Namespace packt, wie ich es ja letztlich auch mache (siehe mein letzter Thread wegen den partiellen imports).

Dann wäre da noch die Sache mit dem was nach dem Start des Programms an Speicher angehäuft wird. Ich weiß, garbage collection usw., aber gibt es irgendetwas was ich ähem, optimieren könnte? (Gerne auch Lesestoff, wenns da was gibt.)

Ich frage mich nun, ob ich überhaupt irgendwas machen kann? Sonderlich wichtig ists nicht, war nur sone Idee die letzten Tage und interessiert mich jetzt einfach mal.

[Dauerbaustelle]

Du könntest z.B. mal schauen ab welchem Zeitpunkt der Verbrauch so drastig steigt -- nach welchem Modul-Import, welcher Schleife, etc...

Allerdings sei dazugesagt, dass die üblichen Prozessmonitoren etc. eher schlechte Auskunft über Speicherverbrauch geben. Allgemein ist es eher schwer, genaue zu bestimmen, wie viel ein Prozess jetzt nutzt, vor allem, wenn Shared Libraries im Spiel sind.

[Dauerbaustelle]

Zu dem `from x import y`: Wenn mich nicht alles täuscht, cached CPython in jedem Falle (ob jetzt `from`-Import oder nicht) das ganze Modul, also z.B. `wx`. Würde dann also keinen Unterschied machen.

[Leonidas]

Ja, man kann Module nicht "partiell" laden. Die einzige Art Speicher zu sparen ist weniger und kleinere Objekte zu allokieren. Und möglichst wenige Referenzen zu diesen vorhalten, damit der Garbage Collector sie möglichst früh wegräumt.

[BlackJack]

@Gremlin: Wie hast Du die Zahl denn ermittelt und warum zweifelst Du das davon alles gebraucht wird? Das so wenig wie möglich realer Arbeitsspeicher belegt wird, ist zu einem guten Teil Aufgabe des Betriebssystems. Du kannst wie Leonidas schon ausgeführt hat, nur dafür sorgen das Du nicht übermässig lange Referenzen auf Sachen hältst, die nicht mehr benötigt werden.

Aber fang jetzt bitte nicht an zu versuchen das explizit zu forcieren. Wenn Du normal und sauber programmierst musst Du da nichts extra machen.

[Darii]

Dann wäre da noch die Sache mit dem was nach dem Start des Programms an Speicher angehäuft wird. Ich weiß, garbage collection usw., aber gibt es irgendetwas was ich ähem, optimieren könnte? (Gerne auch Lesestoff, wenns da was gibt.)

C benutzen. Wenn du das nicht willst, verschwende nicht deine Zeit damit, so lange du noch freien Speicher hast.

[Gremlin]

Du könntest z.B. mal schauen ab welchem Zeitpunkt der Verbrauch so drastig steigt -- nach welchem Modul-Import, welcher Schleife, etc...

Hm, allerdings hab ich keine so rechte Vorstellung davon wann etwas "viel" und wann "wenig" Speicher braucht, also im Vergleich dazu was gemacht wird.

möglichst wenige Referenzen zu diesen vorhalten

Gut, das ist dann aber eindeutig etwas dass ich, wenn ich es nicht von vornherein beachte, auf die Liste der zu erledigenden Sachen während tierischer Langeweile schiebe

C benutzen. Wenn du das nicht willst, verschwende nicht deine Zeit damit, so lange du noch freien Speicher hast.

Naja, das Programm läuft unter Umständen im Hintergrund während ein Spiel im Vordergrund läuft. Letztlich wollt ich hiermit nur nochmal sicher gehen, dass das was ich mir dachte zutrifft. Das also der Aufwand größer ist als der Nutzen.

@BlackJack
Ich hab einfach im Windows Taskmanager nachgesehen. Warum ich daran zweifle? Weil ich nicht jede Klasse, Funktion oder Konstante aus den Paketen (z.b. wx) benötige. Klar, intern hängt das auch wieder von vielem ab was ich nicht sehe bzw. direkt anwende aber wenn der Interpreter nach dem "from wx import ID_YES" plötzlich von 3,5Mb auf 16Mb ansteigt.. naja. Aber wie gesagt, lässt sich nicht ändern. Und nein ich fange jetzt nicht damit an überall lauter del's einzufügen, keine Angst.

[Leonidas]

möglichst wenige Referenzen zu diesen vorhalten

Gut, das ist dann aber eindeutig etwas dass ich, wenn ich es nicht von vornherein beachte, auf die Liste der zu erledigenden Sachen während tierischer Langeweile schiebe

Ja, hast ja den Grundtenor ganz richtig eingeschätzt: "Lohnt sich nicht, wenn es nicht extrem wird". Natürlich kann es fälle geben bei denen exorbitant viel Speicher verbraucht wird, aber jetzt alles durchgehen wenn kein akuter "Bug" vorliegt lohnt sich wirklich nicht. Am Schluss sparst du 500kb und hast 2 Tage investiert, und das nächste wx-Update verbraucht dann 2 MB mehr.

[mutetella]

Nun ja, als ich mir vor gefühlten 400 Jahren nach C16 und Atari ST meinen ersten 'richtigen' Computer, einen Amstrad PC 1512 mit 640 KB Speicher und 20 MB Festplatte für unglaubliche ~ 2000 Mark schenken ließ, da war das durchaus ein beliebter Sport, durch alle möglichen Tricks hier und da 10 KB zu sparen...

Unglaublich, mit welchen Maschinen wir heute hantieren und wie gleichgültig uns ein Speicherverbrauch in Größe meiner damaligen Festplatte sein kann...

Über was wohl mein Sohnemann einmal schmunzeln wird...?

[snafu]

Über was wohl mein Sohnemann einmal schmunzeln wird...?

Wahrscheinlich über Garbage Collectoren und ``delete``-Methoden.

[mutetella]

@snafu: Du hast Recht, eigentlich hat sich nur das Niveau verschoben...

Die Vorstellung, Speicher wird einmal überhaupt keine Rolle mehr spielen, hmm, das ist schon irgendwie irre....
Ich stelle mir das in die Richtung vor, dass der weltweit vorhandene Speicher intelligent geteilt wird, d. h., wenn ich hier an eine bestimmte Grenze komme, dann schiebt mein System einfach etwas zu Dir rüber, falls Du gerade genügend Freiraum hast...

[Xynon1]

@mutella
Das widerspricht sich aber irgendwie mit den CPU nahen Konstruktionen, der Hauptspeicher muss doch *schnell* sein. Ich kann mir nicht vorstellen, dass das sonderlich Effizient ist, diesen erst zum Nachbarn schieben zu müssen

[mutetella]

@Xynon1: Nun ja, Speicherbereiche mit dem USB-Stick zur nächsten Maschine zu tragen ist für ein flüssiges Arbeiten vielleicht nicht so ganz das Wahre...
Aber ich hoffe doch sehr, dass aus dem Politikum "schnelles Internet" bis dahin doch etwas geworden ist, mit dem Du und ich dann auch umgehen dürfen...



EDIT: Und ich meine jetzt wirklich SCHNELLES Internet...

[Xynon1]

Ich bezweifle, dass das Internet schneller wird als Festplatten, denn ein "Swap"s in einem schnellen RAID ist zwar vergleichsweise noch sehr langsam zum normalen Hauptspeicher aber um einiges schneller als ein Datenaustausch via Internet. Von daher wenn du langsamen Speicher nutzen willst dann nimm nicht auch noch den langsamsten.

[lunar]

@mutetella: Selbst wirklich schnelle und latenzarme Verbindungen wie Infiniband erreichen allenfalls Transferraten von 20 GB/s bei Latenzen von 200 ns. Moderner Arbeitsspeicher erreicht bereits pro Modul Transferraten von 25 GB/s bei Latenzzeiten von 10 ns, und selbst das ist für moderne Prozessoren zu langsam.

Und InfiniBand wird immerhin in Cluster-Systemen eingesetzt, viel schneller geht es nicht. Normale TCP-Verbindungen sind schon aufgrund des Protokoll-Overheads weitaus langsamer.

[mutetella]

Es gibt keinen Grund, warum jemand einen Computer zu Hause haben wollte.

Ich bezweifle, dass das Internet schneller wird als Festplatten, ...

Selbst wirklich schnelle und latenzarme Verbindungen wie Infiniband erreichen allenfalls Transferraten von 20 GB/s bei Latenzen von 200 ns. ... und selbst das ist für moderne Prozessoren zu langsam.

Wo habt ihr denn eure Visionen versteckt...?

[EyDu]

Wo habt ihr denn eure Visionen versteckt...?

Zum Beispiel hinter dieser dämlichen Lichtgeschwindigkeit...

[Xynon1]

@mutetella
Im Realismus, gut verborgen und zum Teil begraben

[mkesper]

mutetella: Vergiss es, das Problem ist hier nicht der absolute Durchsatz sondern die Latenzzeit. Und da tut sich eigentlich nichts Nennenswertes mehr, im Gegenteil, zur Zeit eingesetzte Netzwerkstrukturen erzeugen da ziemlich viel Overhead, so genannten Bufferbloat.

[sma]

Unglaublich, mit welchen Maschinen wir heute hantieren und wie gleichgültig uns ein Speicherverbrauch in Größe meiner damaligen Festplatte sein kann...

Mein erster Computer hatte 16 KB RAM. Das Notebook, an dem ich gerade schreibe, hat 8 GB RAM und mein nächster iMac wird das auch mindestens haben, wahrscheinlich kaufe ich da aber gleich 16 GB.

Wenn es mir also damals gelang, 1 KB Programmgröße einzusparen, dann ist das bei 16 GB RAM mit 1 GB RAM zu vergleichen. Darunter ist es müßig, sich über den Speicherverbrauch ernsthaft Gedanken zu machen.

Stefan