Hallo

ich muss zugeben, Eure Diskussion ist recht weit außerhalb meines Verständnisbereichs, daher gehe ich da auch nicht drauf ein.
Evtl hilft Euch ja die genauere Beschreibung meines Problems Euch auf den "richtigen" Weg zu einigen :D

Bei meiner Anwendung geht es um Fileserver, die ich betreue ...

Hallo

oh mann, da teste ich die ersten zwei Antworten und komme nach einen Tag zurück...
Damit hätte ich jetzt nicht gerechnet. :shock:

@kbr Das sieht in etwas so aus wie ich es jetzt plane. Ich bin aber gerade am überlegen ob ich mich nicht einfach nach einer anderen AMQP Library umsehen. Das ...

Hallo

vielen Dank erstmal, ich werde mir das nochmal genauer ansehen.


Grüße
Christian

Hallo

ich habe ein laufähiges Programm das über die letzten 2 Jahre immer weiter gewachen ist.
Leider hat sich dadurch vollkommen undurchsichtiger Code gebildet, den ich selber nicht mehr verstehe.
Daher habe ich mir vorgenommen das ganze neu aufzuziehen.

Wichtigster Grundsatz: es soll klar ...

Es gab binnen Sekunden eine Antwort:

This is indeed a side effect of the current implementation when using no-ack set to True. I'll look into implementing some sort of back pressure functionality that could be used to prevent excessive message buildup.

Der Fehler ist also gefunden

Dank an alle

Hallo

Ich hatte mal ein ähnliches Problem und ZMQ stellte sich als der Übeltäter heraus.

Danke für den Tipp, ich glaube das ist genau mein Problem.
AMQPStorn zieht solange vorhanden, unendlich viele Nachrichten in den lokalen Speicher. Diese verschwinden aber nie!
Dieses Problem tritt nur mit ...

@chwin: Wie ”sauber” ist der Code denn? Keine Variablen auf Modulebene? Kein ``global``? Keine Monsterfunktionen oder Gott-Klassen die mehr Objekte am Leben erhalten als eigentlich nötig? Die Bereiche der Logik ordentlich getrennt?
Puh, wenn ich das wüsste :roll:
Ich bin kein sauber ausgebildeter ...

HAllo

danke erstmal für die ersten Antworten.
Die Idee mit nem memory profiler hatte ich auch schon, jedoch ist das für mich völlig neu und ich kann die Ausgaben noch nicht so recht interpretieren.
Ich bin mir auch nicht sicher welchen der vorhandenen profiler ich nehmen sollte.

Die Daten rufe ich ...

Hallo

ich habe ein inzwischen recht großes Skript, welches AMQP Nachrichten auswertet und daruber in einer SQLite DB Buch führt.
Bei meinen Tests in der Virtuellen umgebung läuft auch alles super.

Jetzt bin ich aber in die realwelt gewechselt und musste feststellen, dass das Skript irgendwie ein ...

Hallo

ich wollte mich nur nochmal zurückmelden.
Ich habe mich für die Variante vom Sirius3 entschieden.
Ganz einfach weil ich diese verstehe und nachvollziehen kann.

Das Laufzeitverhalten war bei beiden ähnlich. Es kommt aber auf die Ausgangsdaten an.
Beide Lösungen waren mal schneller mal ...

Danke BlackJack, danke Sirius3

Die Lösung von BlackJack kann ich noch nachvollziehen mit meinem Verständnis.
Bei Deiner Lösung Sirius3 steige ich leider Gedanklich aus.

Ich werde die kommenden Tage mal versuchen den Baumansatz zu verstehen.
Auf jeden Fall werde beide mal ausprobieren.

Gibt es ...

Die Reihenfolge der Ergebnisliste ist vollkommen egal.
An Sortieren hatte ich auch schon gedacht.
Aber die Elemente bestehen ja aus zwei Teilen.

Die "hierarchische" erste Hälfte und die Zufällige zweite Hälfte.
Die zweite Hälfe ist immer 128 Zeichen lang.

Das Sortieren dürfte aber nur die erste ...

@Sirius3
Ja, ich habe mir Gedanken gemacht. Meine erste Idee war zwei verschachtelte Schleifen zu bauen
In der äußeren Schleife das erste Element (vorderen Teil bis zum Unterstrich) zu nehmen und dann in der inneren mit allen Elementen mit str.startswith vergleichen.
Dabei würde ich dann halt alle ...

Hallo

ich komme irgendwie nicht weiter.
Ich habe eine riesige Liste mit Strings.
Diese Liste kann gerne mal 500k Einträge haben

["abc_random", "pqr_random", "abcdfr_random", "abcdfg_random", "pqrjhg_random", "defgh_random", "zkl_random", "abcdefghi_random"]

Die Strings können als hierarchisch ...

Vielen Dank für die schnelle Antwort.

Es hat auf Anhieb funktioniert.

@BlackJack
Objekte nutzen, die von Leuten die wissen was sie tun programmiert wurden ist das eine.
Selber welche zu bauen... das andere

Hallo

ich bin neu hier und fange an mit Python zu arbeiten.

Ich benutze es hauptsächlich als Perl Ersatz um alltägliche Adminaufgaben zu automatisieren.

Mein problem zzt:

Ich habe ein script das sehr große Textdateien mit diversen regex durchkämmt und auswertet.

Die Dateien sind durchaus im ...