Hallo, @123GuteLaune: Das sollte man nicht nur *eigentlich* nicht machen, sondern das sollte man wirklich *nicht* machen. Selbst wenn es ”funktioniert” kannst Du nach dem ersten Timeout im Grunde keinen Ergebnissen mehr trauen, weil Du nicht weisst ob sich das alles noch in einem gültigen Zustand be...

Moin, man kann da meines Erachtens nach schon etwas machen. Ich würde die function einfach wrappen und mit dem @timeout-Dekorator von dieser Stackoverflow Antwort versehen. Statt dem if-else Teil mit der händisch gepflegten Liste mit den indices, würdest du dann einen try-except Teil einbauen. Salop...

Falls es noch jemanden interessiert. Mein poor man's pool.join() mit timeout funktioniert wunderbar. Es gab noch einen Bug, bei dem mir noch später Exceptions um die Ohren flogen, wenn nachträglich noch Jobs fertig wurden, bevor die Methode anständig zuende war. Das habe ich gelöst, in dem ich nach ...

Ich kann obigen post leider nicht mehr editieren. Die erste Zeile ist falsch eingerückt, sie muss 4 Zeichen weiter eingerückt werden.

Hallo, danke für die vielen Antworten. Ich habe noch mal über das Problem nachgedacht, und bin der Meinung, dass ich gerne ein pool.join() mit Timeout haben möchte, was allerdings wohl nicht möglich ist. Daher dachte ich, ich baue mir mein eigenes pool.join() (ohne zu wissen, wie das im originalen i...

Hallo, ich befasse mich gerade mit Multlthreading. Der Anwendsungsfall ist: Ich möchte gleichzeitig Daten von verschiedenen Quellen holen. Manchmal reagiert beispielsweise eine der Quellen sehr langsam und hält den gesamten Prozess auf. Für diesen Fall möchte ich gerne das Abholen der Daten anhalten...

Alles klar,

danke.

Hallo Sirius, das stimmt. Wenn in meiner Shell als DJANGO_SETTINGS_MODULE beispielsweise 'pfad.settings1' gesetzt ist und ich sowas ausführe wie hier, dann wird settings2 benutzt. import os os.environ['DJANGO_SETTINGS_MODULE'] = 'pfad.settings2' Wenn ich dann aber Sachen von der DB herunterlade (als...

Hallo, zur Zeit arbeite ich auf verschiedenen Datenbanken und habe daher verschiedene settings_*.py, um die Datenbanken entsprechend anzusprechen. Alle verfügbaren Datenbanken in einer settings_*.py ist leider keine Option, da feste Namen vergeben sind. Ich löse das Problem so, in dem ich einfach vo...

Hallo, ich will noch eine kurze Zusammenfassung als Rückmeldung geben, falls jemand mal so ein ähnliches Problem hat und diese Seite hier findet: Es gab noch kleinere Hürden und letztenendlich habe ich mich für ``map`` und nicht ``imap_unordered`` entschieden, da mir dies simpler erscheint und mir d...

Hallo,

vielen Dank, ich denke, ich habe das nun verstanden.

Viele Grüße,
Nras.

@BlackJack, Ich hoffe, ich falle dir nicht zu sehr zur Last :). Nun habe ich es fast verstanden. Aber (leider) kommt nun noch eine Rückfrage von mir `pool.apply_async()` führt `get_data()` ja nicht direkt aus, sondern asynchron in einem anderen Prozess. Die `apply_async()` Methode muss doch *sofort*...

@BlackJack Vielen Dank für deine Mühe. Du hast recht, das ``continue`` war in dem Fall unnötig, in dem Code-Beispiel dadrüber hatte ich es aber gebraucht. Wieso wird denn aber in dem `pool.apply_async(process_file_id, (file_id, a, b, c, d))` kein ValueError ausgelöst? Dort wird doch `get_data()` auf...

@BlackJack Danke, das habe ich gleich mal getestet (s.u. für lauffähiges Beispiel). Wenn ich es richtig sehe, benötige ich aber das "pool.join()" in Zeile 13 gar nicht, weil aus meiner for-Schleife nichts zusammengebaut werden muss, sondern die einzelnen Sachen direkt weggeschrieben werden...

@BlackJack @Nras: Dann erstelle einfach einen Pool und verwende entweder `apply_async()` um die Funktion die das alles macht mit jeder ID und a, b, c, und d aufzurufen. Oder erstelle eine entsprechende Liste mit Elementen die diese Daten enthalten und verwende `imap_unordered()` und iteriere über da...

@BlackJack Also der get_data()-Part braucht deutlich kürzer als der do_something()-Part. Jedoch benutzen beide Teilparts jeweils nur einen Kern. Ich denke, ich kann mich schlecht ausdrücken. Ich möchte CPU 1: macht data = get_data(file_ids[0], a, b) --> do_something(data, c, d) --> store. gleichzeit...

Hallo, ich bin totaler Datenbank-Laie. Ehrlich gesagt bin ich mir, nach kurzer Google-Befragung, nicht sicher, was das überhaupt ist und somit weiß ich auch nicht, ob die Datenbank das zulässt. Falls das so richtig wichtig ist, kann ich das in Erfahrung bringen. Ansonsten hilft es vielleicht schon, ...

Hallo, genau. Aber das Ergebnis von file_ids ist unabhängig vom Ergebnis von file_ids[i+1]. Das heißt die ganzen Berechnungen sollten für 3 file_ids parallel laufen können, nicht für eine einzelne file_id. Also jede CPU soll sich immer die nächste abzuarbeitende file_id schnappen und get_data() und ...

Hallo zusammen, nachdem ich nun einige Zeit in Python investiert habe, komme ich schon gut zurecht und kriege fast alles hin, was ich möchte. Mein Programm sieht grob zusammengefasst so aus: file_ids = ['blabla1', 'blablub19',' blablala22'] a, b, c, d = 1, 'blub', 3, 4 # dummy parameter for file_id ...

Hallo, zunächst mal Danke für die Antworten. Das mit den verschachtelten Listen war nur so eine Idee, die ich inzwischen aber schon zugunsten von arrays oder dictionaries verworfen habe. Vermutlich wäre es besser, weitere Fragen in einem anderen Beitrag zu erstellen. ... es wäre vielleicht auch gut ...