Seite 1 von 1
Absicherung von Queues bei Threads
Verfasst: Donnerstag 16. Juli 2020, 18:00
von ppp
Hallo,
ich habe eine Frage.
Folgender Code sei gegeben:
Code: Alles auswählen
q = queue.Queue()
def worker():
while(True):
if not q.empty():
a=q.get()
else:
break
for i in range(100):
q.put(i)
worker_threads = 10
for i in range(worker_threads):
threading.Thread(target=worker).start()
Muss ich den den Code in worker absichern(Semaphore, Mutex, Lock)? Die Queue hat ein Element, Thread A wird nach der if Abfrage unterbrochen und Thread B wird komplett ausgeführt. Danach führt A ein get auf eine leere Queue durch.
Re: Absicherung von Queues bei Threads
Verfasst: Donnerstag 16. Juli 2020, 18:06
von __deets__
Sinn und Zweck von Queues ist die Nutzung mit threads. Die sichern sich also selbst ab.
Re: Absicherung von Queues bei Threads
Verfasst: Donnerstag 16. Juli 2020, 18:10
von noisefloor
Hallo,
so wie im gezeigten Code ist `q.get()` "blocking". D.h. wenn die Queue leer ist, wird so lange gewartet, bis wieder was in der Queue ist. Wenn du das verhindern willst, musst du entweder `block=False` setzen oder ein timeout festlegen.
Gruß, noisefloor
Re: Absicherung von Queues bei Threads
Verfasst: Donnerstag 16. Juli 2020, 18:11
von __deets__
@noisefloor: er prüft doch vorher, ob was in der Queue ist.
Re: Absicherung von Queues bei Threads
Verfasst: Donnerstag 16. Juli 2020, 18:19
von noisefloor
Hallo,
@__deets__: ja, aber die Frage war ja, was passiert, wenn die Funktion _genau_ zwischen `not q.empty()`` und `q.get()` unterbrochen wird. D.h. wenn die Queue bei der Abfrage nach empty ein Element hat, ein anderer Thread reingrätsch und denn beim `get` die Queue leer ist. Keine Ahnung, ob das ein reales Szenario ist. Aber jedenfalls würde der gezeigte Code dann keine Exception werfen oder so, sondern einfach nur blockieren.
Gruß, noisefloor
Re: Absicherung von Queues bei Threads
Verfasst: Donnerstag 16. Juli 2020, 18:42
von Sirius3
Eingerückt wird mit 4 Leerzeichen pro Ebene, keine Tabs.
Alles, was eine Funktion braucht, muß sie über ihre Argumente bekommen. Keine einbuchstabigen oder kryptischen Variablennamen. while ist keine Funktion, die Klammern also unsinnig.
Da in der while-Schleife gleich in if kommt, kann man das auch als while-Bedingung formulieren.
Code: Alles auswählen
def worker(queue):
while not queue.empty():
element = queue.get()
def main():
worker_queue = queue.Queue()
for i in range(100):
worker_queue.put(i)
worker_threads = 10
for _ in range(worker_threads):
threading.Thread(target=worker, args=(worker_queue,)).start()
if __name__ == '__main__':
main()
Und hier kann es eben dazu kommen, dass die Queue bei empty noch nicht leer war, aber bei get dann schon. Daher muß man das in einem Aufruf erledigen:
Code: Alles auswählen
def worker(worker_queue):
try:
while True:
element = worker_queue.get_nowait()
except queue.Empty:
pass
Re: Absicherung von Queues bei Threads
Verfasst: Freitag 17. Juli 2020, 06:21
von ppp
Ok. Danke für die zahlreichen Hinweise. Das hat mir weitergeholfen.