Absicherung von Queues bei Threads

[ppp]

Hallo,
ich habe eine Frage.

Folgender Code sei gegeben:

Code: Alles auswählen

q = queue.Queue()

def worker():
	while(True):	
		if not q.empty():
			a=q.get()
		else:
			break

for i in range(100):
	q.put(i)

worker_threads = 10
for i in range(worker_threads):
	threading.Thread(target=worker).start()

Muss ich den den Code in worker absichern(Semaphore, Mutex, Lock)? Die Queue hat ein Element, Thread A wird nach der if Abfrage unterbrochen und Thread B wird komplett ausgeführt. Danach führt A ein get auf eine leere Queue durch.

[__deets__]

Sinn und Zweck von Queues ist die Nutzung mit threads. Die sichern sich also selbst ab.

[noisefloor]

Hallo,

so wie im gezeigten Code ist `q.get()` "blocking". D.h. wenn die Queue leer ist, wird so lange gewartet, bis wieder was in der Queue ist. Wenn du das verhindern willst, musst du entweder `block=False` setzen oder ein timeout festlegen.

Gruß, noisefloor

[__deets__]

@noisefloor: er prüft doch vorher, ob was in der Queue ist.

[noisefloor]

Hallo,

@__deets__: ja, aber die Frage war ja, was passiert, wenn die Funktion _genau_ zwischen `not q.empty()`` und `q.get()` unterbrochen wird. D.h. wenn die Queue bei der Abfrage nach empty ein Element hat, ein anderer Thread reingrätsch und denn beim `get` die Queue leer ist. Keine Ahnung, ob das ein reales Szenario ist. Aber jedenfalls würde der gezeigte Code dann keine Exception werfen oder so, sondern einfach nur blockieren.

Gruß, noisefloor

[Sirius3]

Eingerückt wird mit 4 Leerzeichen pro Ebene, keine Tabs.
Alles, was eine Funktion braucht, muß sie über ihre Argumente bekommen. Keine einbuchstabigen oder kryptischen Variablennamen. while ist keine Funktion, die Klammern also unsinnig.
Da in der while-Schleife gleich in if kommt, kann man das auch als while-Bedingung formulieren.

Code: Alles auswählen

def worker(queue):
    while not queue.empty():
        element = queue.get()

def main():
    worker_queue = queue.Queue()
    for i in range(100):
        worker_queue.put(i)

    worker_threads = 10
    for _ in range(worker_threads):
        threading.Thread(target=worker, args=(worker_queue,)).start()

if __name__ == '__main__':
    main()

Und hier kann es eben dazu kommen, dass die Queue bei empty noch nicht leer war, aber bei get dann schon. Daher muß man das in einem Aufruf erledigen:

Code: Alles auswählen

def worker(worker_queue):
    try:
        while True:
            element = worker_queue.get_nowait()
    except queue.Empty:
        pass

[ppp]

Ok. Danke für die zahlreichen Hinweise. Das hat mir weitergeholfen.