Wie bestimmte Muster oder Bilder auf dem Desktop suchen

[markjohannes]

Liebe Community
ich möchte gerne bestimmte Muster, wie z.b. ein Kreuz auf dem Bildschirm suchen und dann darauf ein Klick machen. Oder auch nach einem Foto auf dem Display suchen, wie z.b. nach einer Tasse:)
Hat jemand von euch eine Idee wie man das umsetzen könnte?

Mit freundlichen Grüßen
Johannes

[__deets__]

Neben einem screen-shot (dafuer gibt's os-spezifische APIs) den du brauchst kannst du das zB mit opencv template matching machen. Und ganz grundsaetzlich kannst du natuerlich auch die volle Dosis Neuronalen-Netz-Wahnsinns loslassen, und Katzenkoepfe oder Seeigel finden.

https://docs.opencv.org/trunk/d4/dc6/tu ... ching.html

[markjohannes]

Ja vielen Dank für die schnelle und nützliche Antwort!
Wenn du neuronale Netze meinst, redest du von Tensor-Flow oder?

Lg Johannes

[__deets__]

Oder Keras oder Caffee oder. Macht im Grunde keinen Unterschied.

[markjohannes]

Hat jemand von euch eine Idee, wie ich in die Mitte des eingerahmten Bereiches ( also der Bereich, indem das Template ist) klicken könnte?

LG Johannes

[__deets__]

OpenCV hat dazu Funktionen. Hast du die mal recherchiert?

Aber ich glaube nicht, dass das wirklich das ist, was du willst. Du willst doch wohl eher "in echt" auf deinem Desktop auf ein erkanntes Ding klicken. Dazu gibt's zB das hier: https://github.com/fx-kirin/pyahk

[markjohannes]

Achso mir würde es reichen wenn ich z.b. alle 10 Minuten ein Screenshot aufnehmen die Maus in die Mitte des eingerahmten Bereiches fährt sich die Position merkt und dann in Echtzeit auf diese Position klickt. Das mit dem Position merken und darauf klicken würde ich über Pyautoguy realisieren. Ich bräuchte nur eine Funktion die die Maus in die Mitte des eingerahmten Bereiches schiebt.

[markjohannes]

Hat dazu jemand eine Programmieridee? Z.B. wie ich die Koordianten des markiertetn Bereiches herasufinden kann.

LG Johannes

[markjohannes]

Bin jetzt schon selber auf eine Lösung gekommen:)
Schönen Tag noch
Johannes