Seite 1 von 1

Python Selenium Max retries exceeded with url?

Verfasst: Montag 19. September 2022, 12:45
von Yokozuna
Hallo,

Ich wollte meinen Code loopen, aber bekomme diesen error sobald es das erste mal erledigt wurde.

Unten noch mal der ganze error. Wäre Top falls mir jemand helfen könnte

urllib3.exceptions.MaxRetryError: HTTPConnectionPool(host='localhost', port=54353): Max retries exceeded with url: /session/85f74a850b8833e4b0352d5a5fbdd04b/url (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x00000245552E3400>: Failed to establish a new connection: [WinError 10061] Es konnte keine Verbindung hergestellt werden, da der Zielcomputer die Verbindung verweigerte'))

Re: Python Selenium Max retries exceeded with url?

Verfasst: Montag 19. September 2022, 13:03
von noisefloor
Hallo,

bist du sicher, dass das schon nach dem ersten Schleifendurchlauf passiert?

Ansonsten ist der Fehler doch, klar, steht im Klartext am Ende des Stacktraces. Entweder lauscht kein Server auf localhost:54353 oder eine Firewall oder was auch immer blockt die Verbindung auf localhost:54353

Gruß, noisefloor

Re: Python Selenium Max retries exceeded with url?

Verfasst: Montag 19. September 2022, 13:28
von Yokozuna
noisefloor hat geschrieben: Montag 19. September 2022, 13:03 Hallo,

bist du sicher, dass das schon nach dem ersten Schleifendurchlauf passiert?

Ansonsten ist der Fehler doch, klar, steht im Klartext am Ende des Stacktraces. Entweder lauscht kein Server auf localhost:54353 oder eine Firewall oder was auch immer blockt die Verbindung auf localhost:54353

Gruß, noisefloor
Ja, am Anfang läuft alles gut bis er es dann das 2 mal machen will und an dem error scheitert.

Re: Python Selenium Max retries exceeded with url?

Verfasst: Montag 19. September 2022, 13:32
von __deets__
Ist das ein externer Server? Wenn ja, dann hat der da im Zweifel eine Scraping-Bremse eingebaut, und verhindert, was du da vor hast.

Re: Python Selenium Max retries exceeded with url?

Verfasst: Montag 19. September 2022, 13:48
von Yokozuna
__deets__ hat geschrieben: Montag 19. September 2022, 13:32 Ist das ein externer Server? Wenn ja, dann hat der da im Zweifel eine Scraping-Bremse eingebaut, und verhindert, was du da vor hast.
Jap ist ein externer Server. Genau das dachte ich mir auch. Kann man das irgendwie umgehen?

Re: Python Selenium Max retries exceeded with url?

Verfasst: Montag 19. September 2022, 13:54
von __deets__
Keine Ahnung. Langsamer arbeiten zB. Oder den ja schon von dir an anderer Stelle gewuenschten "menschlichen Eingabemodus" programmieren. Die haben halt irgendwelche Heuristiken, und du musst versuchen, die zu umgehen. Und natuerlich sollst du das nicht, wenn es nach denen geht.

Re: Python Selenium Max retries exceeded with url?

Verfasst: Montag 19. September 2022, 14:26
von Yokozuna
__deets__ hat geschrieben: Montag 19. September 2022, 13:54 Keine Ahnung. Langsamer arbeiten zB. Oder den ja schon von dir an anderer Stelle gewuenschten "menschlichen Eingabemodus" programmieren. Die haben halt irgendwelche Heuristiken, und du musst versuchen, die zu umgehen. Und natuerlich sollst du das nicht, wenn es nach denen geht.
Könnte es auch sein, dass Selenium von Chrome detected wird? Denn in Chrome steht: Chrome wird von automatisierter Testsoftware gesteuert

Re: Python Selenium Max retries exceeded with url?

Verfasst: Montag 19. September 2022, 14:27
von __deets__
Chrome interessiert das nicht, und Chrome kontrolliert auch nicht, dass der Server nicht mehr antwortet.

Re: Python Selenium Max retries exceeded with url?

Verfasst: Montag 19. September 2022, 14:29
von noisefloor
Hallo,

Chrome ist nur die Engine (bzw. eine Engine, die Selenium nutzen kann). Ohne Engine geht es nun mal nicht.
Kann man das irgendwie umgehen?
Schau nach, ob die Seite, die du scrapen willst, ein API hat, die du nutzen könntest.

Gruß, noisefloor