Re: Web-Page mit Refresh + Simple Web-Crawler gleichzeitig
Verfasst: Freitag 9. Juli 2021, 06:44
Wenn die gleiche URL im Browser funktioniert (tut sie für mich), dann könnte das daran liegen, dass der Betreiber die automatisierte Abfrage verhindern will, wahrscheinlich durch den HTTP Agent.
Das zu umgehen ist möglich, ich persönlich mag das aber nicht zeigen, weil es die Überwindung einer Sperre darstellt. Und das zu tun führt im Zweifel dazu, dass irgendwann Logins oder eine Kostenpflicht entsteht, weil die Spirale sich weiter dreht.
Das zu umgehen ist möglich, ich persönlich mag das aber nicht zeigen, weil es die Überwindung einer Sperre darstellt. Und das zu tun führt im Zweifel dazu, dass irgendwann Logins oder eine Kostenpflicht entsteht, weil die Spirale sich weiter dreht.