Das deutsche Python-Forum

Hey,

ich möchte einen Cookie Scanner programmieren welcher alle Cookies einer beliebigen Webseite ausliest wie es auch z.B. Cookiebot etc. machen.
Ich bin neu in Python bzw. auch in dem Thema Cookies und habe daher nur Gedankenansätze wie ich einen solchen Cookie Scanner bauen könnte.

Meine erste Idee wäre einfach alle Seiten der Webseite zu durchlaufen (crawler) um alle URLs zu bekommen und dann irgendwie jede Seite einmal auf zu rufen und die Cookies ab zu fragen.
Meine zweite Idee ist auch erstmal alle Seiten zu durchlaufen damit man die kompletten URLs der Webseite hat und dann irgendwie sie Seiten einzeln runter zu laden und den Quellcode zu durchsuchen auf JavaScript welche Cookies einbinden. Problem hieran ist aber glaube ich das nicht alle Cookies (HTTP-Cookies) gefunden werden.

Wichtig ist mir das ich alle Cookies finde...

Könnt ihr mir helfen was die beste Methode wäre oder ob einer meiner Ideen vielleicht schon funktionieren könnte?

Grüße
Chuky

Deine beste Chance besteht darin einen Browser zu automatisieren. Nur dann bekommst du die tatsaechlich gesetzten Cookies. Dazu bietet sich ein Tool wie Selenium an.

Von Hand Javascript zu analysieren ist aussichtslos. Zum einen kann der Code beliebig obfuskiert sein, und zum anderen passiert das meiste durch eingebundene JS wie zB google analytics.

Und mit Selenium kann ich dann alle Cookies auslesen?

Ich werde mich damit mal beschäftigen. Gibt es zufällig auch schon einen Crawler für Python oder muss man sich den selber bauen?

Beide Fragen kann man sich auch erstmal versuchen selbst zu beantworten, indem man mal die Dokumentation zu Selenium anschaut oder sowas verruecktes wie "selenium cookies" oder "python crawler" googelt.