ich würde mich gerne per request beim Forum anmelden und dann ca. alle 5min mit bs4 die Startpage scrapen um zu schauen ob neue, ungelesene Beiträge vorhanden sind. Dabei bin ich auf ein kleines Problem gestoßen und habe nun zwei Fragen.
- @Damaskus: Ist es überhaupt ok das Forum hier zu scrapen?
- folgender Code sollte eigentlich schon das einloggen übernehmen, allerdings funktioniert da was nicht richtig. Beim Anmelden per Internetbrowser steht nach dem Login, dass es fehlgeschlagende Anmeldeversuche gibt. Also scheint der Code da doch irgendwie zu funktionieren.
Code: Alles auswählen
from bs4 import BeautifulSoup
import requests
HEADERS = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:44.0) Gecko/20100101 Firefox/44.0"}
with requests.Session() as session:
user_data = {"username":"Jankie", "password":"xxx", "autologin":"on", "login":"Anmelden"}
session.post("https://www.python-forum.de/ucp.php?mode=login", data=user_data)
start_page = session.get("https://www.python-forum.de/", headers=HEADERS)
soup = BeautifulSoup(start_page.content, "html.parser")