html untersuchen

[Fire Spike]

wie funktioniert es bei dir? mit meinem lande ich immer bei der anmeldeseite!

Code: Alles auswählen

def online_benutzer_parser():
    with requests.Session() as session:
        benutzerdaten = {"benutzername" : "Fire Spike",
                         "passwort" : "geht-euch-nichts-an"}
        session.post("https://www.python-forum.de/ucp.php?mode=login", data=benutzerdaten)
        params = session.params
        cookies = session.cookies.get_dict()
        html = session.get("https://www.python-forum.de/viewonline.php", cookies=cookies, params=params).text
        print(html)

[__blackjack__]

@Fire Spike: Ich habe das Formular auf der Indexseite verwendet. Die `params` habe ich nicht gebraucht und die Cookies brauchst Du garantiert nicht, dafür ist ja das `Session`-Objekt da.

Und die Schlüssel heissen natürlich nicht "benutzername" und "passwort".

[Fire Spike]

geändert aber geht immer noch nicht.

Code: Alles auswählen

def online_benutzer_parser():
    with requests.Session() as session:
        benutzerdaten = {"username" : "Fire Spike",
                         "password" : "ungültig"}
        session.post("https://www.python-forum.de/index.php", data=benutzerdaten)
        html = session.get("https://www.python-forum.de/viewonline.php").text
        print(html)

[Sirius3]

Du benutzt die falsche URL.

[Fire Spike]

was ist den die richtige?

[Fire Spike]

die geht auf jeden fall nicht: ucp.php?mode=login

[Sirius3]

Wie kommst Du drauf? Außerdem habe ich Dir schon vor einer Woche geschrieben, dass da noch mehr Formular-Daten sind.

[Fire Spike]

hast recht, der autologin hatte ich übersehen. was erwartet der den für werte? im code finde ich nichts.

[Fire Spike]

ich habe mal 1, true, on und yes übergeben aber es ging nichts . Was erwartet es denn?

[Sirius3]

Mit Raten kommst Du hier nicht weiter. Du mußt nachschauen, was wirklich übergeben wird.

[Fire Spike]

das weiss ich, aber im quelltext finde ich nichts. kann gut sein weil ich nicht wirklich die erfahrung von html habe aber ich gab mir mühe.

[Sirius3]

Developerseite des Browsers Deines Vertrauens öffnen, Formular absenden und nachschauen, welcher Request mit welchen Parametern abgesetzt wurde.

[Fire Spike]

Mein browser ist chromium auf dem rpi4 und dort finde ich nichts wo ich request mit den parametern anschauen könnte.
Ps: Ist bei dir die schrift vom Forum auch aktualisiert worden?

[__deets__]

Moderne Browser haben einen Debugger eingebaut. Einfach Rechtsklick und "dieses Element inspizieren" oder so etwas aehnliches aufrufen. Und da gibt es dann auch einen "Network"-Tab, in dem du dir anschauen kannst, was fuer Requests wann mit welchen Daten passieren.

[Fire Spike]

Also, das hier sind die formulardaten

Code: Alles auswählen

username: Fire Spike
password: bdfbb
autologin: on
redirect: ./ucp.php?mode=login
sid: f95fcf4b747f58cd111f360e715e028b
redirect: index.php
login: Anmelden

welche brauche ich davon?

[__deets__]

Nimm doch einfach alle. Warum sparen?

[Fire Spike]

es geht jetzt, aber wie kann ich jeden namen ausgeben?
Im moment kommt nur der eigene name.

Code: Alles auswählen

soup.find("div", "forumbg forumbg-table").table.tbody.tr.td.a.next

Ich hatte schon versucht über die tr zu iterieren aber es kommt immer ein KeyError.

[Fire Spike]

Ich kann jetzt die normalen user anzeigen, aber bei den bots kommt ein

Code: Alles auswählen

AttributeError: 'NavigableString' object has no attribute 'td'

Code: Alles auswählen

        session.post("https://www.python-forum.de/ucp.php?mode=login", data=benutzerdaten)
        html = session.get("https://www.python-forum.de/viewonline.php").text
        soup = BeautifulSoup(html, "html.parser")
        i = 1
        for tag in soup.find("div", "forumbg forumbg-table").table.tbody.contents:
            try:
                user = tag.td.a.next
            except AttributeError:
                user = tag.td.span.next
            i +=1
            print(user)

was ist hier falsch?

[__blackjack__]

@Fire Spike: Na offensichtlich das `tag` in dem Fall kein Element mehr ist sondern ein `NavigableString` der kein `td`-Attribut hat.

Ich würde sagen das `contents` ist falsch, weil Du an der Stelle aufhörst Dich an der Struktur zu orientieren. Wenn Du die Tabellenzeilen verarbeiten willst, sollte nach dem `tbody` ein `find_all("tr")` kommen, dann bist Du schon mal sicher das `tag` nicht irgenwas sein kann, sondern nur <tr>-Elemente aus der Tabelle.

[Fire Spike]

Danke für alle die mir geholfen haben.