Web Crawler Selenium/beautifulsoup

Wenn du dir nicht sicher bist, in welchem der anderen Foren du die Frage stellen sollst, dann bist du hier im Forum für allgemeine Fragen sicher richtig.
Antworten
Gonzo25587
User
Beiträge: 1
Registriert: Donnerstag 6. Mai 2021, 11:27

Hi Leute, ich komm nicht weiter.

Was möchte ich tun:
Ich steuere mit Selenium eine Website/Browser. Passwort wir eingegeben..

with open("D:/#1 T-Shirt Business/TestDatei.csv") as file:
for i in file:

driver = webdriver.Chrome('C:/Users/Steff/PycharmProjects/Shirteagle/chromedriver.exe')
driver.get('https://merchreport-app.de/nischenanalyse/')
search_field = driver.find_element_by_name("username-9")
search_field.send_keys("***************")
search_field = driver.find_element_by_name("user_password-9")
search_field.send_keys("************")
search_field.submit()

und ein Suchberiff wird aus der CSV eingetragen und das in einer Schleife bis die CSV leer ist.

SOWEIT KEIN PROBLEM.. aber jetzt hänge ich.

Das Problem ist, dass ich dann einige Daten/Elemente abgreifen möchte. Leider ist es so .. das der HTML Code erst die daten zeigt nachdem ich den Suchbegriff eingegeben und abgeschickt habe.
Wenn ich jetzt also versuche auf eine Element zuzugreifen. Sagt Python mir das das Element nciht gefunden werden kann. Das ist für mich auch logisch weil ich ja (beiben wir bei meinem Code) sage:

driver.find_element....usw.

Ich müsste also Python iwie sagen, dass es mir die daten aus GENAU der eben angezeigten Website ziehen soll.. und dazu fällt mir einfach kein Befehl ein.

Ich hoffe ich konntet mich verstehen. Vllt zu Info .. ich bin ein Anfänger... kann sein das die Antwort einfach ist.
Vllt. noch eine kleine Anmerkung.... die webadresse ändert sich nicht.. z.b. sowas wie seite 2 oder.. sie bleibt immer gleich .. daher wir beautifulsoup nicht funktionieren oder doch?

Schonmal vielen Dank
Antworten