Suchergebnisse von Google requests/urllib2

Wenn du dir nicht sicher bist, in welchem der anderen Foren du die Frage stellen sollst, dann bist du hier im Forum für allgemeine Fragen sicher richtig.
Antworten
gerryontour
User
Beiträge: 23
Registriert: Dienstag 30. Juni 2020, 15:50

Hi,

ich versuche momentan die Google Ergebnisse mit urllib2 / requests und beautifulsoup zu parsen.
Um einen Desktop PC zu simulieren nutze ich folgenden Header:

Code: Alles auswählen

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/ 58.0.3029.81 Safari/537.36
für den mobilen:

Code: Alles auswählen

 Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B137 Safari/601.1
Ist es nun möglich, nur durch austauschen der Header, auf Google eine Mobile-Suchanfrage und eine Desktop-Suchanfrage zu stimulieren? Da sich die Ergebnisse signifikant unterscheiden. Ich nutze zum testen folgenden Code, wo aber die selben Ergebnisse ausgespuckt werden.

Code: Alles auswählen

    import requests
    headers_mobile = { 'User-Agent' : 'Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B137 Safari/601.1'}
    link = 'https://www.google.com/search?q=testseite&num=22&hl=de'
    B_response = requests.get(link, headers=headers_mobile)
    for i in B_response:
        print(i)
Gibts da ne Möglichkeit oder beachte ich etwas nicht?

Frohes und besinnliches Fest!
Antworten