ich versuche momentan die Google Ergebnisse mit urllib2 / requests und beautifulsoup zu parsen.
Um einen Desktop PC zu simulieren nutze ich folgenden Header:
Code: Alles auswählen
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/ 58.0.3029.81 Safari/537.36
Code: Alles auswählen
Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B137 Safari/601.1
Code: Alles auswählen
import requests
headers_mobile = { 'User-Agent' : 'Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B137 Safari/601.1'}
link = 'https://www.google.com/search?q=testseite&num=22&hl=de'
B_response = requests.get(link, headers=headers_mobile)
for i in B_response:
print(i)
Frohes und besinnliches Fest!