python region für web scraping ändern

Sockets, TCP/IP, (XML-)RPC und ähnliche Themen gehören in dieses Forum
Antworten
bastidererste
User
Beiträge: 1
Registriert: Sonntag 3. Februar 2013, 22:43

hallo,

wie bringe ich python bei eine seite als "us en" Version abzufragen... ich möchte eine Seite von IMDB scrapen, diese aber nicht mit den deutschen titeln der serien sondern mit den englischen... habe meinen mac auf die Region usa eingestellt, und der browser und terminal(curl) liefern brav die us en Variante der Seite, nur eben python nicht.

vielen dank für die Hilfe

basti
BlackJack

@bastidererste: Als erstes müsste man mal den Unterschied in den Abfragen heraus finden. Ich vermute mal, dass der Browser einen entsprechenden Header übermittelt und die Python-Abfrage nicht. Dann wird IMDB anhand der IP die Du verwendest „raten” aus welchem Land die Abfrage kommt.

Dann müsstest Du den Header den der Browser verwendet, auch von Python aus mitschicken. Da kommt es dann darauf an, wie Du die Abfrage machst.
Antworten