Ich glaube nicht das Du ein Problem bekommst. Allerdings würde ich mich Fragen was der Server dazu sagt, wenn Du ihn zyklisch mit Anfragen zuschießt. Wie häufig ist bei Dir zyklisch? Hast Du Zugriff auf den Server?

Eine Möglichkeit wäre:


>>> test = 'TEST'
>>> mybytes = bytearray()
>>> mybytes.extend(map(ord, test))
>>> print('test: ' + str(mybytes.hex()))
test: 54455354


Wenn es von einer Ganzzahl kommt:


>>> zahl = 123456
>>> zbytes = zahl.to_bytes(4, byteorder='big', signed=False)
>>> print('zahl ...

@alienskin: es scheint wohl, dass der Seitenbetreiber explizit das Crawlen verbietet. Ob es da ratsam ist, durch Täuschung die Nutzungsbedingungen zu umgehen, sei jedem selbst überlassen.

Ja stimmt. Wie konnte ich das in meiner Überschwänglichkeit nur übersehen...

@Moderatoren: Bitte löscht ...

Wenn man `request.session` verwendet, macht es Sinn die Sachen die sich bei den Anfragen nicht ändern, also in diesem Falle den User-Agent-Header, auf der Sitzung zu setzen und nicht bei den Anfragen anzugeben.

Ja Full ACK.

Die Typpräfixe wie `intSomething` oder `listSomething` gehören da ...

Versuchst Du den Server mit für ihn sinnvollen und vor allem verständlichen Anfragen zu belästigen:


#!/usr/bin/env python3
# -*- coding: utf-8 -*-

import requests
from bs4 import BeautifulSoup

USERAGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/537.36 (KHTML, like Gecko ...

Schaust Du Dir die Rückgabe von Deinem request.get an, wirst Du fest stellen, dass ein Fehlercode 404 zurück kommt :)

Das heißt es wird gemeldet:

"ScienceDirect does not support the use of the crawler software. If you have any questions please contact your helpdesk."

Das heißt, mit der Anfrage an ...