versuche derzeit mein erstes Spider/Crawling Script zu schreiben und brauche eure Hilfe/Tipps bei einer Sache. Mein Ziel ist es ein Teil des Links rauszufiltern. Solle quasi das folgende Ergebnis bekommen:
/example/view.php?id=34
Das ist mein Code:
Code: Alles auswählen
import requests
from bs4 import BeautifulSoup
def trade_spider(max_pages):
page = 1
while page <= max_pages:
url = "example" + str(page)
source_code = requests.get(url)
plain_text = source_code.text
soup = BeautifulSoup(plain_text)
for link in soup.findALL("a", {"class": "featured-playlist-title"}):
href = link.get("href")
print(href)
page += 1
trade_spider(1)
Aber leider erhalte ich die folgende Fehlermeldung:
Code: Alles auswählen
Traceback (most recent call last):
File "C:/Users/Example/PycharmProjects/untitled/Example.py", line 19, in <module>
trade_spider(1)
File "C:/Users/Example/PycharmProjects/untitled/Example.py", line 14, in trade_spider
for link in soup.findALL("a", {"class": "featured-playlist-title"}):
TypeError: 'NoneType' object is not callable
Könnt ihr mir Tipps geben, wie ich das Problem lösen kann? Danke für euer Feedback:)