ich bin gerade dabei, eine Website zu scrapen, um mir Links auszugeben.
Innerhalb dieser Links möchte ich weitere Infos scrapen und ausgeben lassen - leider funktioniert mein Code nicht wie gewünscht.
Code: Alles auswählen
import requests
from bs4 import BeautifulSoup
# 1. Stepstone nach Junior Consultant Jobs durchsuchen
url = 'https://www.stepstone.de/jobs/Junior-Consultant.html'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:39.0)'}
res = requests.get(url, headers=headers)
soup = BeautifulSoup(res.text, 'html.parser')
angebote = soup.select('.job-element__url')
print(len(angebote))
# 2. Für jeden Beruf die Anforderungen ausgeben lassen
for angebot in angebote:
print(angebot.get('href'))
for angebot in angebote:
print(angebot.get('at-section-text-profile-content'))
Allerdings kriege ich im Ergebnis mehrmals "none".
Kurzgesagt: für jeden Beruf (.job-element.url) die Anforderungen (at-section-text-profile-content) ausgeben.
Bin für jede Hilfe dankbar.
Grüße