Webscraping for-Schleife (mehrere Links)

Code-Stücke können hier veröffentlicht werden.
Gesperrt
sommares
User
Beiträge: 4
Registriert: Mittwoch 3. Februar 2021, 13:44

Mittwoch 3. Februar 2021, 13:51

Hallo zusammen,

ich bin gerade dabei, eine Website zu scrapen, um mir Links auszugeben.
Innerhalb dieser Links möchte ich weitere Infos scrapen und ausgeben lassen - leider funktioniert mein Code nicht wie gewünscht.

Code: Alles auswählen

import requests
from bs4 import BeautifulSoup

# 1. Stepstone nach Junior Consultant Jobs durchsuchen 

url = 'https://www.stepstone.de/jobs/Junior-Consultant.html'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.10; rv:39.0)'}

res = requests.get(url, headers=headers)

soup = BeautifulSoup(res.text, 'html.parser')

angebote = soup.select('.job-element__url')

print(len(angebote))

# 2. Für jeden Beruf die Anforderungen ausgeben lassen

for angebot in angebote:
  print(angebot.get('href'))
  for angebot in angebote:
      print(angebot.get('at-section-text-profile-content'))
ich möchte mir innerhalb von jeder URL den tag "at-section-text-profile-content" ausgeben lassen.
Allerdings kriege ich im Ergebnis mehrmals "none".

Kurzgesagt: für jeden Beruf (.job-element.url) die Anforderungen (at-section-text-profile-content) ausgeben.

Bin für jede Hilfe dankbar.

Grüße
Benutzeravatar
__blackjack__
User
Beiträge: 8430
Registriert: Samstag 2. Juni 2018, 10:21
Wohnort: 127.0.0.1
Kontaktdaten:

Mittwoch 3. Februar 2021, 16:38

@all: Doppelpost. Zum Antworten bitte hier hin gehen: viewtopic.php?f=11&t=51157
“For every complex problem, there is a solution that is simple, neat, and wrong.” — H. L. Mencken
Gesperrt