Das deutsche Python-Forum

Code: Alles auswählen

import requests
from bs4 import BeautifulSoup
# urljoin baut weiterführende links aus reletiven pfadangaben zusammen
# angegeben muss der initiale link, wobei nur die base als root genommen wird unabhängig ob die url die erste Seite ist
# oder bereits tiefer in der Hierarchie
from urllib.parse import urljoin

# um eine Wartezeit zwischen den einzelnen Durchläufen einer Schleife zu definieren, muss Modul "tine" eingebunden werden
import time

class CrawledArticle:
    def __init__(self, title, emoji, content, image):
        self.title = title
        self.emoji = emoji
        self.content = content
        self.image = image


class ArticleFetcher:
    def fetch(self):
        url = "http://python.beispiel.programmierenlernen.io/index.php"
        next_page = "init"
        while next_page is not None or "" or False:
            r = requests.get(url)
            doc = BeautifulSoup(r.text, "html.parser")

            # für alle Elemente der Klasse "card" wird eine Schleife erzeugt
            articles = []
            next_page = doc.select_one(".navigation .btn-primary")
            print(next_page)
            for element in doc.select(".card"):
                # die Klassenbezeichnung in der Schleife bezieht sich nur auf Elemente innerhalb der Schleifendefinition
                # (Klasse "card" in dem Beispiel)
                emoji = element.select_one(".emoji").text
                content = element.select_one(".card-text").text
                # mehrere span Elemente in .card-title
                # mit "select" als Liste ausgeben und entsprechendes Element als Index definieren. .text nur Inhalt ausgeben
                title = element.select(".card-title span")[1].text
                image = urljoin(url, element.select_one("img").attrs["src"])
                # Objekt mit jedem Scheifendurchlauf an Liste anhängen, wodurch man die einzelnen Ergebnisse außerhalb der
                # Schleife benutzen kann
                crawled = CrawledArticle(title, emoji, content, image)
                articles.append(crawled)

                # Außerhalb der Schleife müssen die Ergebnisse jedes Durchlaufs an eine Liste gehängt werden
                # geht so nur mit jedem Schleifendurchlauf
                # print(crawled.title)
            url = urljoin(url, next_page.attrs["href"])
            print(url)
        return articles

ausgabe = ArticleFetcher()
ausgabe_liste = ausgabe.fetch()

Code: Alles auswählen

Traceback (most recent call last):
  File "<input>", line 1, in <module>
  File "C:\Program Files\JetBrains\PyCharm 2018.1.2\helpers\pydev\_pydev_bundle\pydev_umd.py", line 194, in runfile
    pydev_imports.execfile(filename, global_vars, local_vars)  # execute the script
  File "C:\Program Files\JetBrains\PyCharm 2018.1.2\helpers\pydev\_pydev_imps\_pydev_execfile.py", line 18, in execfile
    exec(compile(contents+"\n", file, 'exec'), glob, loc)
  File "C:/Users/Home/OneDrive/Python_Uebungen/crawler.py", line 55, in <module>
    ausgabe_liste = ausgabe.fetch()
  File "C:/Users/Home/OneDrive/Python_Uebungen/crawler.py", line 47, in fetch
    print(next_page.attrs["href"])
AttributeError: 'NoneType' object has no attribute 'attrs'

Code: Alles auswählen

import requests
from bs4 import BeautifulSoup
# urljoin baut weiterführende links aus reletiven pfadangaben zusammen
# angegeben muss der initiale link, wobei nur die base als root genommen wird unabhängig ob die url die erste Seite ist
# oder bereits tiefer in der Hierarchie
from urllib.parse import urljoin

# um eine Wartezeit zwischen den einzelnen Durchläufen einer Schleife zu definieren, muss Modul "tine" eingebunden werden
import time

class CrawledArticle:
    def __init__(self, title, emoji, content, image):
        self.title = title
        self.emoji = emoji
        self.content = content
        self.image = image


class ArticleFetcher:
    def fetch(self):
        url = "http://python.beispiel.programmierenlernen.io/index.php"
        while True:
            r = requests.get(url)
            doc = BeautifulSoup(r.text, "html.parser")

            # für alle Elemente der Klasse "card" wird eine Schleife erzeugt
            articles = []
            next_page = doc.select_one(".navigation .btn-primary")
            print(next_page)
            for element in doc.select(".card"):
                # die Klassenbezeichnung in der Schleife bezieht sich nur auf Elemente innerhalb der Schleifendefinition
                # (Klasse "card" in dem Beispiel)
                emoji = element.select_one(".emoji").text
                content = element.select_one(".card-text").text
                # mehrere span Elemente in .card-title
                # mit "select" als Liste ausgeben und entsprechendes Element als Index definieren. .text nur Inhalt ausgeben
                title = element.select(".card-title span")[1].text
                image = urljoin(url, element.select_one("img").attrs["src"])
                # Objekt mit jedem Scheifendurchlauf an Liste anhängen, wodurch man die einzelnen Ergebnisse außerhalb der
                # Schleife benutzen kann
                crawled = CrawledArticle(title, emoji, content, image)
                articles.append(crawled)

                # Außerhalb der Schleife müssen die Ergebnisse jedes Durchlaufs an eine Liste gehängt werden
                # geht so nur mit jedem Schleifendurchlauf
            # print(next_page.attrs["href"])
            if next_page.attrs["href"] in (None, "", False):
                return articles
            else:
                url = urljoin(url, next_page.attrs["href"])
                print(url)


ausgabe = ArticleFetcher()
ausgabe_liste = ausgabe.fetch()