Da hast du recht. Hat keine logischen Grund. Ist einfach so einfacher für mich als Anfänger gewesen das alles zu trennen. Wenn ich mal alles soweit habe, dass es funktioniert wie ich will, kann ich auch zusammenfassen.

Danke für das Feedback. Ist ein Freizeitprojekt und habe auch lange daran nichts gemacht und bin gerade jetzt dabei das wieder anzugehen und zu optimieren / weiter zu lernen, weshalb ich auch auf das Forum gestoßen bin. Werde versuchen das umsetzten / ändern ). Bin über jeden Tipp/Hinweis ...

Danke, werde das mit dem "set" mal versuchen/recherchieren.

Das Skript liest eigentlich nur alle Links aus und speichert sie in einer Textdatei (2022_11_November.txt). Mit einem zweiten Skript gehe ich die Links dann durch und lade alles herunter, wenn es nicht schon auf der Festplatte (Pfad ...

Hier mal noch mein aktueller Code, der noch eine Einschränkung auf den Monat hat, sodass ich zumindest nur immer den aktuellen Monat neu crawle:

import os
import pathlib
import re
import time
import urllib.request
from datetime import datetime

from bs4 import BeautifulSoup
from pysitemap import ...

Danke für deine Antwort. Läuft alles unter Linux und wird auch danach noch mit python-skripten weiter verarbeitet und in elastic indexiert.

wget kenne ich natürlich, mir ist aber nicht klar wie ich hier die Anforderung umsetzten kann, dass er eben nicht alle Seiten nochmal durchgeht, sondern das er ...

Hallo zusammen,

ich suche nach einer Möglichkeit, wie ich den Download von sehr vielen + ständig neu hinzukommenden Dateien, effektiv bewerkstelligen kann. Derzeit habe ich es so implementiert, dass eine Linkliste erstellt wird und danach dann beim abarbeiten geprüft wird, ob es den Pfad schon gibt ...