Web-Scrapping mittels Keywords in Pythonskript
Verfasst: Freitag 27. November 2020, 07:41
Guten Morgen Community,
ich bin bei der Entwicklung meiner Applikation an einem Punkt angekommen, wo höchstwahrscheinlich mein Know-How nicht mehr ausreichend ist oder ich aber den falschen Ansatz verfolge.
Kurze Einführung:
Ich habe mir mittels selbstgeschriebenen Pythonskripten etwas entwickelt, welches es mir erlaubt bei Neuigkeiten (Produkten) auf Webseiten Daten abzugreifen, um mir diese mit Hilfe von Monitoren
anzeigen zu lassen. Das Monitoring erfolgt mittels einer Webhook, die mir dann durch Pings in meinem persönlichen Discordserver angezeigt werden.
Ich nutze für die Abfragen auf den Webseiten (Web-Scrapping) einen Scrapper API Key und rotierende Proxies, um bei wiederkehrenden Abfragen meine IP zu verschleiern, um keinen Ban oder ähnliches zu bekommen.
Die Begriffe die ich Scrappen will, werden mit Hilfe von mir selbst erstellten Keywordlisten auf den jeweiligen Websiten durchsucht und auch teilweise angezeigt.
Bis hierhin alles gut und schön, aber...
Es werden mir, obwohl ich die richtigen Keywords in verschiedenen Reihenfolgen und Möglichkeiten erstellt und eingefügt habe, nicht die Produkte angezeigt, welche ich eigentlich suche.
Auf dem Markt vorhandene Monitore, die "fast" dasselbe tun, finden jedoch genau die Produkte, die ich haben will mit denselben Keywords.
Demnach schließe ich daraus, dass die Abfrage mittels der Keywords "irgendwie" Fehlerhaft ist.
Kurze Daten:
- Skript besteht aus 75 Zeilen
- Keywords ca. 300 Stück
- Bibliothek: BeautifulSoup
- Parsing HTML --> LXML
- Requsting Pages --> Requests
- User Agent in headers
Jetzt ist meine Frage:
Wie bekomme ich die Produkte angezeigt, welche ich mir mit Hilfe meiner Keywords erstellt habe?
Besteht die Möglichkeit, mittels logisch/mathematischer Operatoren, diese so zu erstellen dass die Keywords kommen ohne dass es sich groß auf die Arbeitsgeschwindigkeit der Skripte auswirkt?
Es wäre Weltklasse, wenn es unter euch Spezialisten jemanden gibt, der mir hier Unterstützung leisten kann.
ich würde mich freuen, wenn ihr euch hier im Thread mit eurem wissen meldet oder mich einfach via DM kontaktiert sodass man eventuell auch ein Blick in die Skripte, Keywordlisten o.ä. werfen kann.
Vielen Dank und bleibt Gesund!
Grüße
KöPi
ich bin bei der Entwicklung meiner Applikation an einem Punkt angekommen, wo höchstwahrscheinlich mein Know-How nicht mehr ausreichend ist oder ich aber den falschen Ansatz verfolge.
Kurze Einführung:
Ich habe mir mittels selbstgeschriebenen Pythonskripten etwas entwickelt, welches es mir erlaubt bei Neuigkeiten (Produkten) auf Webseiten Daten abzugreifen, um mir diese mit Hilfe von Monitoren
anzeigen zu lassen. Das Monitoring erfolgt mittels einer Webhook, die mir dann durch Pings in meinem persönlichen Discordserver angezeigt werden.
Ich nutze für die Abfragen auf den Webseiten (Web-Scrapping) einen Scrapper API Key und rotierende Proxies, um bei wiederkehrenden Abfragen meine IP zu verschleiern, um keinen Ban oder ähnliches zu bekommen.
Die Begriffe die ich Scrappen will, werden mit Hilfe von mir selbst erstellten Keywordlisten auf den jeweiligen Websiten durchsucht und auch teilweise angezeigt.
Bis hierhin alles gut und schön, aber...
Es werden mir, obwohl ich die richtigen Keywords in verschiedenen Reihenfolgen und Möglichkeiten erstellt und eingefügt habe, nicht die Produkte angezeigt, welche ich eigentlich suche.
Auf dem Markt vorhandene Monitore, die "fast" dasselbe tun, finden jedoch genau die Produkte, die ich haben will mit denselben Keywords.
Demnach schließe ich daraus, dass die Abfrage mittels der Keywords "irgendwie" Fehlerhaft ist.
Kurze Daten:
- Skript besteht aus 75 Zeilen
- Keywords ca. 300 Stück
- Bibliothek: BeautifulSoup
- Parsing HTML --> LXML
- Requsting Pages --> Requests
- User Agent in headers
Jetzt ist meine Frage:
Wie bekomme ich die Produkte angezeigt, welche ich mir mit Hilfe meiner Keywords erstellt habe?
Besteht die Möglichkeit, mittels logisch/mathematischer Operatoren, diese so zu erstellen dass die Keywords kommen ohne dass es sich groß auf die Arbeitsgeschwindigkeit der Skripte auswirkt?
Es wäre Weltklasse, wenn es unter euch Spezialisten jemanden gibt, der mir hier Unterstützung leisten kann.
ich würde mich freuen, wenn ihr euch hier im Thread mit eurem wissen meldet oder mich einfach via DM kontaktiert sodass man eventuell auch ein Blick in die Skripte, Keywordlisten o.ä. werfen kann.
Vielen Dank und bleibt Gesund!
Grüße
KöPi