Ja, so in der Art mache ich das aktuell. Die Kategorien habe ich jetzt in einer CSV aufgebaut inkl. der Schlüsselwörter. Bisher habe ich hauptsächlich zwei Probleme: 1. Eine Kategorie von weiter unten in der CSV passt besser als die erste gefundene 2. Zusammengesetzte Wörter werden getrennt und pass...

Allgemein gilt bei so etwas das man vor dem Optimieren erst einmal Profiling betreiben sollte und nicht auf gut Glück irgendwo am Code rumschraubt. Ich habe mein script jetzt direkt mit Snakeviz genutzt und interessante Einsichten. Die "teuerste" Methode hat eine Art "Fuzzy Search&qu...

Hallo, ich habe eine lange Liste mit Sätzen (ca. 30 Millionen) und will diese gern in möglich viele (aber manuell machbar) Gruppen einteilen - ca. 200 - 400 Gruppen (diese Gruppen sind geschachtelt). Beispiel: 18 Reasons You Should Upgrade to Windows 10 The 100 Best Android Apps for 2020 Cooler Mast...

Vielen Dank euch beiden. Vom Code Styling her sicher recht übel - ich komme von C / PHP und habe mir da ein paar Unarten angewöhnt :-S Ich hatte in anderen Teilen des Codes auch schon angefangen mit pycodestyle - das hilft sehr gut. Zur Optimierung bzgl. CPU Last: Profilers hatte ich mal gehört, abe...

Hallo, ich habe ein Programm, welches aus HTML Dateien Strings extrahieren soll. Dazu verwende ich BeautifulSoup4 in Kombination mit tonnenweise for, if, try etc. def extract_description(self, html): soup = BeautifulSoup(str(html), 'lxml') descr = soup.find_all('p', itemprop='description') if len ( ...

__deets__ hat geschrieben: ↑Sonntag 29. Dezember 2019, 14:21 Gibts nicht. Du kannst ein strategy pattern oder Ähnliches nutzen um die Struktur zu vereinheitlichen und gemeinsam nutzbares zu erhalten, um dann die Spezifika pro Seite abzuhandeln. Aber das war’s auch schon.

Vielen Dank für den Hinweis, so in der Richtung mache ich das jetzt.

Ja, das ist mehr oder weniger der Standardweg von Scrapy.
Das funktioniert prima für eine Domain oder auch 10 - 30.
Ich suche nach einer Option, wie man das (semi-) skalieren kann ohne das für jede Seite einzeln anpassen zu müssen.

Hallo, ich versuche via Scrapy Daten von diversen Websites zu scrapen. Die Optionen die ich habe sind entweder die Daten per XPath oder CSS zu extrahieren (oder den gesamten HTML code zu analysieren und die Daten mit .. ? zu extrahieren). Von den Kategorie Seiten in Webshops hätte ich gern: - Produk...

Bin Dipl. Inf. - arbeite seit ca. 10 Jahren mit PHP / MySQL aber stark im Web-Bereich und habe auch schon Oracle Schulungen hinter mir. Ganz genau wie du schreibst - in erster Linie Mining / Analytics. Ob man das jetzt BigData nennen muss oder nicht und wie das nachher aussieht - das kann man sicher...

Hallo, habe jetzt schon einige Tage über Big Data gelesen und bekomme so langsam einen Eindruck - leider keinen sehr speziellen, da vieles recht theoretisch geschrieben ist. Was ich versuche ist folgendes: Würde gerne Websites/Shops/Blog auf News/Produkte/Preise in einer sehr speziellen Nische analy...