scrapy installieren ?

Probleme bei der Installation?
Antworten
Ernie1412
User
Beiträge: 161
Registriert: Freitag 10. Januar 2020, 20:38

Ich habe massive probleme scrapy zu installieren.
ich benutze VS Code als IDE
pip install scrapy bricht er mit error bei twisted ab
ich benutze zur zeit beautifulsoup4.
scrapy soll aber wesentlich schneller sein, daher wollte ich das mal testen.
error: command 'C:\\Program Files (x86)\\Microsoft Visual Studio\\2019\\Community\\VC\\Tools\\MSVC\\14.28.29333\\bin\\HostX86\\x64\\cl.exe' failed with exit code 2
und bricht ab
14.28.29333 ist doch schon der neuste VC++
oder liegt das an python 3.9.0 ?
auf twisted Homepage hab ich nur bis 3.7 gesehen
Twisted-20.3.0-cp37-cp37m-win_amd64.whl (3.1 MB) Wheel cp37 Mar 20, 2020
ich habe auch woanders eine für 3.9 gefunden.
https://www.lfd.uci.edu/~gohlke/pythonlibs/
Twisted-20.3.0-cp39-cp39-win_amd64.whl
und jetzt steht das was von virtuelle Umgebung
12.2. Creating Virtual Environments¶
wie das im video beschrieben wird , gehts aber nicht.
ich denke er hat ein macOS im Video
Intro To Web Crawlers & Scraping With Scrapy:
https://www.youtube.com/watch?v=ALizgnSFTwQ

und an dem Punkt steig ich irgendwie nicht mehr durch
entweder meine Twisted-20.3.0-cp39-cp39-win_amd64.whl ist falsch
oder etwas ist mit dem "venv"

warum muss ich eine Virtuelle umgebung machen ?
warum kann ich nicht wie bei beautifulsoup4 mein script machen und erhalte meine daten ?
ich hoffe ihr könnt mir da weiter helfen
Benutzeravatar
sparrow
User
Beiträge: 4193
Registriert: Freitag 17. April 2009, 10:28

Die Abhängigkeiten hast du ja entsprechend erkannt. Entweder du steigst jetzt tief in den Build-Prozess ein - oder du nimmst Python 3.7 weil die entsprechenden Abhängigkeiten bei den Paketen auf PyPI enthalten ist.

Aus deinen Fehlermeldungen werde ich allerdings nicht schlau. Und aus deinen Ausführungen auch nicht. Das wirkt ein bisschen durcheinandergewürfelt und unstrukturiert.
Antworten