Hallo mal an alle
ich bin neu hier
Meine Frage ist, warum findet man beim auslesen des HTML mit scrapy nicht alle "span" Elemente?
Ich möchte von dîeser Webside: https://www.six-group.com/de/market-dat ... HF4.html#/
den Name der Aktie, die ISIN Nummer und das ürzel vom Symbol
Folgendes wird gefunden:
name = response.xpath('//h1/text()').get()
jedoch name1 = response.xpath('//span/text()').getall() findet nicht alle "span"
Hier noch der mein ganzer Code:
import logging
from scrapy.crawler import CrawlerRunner
from scrapy.utils.log import configure_logging
from scrapy.utils.project import get_project_settings
import scrapy
from scrapy.spiders import CrawlSpider, Rule
from twisted.internet import reactor
logger = logging.getLogger(__name__)
class MySpider2(CrawlSpider):
def __init__(self):
self.level = logging.WARNING
self.modules = ['scrapy.utils.log', 'scrapy.middleware',
'scrapy.extensions.logstats', 'scrapy.statscollectors',
'scrapy.core.engine', 'scrapy.core.scraper',
'scrapy.crawler', 'scrapy.extensions','scrapy.addons',
__name__]
for module in self.modules:
logger = logging.getLogger(module)
logger.setLevel(self.level)
def start_requests(self):
url="https://www.six-group.com/de/market-dat ... HF4.html#/"
yield scrapy.Request(url=url, callback=self.parse)
def parse(self, response):
name = response.xpath('//h1/text()').get()
print(name)
name1 = response.xpath('//span/text()').getall()
for i in name1:
if 'ISIN' in i:
print(i.text())
if 'Symbol' in i:
print(i.text())
print('fertig')
configure_logging()
settings = get_project_settings()
runner = CrawlerRunner(settings)
runner.crawl(MySpider2)
d = runner.join()
d.addBoth(lambda _: reactor.stop())
reactor.run() # the script will block here until all crawling jobs are finished
print('Scrapy fertig')
Wäre ech toll wenn mir wer helfen könnte
lg Manfred
scrapy Probleme mit JavaScript
Wie ist denn das JavaScript in deinen Beitragstitel gerutscht? Weil du gemerkt hast, dass da Inhalte dynamisch via JavaScript nachgeladen werden?
Falls ja, die Dokumentation weiß etwas.
Falls ja, die Dokumentation weiß etwas.
Die von mir verlinkte Dokumentation hast du gelesen?
Was genau steht da zu Selektoren?
Wie du bereits herausgefunden hast, ist die von dir gewünschte Information über den Link nicht verfügbar. Sie ist schlicht in dem Content, der zurück kommt, nicht enthalten. Du wirst also mit Scrapy nichts finden.
In der von mir verlinkten Dokumentation stehen die entsprechenden Infos.
Was genau steht da zu Selektoren?
Wie du bereits herausgefunden hast, ist die von dir gewünschte Information über den Link nicht verfügbar. Sie ist schlicht in dem Content, der zurück kommt, nicht enthalten. Du wirst also mit Scrapy nichts finden.
In der von mir verlinkten Dokumentation stehen die entsprechenden Infos.