ich habe folgendes Problem: Ich versuche eine Internetseite über urllib zu öffnen. Das läuft auch soweit ganz gut, wenn da nicht die verschwindenden Elemente währen.
Der bisherige Code:
Code: Alles auswählen
import os
from bs4 import BeautifulSoup
import urllib.request
sourceFile = './sources.txt'
downloads = './downloads/'
sources = open(sourceFile)
for source in sources:
if 'mavencentral' in source:
temp = source
temp = temp[temp.find(':')+1:len(temp)-1]
vendor = temp
if not os.path.isdir(downloads + vendor + '/'):
os.makedirs(downloads + vendor + '/')
print(vendor)
page = urllib.request.urlopen('http://search.maven.org/#search%7Cga%7C1%7C' + vendor)
parsed_html = BeautifulSoup(page.read())
print(parsed_html.body.find_all('d0 tooltip'))
Vendor ist der Suchbegriff für die Plattform.
In der letzten Codezeile möchte alle Elemente erhalten in denen der Suchbegriff "d0 tooltip" vorkommt.
Jemand eine Idee wo der Fehler liegen könnte?
Vielen Dank im vorraus.
Nachtrag: Wenn ich mir den Quelltext der Seite in einem Browser anzeigen lasse, fehlen die gesuchten Elemente. Wenn ich aber den DOM Explorer vom Browser nehme finde ich diese.