Hallo zusammen,

ich habe versucht multiple Seiten aus einer Webpage zu crawlen, was mir auch gelungen ist. Im nächsten Schritt würde ich gerne zwei Variablen miteinander verknüpfen.

D.h. mein Ziel wäre es, das wenn ich nach der RegionID= 7236 crawle, das mir das System automatisch die partnerID ...

Danke für euer Feedback. Habe es nun geschafft:

response = urllib.request.urlopen("http://www.getyourguide.com/s/search.json?q=Siem+Reap&page=" + str(page))
jsondata = json.loads(response.read().decode("utf-8"))
format = (jsondata['activities'])
g_data = format.strip("'<>()[]\"` ").replace ...

Hallo zusammen,

Ich versuche aus einem JSON mittels BeautifulSoup bestimmte Inhalte wie z.B. den Deeplink zu crawlen. Leider klappt das nicht wie gewünscht:


Das ist mein bisherige Logik:


import requests
from bs4 import BeautifulSoup
import json
from urllib.request import urlopen
import urllib ...

Danke für euer Feedback:)

Hallo zusammen,

habe das folgende Problem:

Beispiel:


g_data = soup.find_all("div", {"class": "itemsContent clearafter"})
for item in g_data:
header = item.find_all("div", {"class": "InnprodInfos"})
print(header[0].contents[0].text.strip())


Bekomme folgenden Output:


DMZ 3rd Tunnel ...

Danke für dein Feedback. Hast mir sehr weiter geholfen

Hallo zusammen,

Ich habe vor kurzem eine Homepage gecrawlt mit den Informationen die ich benötige. Und habe es danach geschafft in meine MySQL-Datenbank einzutragen. Aber das Problem ist nun, das einzelne Werte in Anführungszeichen dargestellt werden.


Header Price Deeplink PartnerID LocationID ...

Danke für dein ausführliches Feedback!!! Werde es beherzigen:)

Das einzige, was ich an dem Code geändert habe, ist das ich
zu
gemacht habe, da ich Version 3 benutze.

Hallo zusammen,

Zunächst einmal wollte eine Excel File auf Duplikate überprüfen, welches ich auch erfolgreich geschafft habe. Das Programm spuckt quasi raus, wieviele Länder wie oft in der angegebenen Spalte vorkommen.


import csv


lesdatei = open("Test_08_01_2015.csv", "r")
schreibdatei= open ...

Danke für dein Feedback. Habe mittlerweile auch eine andere Lösung gefunden, was deiner ähnelt:

Hallo zusammen,

versuche von einer Seite die Hotelname rauszufiltern, allerdings habe ich das Problem, das ich die HTML Tags nicht entfernen kann:



import requests
from bs4 import BeautifulSoup
import time

user_agent = {'User-agent': 'Chrome/43.0.2357.124'}

schreibdatei= open("testo.csv", "w ...

Danke für dein Feedback:)

Hallo zusammen,

versuche derzeit mein erstes Spider/Crawling Script zu schreiben und brauche eure Hilfe/Tipps bei einer Sache. Mein Ziel ist es ein Teil des Links rauszufiltern. Solle quasi das folgende Ergebnis bekommen:
/example/view.php?id=34

Das ist mein Code:


import requests
from bs4 ...

Danke für euer Feedback.

Habe den Delimiter geändert. Nun funktioniert es.


# -*- coding: utf-8 -*-
import csv
import re


lesdatei = open("Japanese.csv", "r")


liste = lesdatei.readlines()

for row in liste[1:]:
felder = re.split(";", row)
print(str(felder[10]))

Hallo zusammen,

würde gerne eine japanisches csv File in Python einlesen. Habe es zuerst so versucht:


import csv
import re

lesdatei = open("Japanese.csv", "r")
liste = lesdatei.readlines()

for row in liste[1:]:
felder = re.split(",|;", row)
print(str(felder[10]))


Response dazu ist ...

Danke für dein Feedback!:)

In der Theorie komme ich ja klar, aber in der Praxis scheitert es;) Aber dennoch großen Dank für dein Feedback:) Bitte weiter um Verständnis, bin immer noch ein blutiger Anfänger


import requests
import json
response = requests.get("blabla")
data = response.json()
Hallo = data[0]["responseBodies ...

Könnt ihr mir Tipps geben, wie ich darauf zugreifen kann?
Schau in der Doku zu Dicts und Listen nach, welche Zugriffe möglich sind. Oder noch besser: Arbeite das Tutorial dahingehend durch! Dort werden die wichtigsten Zugriffe für diese *essenziellen* Datentypen besprochen :-)

(Wirklich, das ...

Hallo zusammen, habe nun grad ein anderes Problem, wo ich nicht weiterkomme


import requests
counter = 0
times = 1
for r in range(times):
response = requests.get("http://192.168.1.52:8080/ws/Admin/JsonApi?partnerId=878&itemId=RANDOM_ITEM&localeCode=ID&languageCode=id&fromDate=2015/02/04&toDate ...

Jep, war eine blöde Frage;)

Hat nicht auf Anhieb geklappt, aber mit Probieren bin ich auf das richtige Ergebnis gekommen: