Wie anfangen mit "Open Data" Daten Parsen?

Wenn du dir nicht sicher bist, in welchem der anderen Foren du die Frage stellen sollst, dann bist du hier im Forum für allgemeine Fragen sicher richtig.
Antworten
What⁉️
User
Beiträge: 18
Registriert: Freitag 27. März 2020, 12:35

Hi
Ich hatte einen crash course gehabt wo man uns schnell erklärt hatte das man mit python die Daten sozusagen einlesen kann und parsen kann damit es hinten wieder in einen format raus kommt das man gescheit weiter verwenden kann. :D
Ich kann zwar ein wenig Code lesen aber lesen und schreiben sind 2 paar Schuhe. Gerade wenn man eine Klammer, Punkt oder sonst was vergisst wird es schlimm. :o

Gibt es ein HowTo wie Ich von einen Webserver einfach eine CSV Datei runter holen kann und die Daten so parsen kann das später ein JSON, XML,... raus kommt?

Oder gleich in eine DB schreiben und dann wenn alle Daten in einer DB sind im Bulk exportieren kann?
Danke
Benutzeravatar
sparrow
User
Beiträge: 4193
Registriert: Freitag 17. April 2009, 10:28

Arbeite das Tutorial in der offiziellen Python Dokumentation durch. Dort werden die nötigen Grundlagen vermittelt.
What⁉️
User
Beiträge: 18
Registriert: Freitag 27. März 2020, 12:35

Arbeite das Tutorial in der offiziellen Python Dokumentation durch.
Link? :shock:
Sirius3
User
Beiträge: 17749
Registriert: Sonntag 21. Oktober 2012, 17:20

Zum Lesen vom Webserver gibt es urllib oder das 3rd-party requests-Paket. Zum Lesen von csv-Dateien das csv-Modul, zum Schreiben das json- bzw. xml.etree-Modul. Für Datenbanken je nach Datenbank das passende Modul und SQL-Alchemy.
Es den Einzelteilen mußt Du Dir halt das passende Zusammensetzen.
What⁉️
User
Beiträge: 18
Registriert: Freitag 27. März 2020, 12:35

Ich verstehe nichts von den ganzen. Gibt es irgend was einfaches zum durchlesen?
Sry Ich fühle mich seit längeren krank und müde. Thx
__deets__
User
Beiträge: 14539
Registriert: Mittwoch 14. Oktober 2015, 14:29

Wen du programmieren willst, musst du programmieren lernen. So ist das halt. Du kannst auch nach anderen Tutorials suchen, es gibt allerdings viel Scheiss da draussen, darum empfehlen wir das offizielle Tutorial.
What⁉️
User
Beiträge: 18
Registriert: Freitag 27. März 2020, 12:35

Das finde Ich wo?
__deets__
User
Beiträge: 14539
Registriert: Mittwoch 14. Oktober 2015, 14:29

Die Frage kommt zum zweiten mal, und eine Antwort hast du oben schon bekommen. Willst du noch ne Dritte Runde? Frage fuer einen befreundeten Kirmesbudenbesitzer.
What⁉️
User
Beiträge: 18
Registriert: Freitag 27. März 2020, 12:35

Ich habe es nicht gesehen. Die Person welches Grau auf Weis Designt hat gehört mit einer Hand voll Ethernet Kabel solche geschlagen bis die Stecker abfallen!
Das kann man ja nicht gescheit lesen!
__deets__
User
Beiträge: 14539
Registriert: Mittwoch 14. Oktober 2015, 14:29

Da sich daran leider nichts so schnell (wenn ueberhaupt) aendern will, empfehle ich __blackjacks__ Tipps in deinem anderen Thema genau dazu zu folgen.
nezzcarth
User
Beiträge: 1634
Registriert: Samstag 16. April 2011, 12:47

What⁉️ hat geschrieben: Freitag 27. März 2020, 14:03 Link? :shock:
Hat Python eine Webseite: http://python.org. Da gibt es die offizielle Doku, inkl.Tutorial, Referenz der Standardbibliothek etc.: https://docs.python.org/3/. Das sollte jeder, der mit Python arbeiten möchte, kennen. Ich habe das Gefühl, immer weniger Einsteiger haben davon Kenntnis.
Benutzeravatar
noisefloor
User
Beiträge: 3856
Registriert: Mittwoch 17. Oktober 2007, 21:40
Wohnort: WW
Kontaktdaten:

Hallo,

je mach dem, was du am Ende vor hast, kannst du dir auch Pandas anschauen (Hint: befrage eine Suchmaschine deiner Wahl nach `python pandas` für alle Links, die man so braucht), das ist aufUmgang mit großen Datenmengen ausgelegt. Macht aber nur Sinn, wenn du die Grundlagen von Python drauf hast.

Zum Laden von Daten aus dem Netz ist das genannte `request` Modul DER Standard. Das ist seeehr ausführlich dokumentiert und dazu gibt es auch ca. 1 Mio weiteren Links im Netz.

Was jetzt nur noch fehlt ist, dass du Lernwilligkeit demonstrierst.

Gruß, noisefloor
What⁉️
User
Beiträge: 18
Registriert: Freitag 27. März 2020, 12:35

Was jetzt nur noch fehlt ist, dass du Lernwilligkeit demonstrierst.
Gerne wenn es das als Video gibt zum zuhören.
Leider kann Ich die meisten sachen schwer lesen.
Benutzeravatar
noisefloor
User
Beiträge: 3856
Registriert: Mittwoch 17. Oktober 2007, 21:40
Wohnort: WW
Kontaktdaten:

Hallo,

was willst du denn jetzt wirklich? Weiter oben fragst du nach Links, jetzt sind Links aus den von dir genannten Gründen doch nicht gut genug und du brauchst Videos.

Ist ja grundsätzlich ok, aber warum sagst du das nicht gleich?

Python + request + Big Data Analyse "nur" mit Video zu lesen halte ich für schwierig (genau genommen: illusorisch), weil das Thema viel zu umfangreich ist. Die requests Doku als auch die Pandas Doku gibt es auch als PDF Datei. Da bekommst du es bestimmt hin, die mit grosser Schrift und hohem Kontrast darstellen zu lassen.

Gruß, noisefloor
What⁉️
User
Beiträge: 18
Registriert: Freitag 27. März 2020, 12:35

Gut sind keine Open Data aber Ich möchte gerne auf meinen Gerät ein paar sachen ändern. Dafür gibts Apis.
Kann mir jemand helfen die zu benutzen?
https://www.hikvision.com/content/dam/h ... otocol.pdf
Antworten