xml einlesen

Wenn du dir nicht sicher bist, in welchem der anderen Foren du die Frage stellen sollst, dann bist du hier im Forum für allgemeine Fragen sicher richtig.
Gast

Freitag 12. August 2005, 12:19

Hallo,

Na ich frag dann noch mal glatt hier obwohl ich kein Javafreund bin. Aber es gibt nichts was man nicht mit Java machen kann:)
Und zwar habe ich für nen paar sequentielle Dateien eine XML angefertigt welche die Struktur der sequentiellen Dateien
beschreibt. Mit einem importtool soll dann zuerst die xml eingelsen werden welche dan die Struktur der Tabelle
festlegt. Anschließend soll die sequentielle Datei reingeladen werden, welche ja die Tabelle füllt.
Die XML und sequentielle Datei hab ich. Ist Python dazu geeignet um schnell so nen kleines importskript
zu basteln? Hat jemad ein par Ansatzpunkte für mich?

So sieht die XML aus:

Code: Alles auswählen

<Media>
<Name>CD Nummer 1</Name>
<Table>
<URL>Test.ASC</URL>
<Name>...</Name>
<Description>...</Description>


<!-- Spezifiziert den Dezimaltrenner -->
<DecimalSymbol>,</DecimalSymbol>
<SkipNumBytes>97</SkipNumBytes>
<FixedLength>
<FixedColumn>
<Name>NUMMER</Name>
<Numeric/> 
<FixedRange>
<From>97</From>
<Length>4</Length>
</FixedRange>
</FixedColumn>
<FixedColumn>
<Name>Name</Name>
<AlphaNumeric/> 
<FixedRange>
<From>101</From>
<Length>12</Length>
</FixedRange>
</FixedColumn>
Praktisch ist nur das Name, From und Lenght Tag wichtig würd ich sagen zur Auswertung.
Ich hoffe jemand hat wertvolle Tipps für mich:)

MFG

Lara

Edit (Leonidas): XML in Code-Tags gesetzt.
Leonidas
Administrator
Beiträge: 16024
Registriert: Freitag 20. Juni 2003, 16:30
Kontaktdaten:

Freitag 12. August 2005, 12:57

Anonymous hat geschrieben:Na ich frag dann noch mal glatt hier obwohl ich kein Javafreund bin.
Kein Problem, wir sind es auch nicht :D

Hmm, vermutlich bin ich heute ganz besonders doof, aber ich verstehe das Problem nicht so ganz.

Also: du hast die vorliegende XML Datei, die wenn ich sie mir ansehe gar keine wohlgeformte XML Datei ist. Von welcher Tabelle sprichst du?

Am besten wäre es, du postest mal ein Stück deiner Eingangsdaten und schreibst was du rausbekommen willst.

Python kann gut mit XML umgehen, es gibt dazu sogar das Buch Python & XML.
My god, it's full of CARs! | Leonidasvoice vs Modvoice
Benutzeravatar
jens
Moderator
Beiträge: 8482
Registriert: Dienstag 10. August 2004, 09:40
Wohnort: duisburg
Kontaktdaten:

Freitag 12. August 2005, 13:00

Anonymous hat geschrieben:Na ich frag dann noch mal glatt hier obwohl ich kein Javafreund bin. Aber es gibt nichts was man nicht mit Java machen kann:)
Hä??? Hier ist kein Javaforum sondern ein Python Forum! Im übrigen kann man ín Python IMHO auch alles machen ;)

Such mal im Forum mal nach "XML"!

CMS in Python: http://www.pylucid.org
GitHub | Open HUB | Xing | Linked in
Bitcoins to: 1JEgSQepxGjdprNedC9tXQWLpS424AL8cd
Gast

Freitag 12. August 2005, 13:30

Hi,


konzentrier dich nur auf diesen Teil.
Praktisch soll jetzt Zeile für Zeil geparst werden bis auf ein Name Tag gestossen wird. Der Name im Tag muss er sich merken und dazu auch noch den Typ und die länge des Feldes. Dann gehts er weiter bis zum nächsten Namen Tag.

Code: Alles auswählen

<FixedColumn> 
<Name>NUMMER</Name> 
<Numeric/> 
<FixedRange> 
<From>97</From> 
<Length>4</Length> 
</FixedRange> 
</FixedColumn> 
<FixedColumn> 
<Name>Name</Name> 
<AlphaNumeric/> 
<FixedRange> 
<From>101</From> 
<Length>12</Length> 
</FixedRange> 
</FixedColumn> 
Wegen der Tabelle meine ich das so: Es soll eine neue Tabelle in meiner mysql datenbank angelgt werden.
paraktisch CREATE TABLE Daten
(
Nummer INTEGER(4),
Name VARCHAR(12),
);

Wobei er die Daten zur Erstellung aus der XML Datei holt.
Ich hoff du konntest mir folgen:)

MFG

Lara

Edit (Leonidas): XML in Code-Tags gesetzt.
Leonidas
Administrator
Beiträge: 16024
Registriert: Freitag 20. Juni 2003, 16:30
Kontaktdaten:

Freitag 12. August 2005, 13:58

Diesmal konnte ich dir wirklich problemlos folgen. Ich schreib dir gleich mal eine recht simple Lösung, moment.
My god, it's full of CARs! | Leonidasvoice vs Modvoice
ProgChild
User
Beiträge: 210
Registriert: Samstag 9. April 2005, 10:58
Kontaktdaten:

Freitag 12. August 2005, 14:16

jens hat geschrieben:
Anonymous hat geschrieben:Na ich frag dann noch mal glatt hier obwohl ich kein Javafreund bin. Aber es gibt nichts was man nicht mit Java machen kann:)
Hä??? Hier ist kein Javaforum sondern ein Python Forum! Im übrigen kann man ín Python IMHO auch alles machen ;)
Hey ihr beiden! Habt ihr beide schon mal versucht nen Bootloader in Java oder Python zu schreiben? :roll:
Leonidas
Administrator
Beiträge: 16024
Registriert: Freitag 20. Juni 2003, 16:30
Kontaktdaten:

Freitag 12. August 2005, 14:24

ProgChild hat geschrieben:Hey ihr beiden! Habt ihr beide schon mal versucht nen Bootloader in Java oder Python zu schreiben? :roll:
Nein, aber den ganzen Rest drumrum ;)

@Lara:
Wie wäre es denn mit so einer Lösung, sie ist nicht besonders schön, jedoch kommt sie auch problemlos mit defekten XML-Dateien aus. Bei Fragen kannst du dich gerne melden, ich habe irgendwie keine Lust gehabt Kommentare in den Code zu schreiben 8)

Code: Alles auswählen

#!/usr/bin/env python
# -*- encoding: latin-1 -*-

import re

def parsedata(f):
    name_rex = re.compile(r'(?<=\<Name>).*(?=</Name>)')
    len_rex = re.compile(r'(?<=\<Length>).*(?=</Length>)')
    
    currentname = ''
    values = {}

    for line in f:
        name = name_rex.findall(line)
        if name != []:
            currentname = name[0]
            values[currentname] = {}
    
        length = len_rex.findall(line)
        if length != []:
            values[currentname]['length'] = length[0]
        
        if '<Numeric/>' in line:
            values[currentname]['type'] = 'INTEGER'
        elif '<AlphaNumeric/>' in line:
            values[currentname]['type'] = 'VARCHAR'
    
    return values

def create_sql(values):
    sql = 'CREATE TABLE Daten\n(\n'
    for key, item in values.items():
        sql += '%(name)s %(type)s(%(length)s)\n' % {'name' : key, 'type' : item['type'], 'length' : item['length'] }
    sql += ');'
    return sql

f = file('pseudo.xml', 'r')
values = parsedata(f)
f.close()

print create_sql(values)
Edit: Regex angepasst.
My god, it's full of CARs! | Leonidasvoice vs Modvoice
ProgChild
User
Beiträge: 210
Registriert: Samstag 9. April 2005, 10:58
Kontaktdaten:

Freitag 12. August 2005, 15:04

Leonidas hat geschrieben:@Lara:
Wie wäre es denn mit so einer Lösung, sie ist nicht besonders schön, jedoch kommt sie auch problemlos mit defekten XML-Dateien aus.
Aber da oben steht doch valiedes XML, außer dass <Media>, <Table> und <FixedLength> nicht geschlossen werden. Ich denke, dass das aber einfach nur weggelassen wurde. Warum also nicht minidom oder ähnliches benutzen?
Leonidas
Administrator
Beiträge: 16024
Registriert: Freitag 20. Juni 2003, 16:30
Kontaktdaten:

Freitag 12. August 2005, 15:23

ProgChild hat geschrieben:Aber da oben steht doch valiedes XML, außer dass <Media>, <Table> und <FixedLength> nicht geschlossen werden. Ich denke, dass das aber einfach nur weggelassen wurde. Warum also nicht minidom oder ähnliches benutzen?
Davon abgesehen fehlt ein root-Element. Gut möglich, dass es weggelassen wurde.

Okay, ProgChild gib uns ein Beispiel mit minidom, ich kann es jetzt noch nicht. Allerdings hatte ich sowieso vor eine Version mit XML-Parser so zur Übung zu schreiben, jedoch kann das noch etwas dauern, da ich mich erstmal reinlesen muss.
My god, it's full of CARs! | Leonidasvoice vs Modvoice
ProgChild
User
Beiträge: 210
Registriert: Samstag 9. April 2005, 10:58
Kontaktdaten:

Freitag 12. August 2005, 16:19

Leonidas hat geschrieben:Davon abgesehen fehlt ein root-Element. Gut möglich, dass es weggelassen wurde.
Ich hab <Media> dafür gehalten...
Leonidas hat geschrieben:Okay, ProgChild gib uns ein Beispiel mit minidom, ich kann es jetzt noch nicht. Allerdings hatte ich sowieso vor eine Version mit XML-Parser so zur Übung zu schreiben, jedoch kann das noch etwas dauern, da ich mich erstmal reinlesen muss.
Ich halte hier Expat für angebrachter, weil wir nur lesen und nicht unbedingt die Ganze Tabelle in den RAM laden müssen. Darum hier ein Beispiel mit Expat.

Unter test.xml gespeichert:

Code: Alles auswählen

<?xml version="1.0"?>
<Media>
<Name>CD Nummer 1</Name>
<Table>
<URL>Test.ASC</URL>
<Name>daten</Name>
<Description>...</Description>

<!-- Spezifiziert den Dezimaltrenner -->
<DecimalSymbol>,</DecimalSymbol>
<SkipNumBytes>97</SkipNumBytes>
<FixedLength>
<FixedColumn>
<Name>NUMMER</Name>
<Numeric/>
<FixedRange>
<From>97</From>
<Length>4</Length>
</FixedRange>
</FixedColumn>
<FixedColumn>
<Name>Name</Name>
<AlphaNumeric/>
<FixedRange>
<From>101</From>
<Length>12</Length>
</FixedRange>
</FixedColumn>

</FixedLength>

</Table>
</Media>
Und der script:

Code: Alles auswählen

import xml.parsers.expat

class Reader:

	def read( self, filename ):
		self.query = 'CREATE TABLE '
		self.path = []

		p = xml.parsers.expat.ParserCreate()

		p.StartElementHandler = self.start_element
		p.EndElementHandler = self.end_element
		p.CharacterDataHandler = self.char_data

		f = open( filename, 'r' )
		p.ParseFile( f )
		f.close()

	def start_element( self, name, attrs):
		path = "/" . join( self.path )
		if path == 'Media/Table/FixedLength/FixedColumn':
			if name == 'Numeric':
				self.query += "INTEGER("
			if name == 'AlphaNumeric':
				self.query += "VARCHAR("
			
		self.path.append( name )
		self.cur_data = ''
	
	def end_element( self, name):
		path = "/" . join( self.path )
		if path == 'Media/Table/Name':
			self.query += self.cur_data + "\n(\n"
		
		if path == 'Media/Table/FixedLength/FixedColumn/Name':
			self.query += self.cur_data + " "

		if path == 'Media/Table/FixedLength/FixedColumn' + \
			'/FixedRange/Length':
			self.query += self.cur_data

		if path == 'Media/Table/FixedLength/FixedColumn':
			self.query += "),\n"

		if path == 'Media/Table':
			self.query += ");\n"


		del self.path[-1]
	
	def char_data( self, data):
		self.cur_data += data

	def get_query( self ):
		return self.query


r = Reader()
r.read( 'test.xml' )
print r.get_query()
Leonidas, ich wollte weder dein Script noch dich nicht kritisieren. Du verbringst hier sehr viel Zeit, was ich sehr gut finde. Normalerweise ist es ja nicht Sinn des Forums, die Aufgaben der anderen Leute hier zu lösen, sondern sie dabei zu unterstüzen, aber ich hab das mal als herausforderung genommen. Expat hab ich noch nie vorher benutzt, minidom zwar schon, das ist hier aber nicht so geeignet.
Leonidas
Administrator
Beiträge: 16024
Registriert: Freitag 20. Juni 2003, 16:30
Kontaktdaten:

Freitag 12. August 2005, 18:29

ProgChild hat geschrieben:Leonidas, ich wollte weder dein Script noch dich nicht kritisieren.
Nein, habe ich auch nicht als Kritik aufgefasst sondern als alternativen Lösungsvorschlag.
ProgChild hat geschrieben:Normalerweise ist es ja nicht Sinn des Forums, die Aufgaben der anderen Leute hier zu lösen, sondern sie dabei zu unterstüzen, aber ich hab das mal als herausforderung genommen.
Ich auch, deswegen habe ich ja auch das Script fertiggeschrieben.
ProgChild hat geschrieben:Expat hab ich noch nie vorher benutzt, minidom zwar schon, das ist hier aber nicht so geeignet.
Und ich habe mich die letzten Jahre erfolgrecuh um das Thema XML gedrückt und vorher nur mit SAX beschäftigt. Werd ich wohl nachholen.
My god, it's full of CARs! | Leonidasvoice vs Modvoice
TripleH
User
Beiträge: 29
Registriert: Donnerstag 11. Dezember 2003, 12:58

Samstag 13. August 2005, 20:17

Hi,

Ich hab mir das Programm mal angeschaut. Beim ausfürhren des Skriptes kommt ein Fehler an
dieser Stelle:

if path == 'Media/Table/FixedLength/FixedColumn' + \

Und zwar kommt die Fehlermeldung invalid token. Ursache ist wohl der Backslash oder?

Nun ja mir ist dieses Skript nicht 100% klar.

Also verbessert mich wenn ich was falsch interpretiere:

In der Funtion "read" wird der xml Parser initialisiert und auch die einzelnen Funktionen.
Dann wird die xml eingelesen und geparst.
Dann kommt die Funton start_element. Das hat ähnlichkeit mir SAX in Java.
Sie wird aufgerufen sobald der Parser das erste Tag findet.
Die Zeile kann ich nicht ganz deuten. path = "/" . join( self.path )
Dann werden die einzigen 2 Dinge wie numeric und alphanumeric durch die If Abfrage
dekodiert. Bei den 2 Zeilen häng ich leider auch schon wieder:)
self.path.append( name )
self.cur_data = ''

Danach kommt dann die Funtion end_element welche die schleißenden Tags verarbeitet.
Grob gesagt wird mit if Abfragen geschaut an welcher Stelle im xml Code
man sich befindet und dementsprechend wird das jeweilige zeichen dem query zugefügt oder?
Was machen diese 2 Funktionen?

def char_data( self, data):
self.cur_data += data

def get_query( self ):
return self.query

Die erste behandelt die Inhalte der Tags und die 2 liefert den komplette query zurück?

Ich hoffe jemand kann zu meinem Verstandnis nocht etwas beitragen:)

Wenn man dieses Skript mal richtig testen möchte:

1. müßte man noch den connect zu ner Datenbank machen. Kann man Python mit Mysql
verbinden. Wo gibs infos zwecks Treiber?

2. um das Skript laufen zu lassen müßte man da die ganze Klaee noch in eine Funtion packen?

Beste Grüße

Basti
ProgChild
User
Beiträge: 210
Registriert: Samstag 9. April 2005, 10:58
Kontaktdaten:

Samstag 13. August 2005, 21:26

TripleH hat geschrieben:Beim ausfürhren des Skriptes kommt ein Fehler an
dieser Stelle:

if path == 'Media/Table/FixedLength/FixedColumn' + \

Und zwar kommt die Fehlermeldung invalid token. Ursache ist wohl der Backslash oder?
Du hast hinter dem Backslash ein Leerzeichen eingefügt. Das ist an dieser Stelle verboten.

Du kannst alternativ auch folgendes schreiben.

Code: Alles auswählen

if path == 'Media/Table/FixedLength/FixedColumn/FixedRange/Length': 
TripleH hat geschrieben: Die Zeile kann ich nicht ganz deuten. path = "/" . join( self.path )
Diese Zeile fügt alle Einträge der Liste self.path zu einem String mit dem Slash als Trennzeichen zusammen.
TripleH hat geschrieben:Bei den 2 Zeilen häng ich leider auch schon wieder:)
self.path.append( name )
self.cur_data = ''
Der Liste self.path wird ein String mit dem Namen des gerade geöffneten XML Tags hinzugefügt. self.cur_data wird ein Leerer string zugewiesen.
TripleH hat geschrieben:Wenn man dieses Skript mal richtig testen möchte:

1. müßte man noch den connect zu ner Datenbank machen. Kann man Python mit Mysql
verbinden. Wo gibs infos zwecks Treiber?
Schau mal im Wiki, da ist ein Link zum MySQL Modul.
TripleH hat geschrieben:2. um das Skript laufen zu lassen müßte man da die ganze Klaee noch in eine Funtion packen?
Nein. Einfach so als Python Datei abspeichern. Als Textausgabe solltest du das SQL Query bekommen.
Gast

Sonntag 14. August 2005, 11:53

Hallo Leonidas,

ich versuche gerade, SAX zu verwenden, leider gibt es ein Problem:
im Buch gibt es ein Beispiel, wie man make_parser zu verwenden kann. Aber für meinen Fall ist parseString etwas sinnvoller (aus Python-dokument). Mit make_parser wird als Default ExpatParser verwendet, der keine parseString vorhanden ist.

Meine Frage, wie kann man ein String (aus XML-tags) parsen?

Danke für einen Hinweis oder Tipps!

MfG
TripleH
User
Beiträge: 29
Registriert: Donnerstag 11. Dezember 2003, 12:58

Montag 15. August 2005, 12:12

Hi,

Dank dir. Progchild. Denk habs verstanden. Ich hab mal nen bicßehn rumgespielt und die mit der Create Anweisung die Tabelle in der Datenbank erstellt.

Jetzt hab ich nur mal ne Frage. Die xml Struktur in eine Datenbank zu schreiben ist nicht so schwer. Nur ich hab ma oben bei Lara gelesen. Ziel einer jeden Tabelle in einer Datenbank ist es ja sie zu füllen. Ich hab jetzt mal zu der Test.xml mal eine sequentielle Datei erstellt.

ganz einfach. sind ja nur 2 Felder
Nummer und Name.

das würde dann wohl so aussehen.

ersten 97 zeichen überlesen 1234siegfreidfre
ersten 97 zeichen überlesen 3456herrmanfre

so könnte ja die test.txt aussehen die durch die test.xml beschrieben wurde. Nur mir ist eine schon theoretisch bei der Umsetztung etwas nicht klar. Ich hoffe jemande kann mir helfen:
Und zwar muss ich mir den ersten Feldblock in der xml suchen und dort finde ich ja die Position wo er in der test.txt anfängt und wie lang er ist.
Nun muss ich mit dieser info in der txt an die Stelle springen und den Feldinhalt wieder speichern für das insert query.
Irgendie hab ich ne Blockade im Kopf wegen den 2 Dateien die jetzt gleichzeitig zu handeln sind.

Kann mir jemand nen Denkanstoss geben?

MFG

Basti
Antworten