Das deutsche Python-Forum

Leonidas hat geschrieben:Du gibst kein Encoding an, welches deine Daten haben, also nimmt Python ASCII an, was natürlich crasht, wenn deine Dateien eben nicht durch ASCII repräsentierbar sind.

Lonestar hat geschrieben:hi, ich tu mich immer noch ein wenig schwer mit encodings, und hoffe mal ich verzapfe hier nu keinen Unsinn..

Datenfeld1 = Datensatz[0:80]
Datenfeld2 = Datensatz[80:]

Hyperion hat geschrieben:Darf man fragen, um was für Daten es da in der Datei geht? Scheint mir ja eine obskure Mischung aus Binär und Textdaten zu sein? Kennst Du das Format näher? Evtl. gibt es ja einen besseren Weg, das zu parsen ...

 Anzahl = len(Text)

Leonidas hat geschrieben:In einen Bytestring dekodieren und darauf dann die Anzahl der Bytes zaehlen? Unicode verschmilzt ja bei Bedarf mehrere Bytes zu einem Codepoint und das ist auch gut so, denn normalerweise stellt man darin ja Texte dar und die bestehen aus Zeichen und nicht aus Bytes.

xWolf hat geschrieben:Gibt es denn irgendeine Moeglichkeit die tatsaechliche Groesse einer Variablen in Bytes zu bestimmen?

Leonidas hat geschrieben: Die tatsächliche Größe eines Objektes ist in Python nicht abrufbar. So ist u"abc" nicht zwingend gleich groß wie u"abc", denn es gibt sowohl UCS-2 als auch UCS-4 Varianten von Python die je nach Kompilationseinstellungen Strings im Speicher unterschiedlich darstellen.

#!/usr/bin/python
# -*- coding: utf-8 -*-

def byteLen(Text):
   # ------------ Variableninitialisierung ---------------
    xlen = 0 # .....Laenge der Zeichenkette in bytes
    i = 0 #.........Schleifenzaehler
    l = len(Text) #.Laenge der Zeichenkette in Zeichen
    hl = 0 #........Anzahl der Hexadezimalen Zeichen
    quo = 0 #.......Quotient auf Hexa-Laenge durch 2
    temp = "" #.....temporaere VAriable
    while  i < l:
       temp = hex(ord(Text[i])) #..Zeichen im Text in Hexa-Wert wandeln
       temp = temp[2:] #...........das '0x' abschneiden - gehoert nicht zum Hexa-Wert
       hl = len(temp) #............Laenge ermitteln
       quo = hl / 2 #..............und durch 2 teilen, ein Hexa-Wert besteht immer aus 2 Zeichen
       if (quo*2) < hl: #..........falls fuehrende '0' fehlt, dann
          temp = "0"+temp #........hinzufuegen um gerade Anzahl an Zeichen zu erhalten
       xlen = xlen + len(temp)/2  # .......und Anzahl zur Gesamtlaenge addieren
       i = i + 1 #.................Zaehler eins rauf
    return xlen #..................Gesamtlaenge zurueckgeben

# nun testen mit einem Zeichen oberhalb ASCII 255 -------------
Text = u"\u0126" # Unicode hex 0126
print "Text:",Text,"Zeichenlaenge:",len(Text)," Byte-Laenge",byteLen(Text)         

BlackJack hat geschrieben:@xWolf: Und in diesem Fall kommt hinten Mist raus, die Funktion ist total nutzlos. Unicode hat keine Länge in Bytes, das macht auch überhaupt keinen Sinn, weil man Unicode nicht speichern kann.

Wenn Du Unicode-Text speichern willst, musst Du es unter Angabe einer Kodierung als Bytes kodieren. Und *davon* kannst Du dann die Länge in Bytes ermitteln.

Wenn Du die Daten schon ewig mit Dir herum schleppst, vermute ich mal, dass Du eine Kodierung verwendest, bei der immer ein Zeichen einem Byte entspricht!?

ASCII hat übrigens nur 7-Bit.

xWolf hat geschrieben:Es kommt genau das heraus, was ich erwarte. Der Hex-Wert 0x0126 entspricht genau 2 Byte. Und das ist es, was ich wissen will. Auch UNICODE hat eine Laenge in Bytes oder wie sollen sonst Daten auf der festplatte oder im RAM abgelegt werden? Auch mit Objektphilosophie und Hochsprachen, bleibt die Technik unten drunter immer noch die selbe.

In [16]: Text = u"\u0126"

In [17]: len(Text.encode("utf-7")), len(Text.encode("utf-16"))

Out[17]: (5, 4)

BlackJack hat geschrieben:@xWolf: Ich brauche es nicht ausprobieren, das ist ein grundsätzliches Verständnisproblem bei Dir.....

xWolf hat geschrieben:Wie finde ich den heraus wie die codiert sind?
Lade ich die Daten in eine Liste und lasse mir die Daten waehrend des Ladevorgangs auf der konsole anzeigen, werden die Umlaute korrekt dargestellt.
In der Liste nicht.