Code: Alles auswählen
def sql(self, strSql, dicMulti =None):
if dicMulti:
self.cur.executemany(strSql, dicMulti)
else:
self.cur.execute(strSql)
result = self.cur.fetchall()Code: Alles auswählen
OperationalError: Could not decode to UTF-8 column 'tooltip' with text 'Ausgewählte Textgruppe editieren'
Hi DatenMetzgerX!DatenMetzgerX hat geschrieben:Sicher wieder was einfachesCode: Alles auswählen
OperationalError: Could not decode to UTF-8 column 'tooltip' with text 'Ausgewählte Textgruppe editieren'
Code: Alles auswählen
#!/usr/bin/env python
# -*- coding: iso-8859-1 -*-
import sys
import codecs
import os
try:
import sqlite3 # Ab Python 2.5
except ImportError:
from pysqlite2 import dbapi2 as sqlite3
# STDOUT-Encoding herausfinden und StdOut umleiten (für print-Anweisungen)
# Streamwriter mit korrektem Encoding (!!!funktioniert so nicht im IDLE!!!)
out_enc = sys.stdout.encoding or sys.getfilesystemencoding()
sys.stdout = codecs.getwriter(out_enc)(sys.__stdout__)
#
# Schreiben
#
# Nur zum Testen: Alte Datei vorher loeschen
try:
os.remove("dateiname.s3db")
except:
pass
# Verbindung herstellen
conn = sqlite3.connect(
"dateiname.s3db",
isolation_level = None, # Autocommit
)
cur = conn.cursor()
# Tabelle erstellen
sql = u"""
CREATE TABLE adressen (
first_name varchar,
last_name varchar,
age int
)
"""
cur.execute(sql)
# Werte in die Tabelle schreiben
personen = [
{"first_name": u"Geroldä", "last_name": u"Penzö", "age": "31"},
{"first_name": u"Ludwigü", "last_name": u"Bucherä", "age": "29"},
]
sql = u"""
INSERT INTO adressen (
first_name,
last_name,
age
)
VALUES (
:first_name,
:last_name,
:age
)
"""
cur.executemany(sql, personen)
# Verbindung schliessen (nur zum Testen)
cur.close()
conn.close()
#
# Lesen
#
# Verbindung herstellen
conn = sqlite3.connect("dateiname.s3db")
cur = conn.cursor()
sql = u"""
SELECT
first_name, last_name, age
FROM
adressen
"""
cur.execute(sql)
rows = cur.fetchall()
for row in rows:
vorname, nachname, alter = row
print "Datensatz:", row
print "Vorname: ", vorname, "==>", type(vorname)
print "Nachname: ", nachname, "==>", type(nachname)
print "Alter: ", alter, "==>", type(alter)
print
# Verbindung schliessen
cur.close()
conn.close()
Wieso ist das ein Schwachpunkt von Python? Sowie Daten von aussen kommen oder nach aussen gehen müssen sie irgendwie kodiert werden. Das ist in jeder Sprache so, auch wenn der Zeichenkettentyp intern per Vorgabe Unicode ist.gerold hat geschrieben:Nein, so einfach ist das gar nicht. Ich halte das für einen der größten Schwachpunkte von Python. Statt wie Visual Basic, nur mit Unicode zu arbeiten, gibt es bei Python immer ein Hin und Her zwischen den verschiedensten Encodings. So auch im Zusammenspiel mit Datenbanken.
Hi BlackJack!BlackJack hat geschrieben:Wieso ist das ein Schwachpunkt von Python? Sowie Daten von aussen kommen oder nach aussen gehen müssen sie irgendwie kodiert werden. Das ist in jeder Sprache so, auch wenn der Zeichenkettentyp intern per Vorgabe Unicode ist.
Python weigert sich halt zu "raten" welche Kodierung es ist, sobald das nicht sicher ist und ASCII nicht funktioniert.
Okay. Aber ein 'u' davor zu schreiben ist nun nicht wirklich sooo schwer.gerold hat geschrieben: Ich zähle mal auf:
- Um in einem Modul einen Unicode-String zu erzeugen muss vor den String ein "u" gesetzt werden. Oder man muss den String mit decode() umwandeln. Statt einfach alle Strings automatisch als Unicode-Strings zu betrachten.
Das stimmt nicht! Es wird nachgeschaut welche Kodierung `sys.stdout` benutzt, wenn Unicode Zeichenketten ausgegeben werden. Bei Byte Zeichenketten stellt sich die Frage nicht, die werden einfach so ausgegeben.- Der Befehl "print" produziert einen Fehler wenn Umlaute ausgegeben werden müssen. Stattdessen könnte doch (automatisch) nachgesehen werden, welches Encoding für STDOUT vorgegeben ist und dieses automatisch verwendet werden. Warum wird das Betriebssystem nicht nach dem Encoding gefragt und dieses automatisch verwendet? Nein, man muss sich selber darum kümmern.
Wird es doch.Alles was ich mir wünsche ist, dass das was automatisch erledigt werden könnte -- auch automatisch von Python erledigt wird.
Da hält sich Python halt an die "Zen"s `Refuse the temptation to guess` und `Errors should never pass silently`.- Beim Lesen von STDIN und sys.argv oder beim Schreiben nach STDOUT oder STDERR sollte automatisch von Unicode und nach Unicode umgewandelt werden. Wenn Python das Encoding nicht raus finden kann, dann kann ja der Programmierer eingreifen.
Es bleibt ja nicht bei einem "u". Es geht bei mir öfter in die hunderte...BlackJack hat geschrieben:Okay. Aber ein 'u' davor zu schreiben ist nun nicht wirklich sooo schwer.
Code: Alles auswählen
message = (
u"Das ist eine Zeile. Das ist eine Zeile mit Umlauten. äüö Eine Zeile. "
u"Das ist eine Zeile. Das ist eine Zeile mit Umlauten. äüö Eine Zeile. "
u"Das ist eine Zeile. Das ist eine Zeile mit Umlauten. äüö Eine Zeile. "
)Code: Alles auswählen
# -*- coding: iso-8859-1; all-unicode -*-Das wusste ich nicht. Nur schade, dass da noch ein Paar IDEs nicht mitspielen und das Coding beim Umleiten nicht mit angeben.BlackJack hat geschrieben:Das stimmt nicht! Es wird nachgeschaut welche Kodierung `sys.stdout` benutzt, wenn Unicode Zeichenketten ausgegeben werden. Bei Byte Zeichenketten stellt sich die Frage nicht, die werden einfach so ausgegeben.
Da stimme ich dir zu. Fehler sollten nicht im Hintergrund passieren. Aber, damit wollte ich auch sagen, dass ich mir doch z.B. auch von sys.argv Unicode-Strings erwarten könnte. Aber nein, es steht irgendwo in den Sternen welches Coding dafür benötigt wird. Einfach alles, was rein kommt und wo eine realistische Chance existiert, dass Python mir diese Strings nach Unicode umwandeln könnte, könnten doch umgewandelt werden. Nur dann, wenn Python den String nicht umwandeln kann, nur dann einen Fehler auszulösen, fände ich nicht schlecht.BlackJack hat geschrieben:Da hält sich Python halt an die "Zen"s `Refuse the temptation to guess` und `Errors should never pass silently`.- Beim Lesen von STDIN und sys.argv oder beim Schreiben nach STDOUT oder STDERR sollte automatisch von Unicode und nach Unicode umgewandelt werden. Wenn Python das Encoding nicht raus finden kann, dann kann ja der Programmierer eingreifen.
Code: Alles auswählen
# -*- coding: utf-8 -*-Hi CrackPod!CrackPod hat geschrieben:und wenn ich einfachnehmt?Code: Alles auswählen
# -*- coding: utf-8 -*-
Da is doch fast alles an Zeichen drinnen?!
Oh, Gerold!gerold hat geschrieben: Hi CrackPod!
Das löst leider nicht alle Probleme.
mfg
Gerold
Wäre eine Idee. Aber suchen/ersetzen im Editor sollte auch fix gehen.gerold hat geschrieben:Hi BlackJack!
Es bleibt ja nicht bei einem "u". Es geht bei mir öfter in die hunderte...BlackJack hat geschrieben:Okay. Aber ein 'u' davor zu schreiben ist nun nicht wirklich sooo schwer.
Für solche Fälle wünsche ich mir so etwas:Code: Alles auswählen
message = ( u"Das ist eine Zeile. Das ist eine Zeile mit Umlauten. äüö Eine Zeile. " u"Das ist eine Zeile. Das ist eine Zeile mit Umlauten. äüö Eine Zeile. " u"Das ist eine Zeile. Das ist eine Zeile mit Umlauten. äüö Eine Zeile. " )Code: Alles auswählen
# -*- coding: iso-8859-1; all-unicode -*-
Das führt dann zu dem Phänomen das bei Dir alles läuft und dann bei jemand anderem ein Fehler ausgelöst wird, weil der eine andere Umgebung hat. Dann müsstest Du doch wieder eine Fehlerbehandlung und explizite Umkodierung in den Code schreiben. So musst Du es eben sofort machen.BlackJack hat geschrieben:Einfach alles, was rein kommt und wo eine realistische Chance existiert, dass Python mir diese Strings nach Unicode umwandeln könnte, könnten doch umgewandelt werden. Nur dann, wenn Python den String nicht umwandeln kann, nur dann einen Fehler auszulösen, fände ich nicht schlecht.
Ja, das würde in der Tat einiges vereinfachen.Wie schön wäre eine reine UTF-8- oder Unicode-Welt
: Hi Andy!Andy hat geschrieben:Wenn ich Deinen Code verarbeite, dann bekomme ich z. B. dass hier
Geroldä
[...]
Wo dran mag dass liegen? ich tippe mal auf SQLite Administrator 0.8.2.5.
Juhu, super!gerold hat geschrieben: Du hast recht. Es liegt am "SQLite Administrator". Der kodiert die Ausgabe im Windows-Standardformat und nicht im SQLite-Standard **UTF-8**.
Der *SQLite Database Browser* zeigt die Umlaute korrekt an.
Hab´mir jetzt den SQLite Database Browser runtergeladen. Dieses Problem habe ich gelöst, in dem ich ein Modul geschrieben habe, das für alle Abfragen verantwortlich ist.gerold hat geschrieben:Hi BlackJack!
Es bleibt ja nicht bei einem "u". Es geht bei mir öfter in die hunderte...BlackJack hat geschrieben:Okay. Aber ein 'u' davor zu schreiben ist nun nicht wirklich sooo schwer.