Suche DB-Interface ohne Installation

Installation und Anwendung von Datenbankschnittstellen wie SQLite, PostgreSQL, MariaDB/MySQL, der DB-API 2.0 und sonstigen Datenbanksystemen.
Benutzeravatar
gerold
Python-Forum Veteran
Beiträge: 5555
Registriert: Samstag 28. Februar 2004, 22:04
Wohnort: Oberhofen im Inntal (Tirol)
Kontaktdaten:

Hallo!

Mir gefällt die Idee mit der Zwischenschicht (XMLRPC, JSONRPC, Pyro http://pyro.sourceforge.net/, ...) immer besser. Denn damit kannst du alles auf dem Server erledigen. Die Daten können mit XMLRPC, JSONRPC, Pyro,... oderwasweisichnochalles übermittelt werden. Es muss kein spezieller Datenbanktreiber installiert werden.

So umgehst du das Problem mit dem Treiber und dessen Abhängigkeiten, die eventuell gegeben sein müssen.

mfg
Gerold
:-)
http://halvar.at | Kleiner Bascom AVR Kurs
Wissen hat eine wunderbare Eigenschaft: Es verdoppelt sich, wenn man es teilt.
ms4py
User
Beiträge: 1178
Registriert: Montag 19. Januar 2009, 09:37

Von dieser Lösung bin ich leider nicht ganz so begeistert. Hätte ja dann viel größeren Aufwand.

Hab gerade auch noch Probleme mit Windows und den Zugriff auf den SQL Server. psycopg funktioniert nur mit der alten Version und benötigt ein zusätzliches Modul mit einer zwielichtigen Lizenz (Egenix mx base).

Habe dann mal PyGreSQL installiert. Bekomme beim import folgenden Fehler:
import _pg
ImportError: DLL load failed: Das angegebene Modul wurde nicht gefunden.

libpg.dll konnte nicht gefunden werden
Müsste das in dem Binary-Packet eigentlich mit dabei sein? Habe keine Admin-Rechte, vielleicht werden die DLLs einfach nicht mit installiert?
Zuletzt geändert von ms4py am Dienstag 20. Januar 2009, 15:56, insgesamt 1-mal geändert.
Benutzeravatar
gerold
Python-Forum Veteran
Beiträge: 5555
Registriert: Samstag 28. Februar 2004, 22:04
Wohnort: Oberhofen im Inntal (Tirol)
Kontaktdaten:

ice2k3 hat geschrieben:Von dieser Lösung bin ich leider nicht ganz so begeistert. Hätte ja dann viel größeren Aufwand.
Hallo ice2k3!

Das ist ein sehr geringer Aufwand gegenüber den Versuchen, die du derzeit durchführst. Aber unabhängig davon.

Installieren von PostgreSQL und psycopg2 unter Windows XP bzw. Windows Vista:

0.) Den alten Balast loswerden: psycopg, psycopg2 und PostgreSQL deinstallieren und den Computer neu starten.

1.) Installiere dir unter Vista auf keinen Fall "Python für 64 Bit". Nimm weiterhin "Python für 32 Bit". Installiere dir das neueste Python 2.6.x. Spiele unter Windows gar nicht erst mit Python 3. Das bringts nicht. Wenn es irgendwelche Inkompatibilitäten gibt, dann lassen die sich im Nachhinein in kürzester Zeit im Programm anpassen. http://python.org/ftp/python/2.6.1/python-2.6.1.msi

2.) Installiere PostgreSQL. Am Besten nimmst du den "pgInstaller" und nicht den "One click installer". Dessen Sinn habe ich sowiso noch nicht verstanden. Nimm die Version "8.3.4" http://wwwmaster.postgresql.org/downloa ... .3.4-1.zip, denn dafür gibt es einen passenden Windows-Treiber für Python. Es wird wahrscheinlich in den nächsten Tagen einen neuen Treiber für 8.3.5 geben, aber darauf muss man ja nicht warten. Das kann man später updaten.

3.) Installiere "psycopg2". Das Findest du für Python 2.6.x hier: http://www.stickpeople.com/projects/pyt ... elease.exe
Diese EXE-Datei musst du nur mit einem Doppelklick ausführen und schon ist die Schnittstelle installiert.

4.) Ausprobieren: http://www.python-forum.de/topic-12304.html

mfg
Gerold
:-)
Zuletzt geändert von gerold am Freitag 13. März 2009, 19:28, insgesamt 1-mal geändert.
http://halvar.at | Kleiner Bascom AVR Kurs
Wissen hat eine wunderbare Eigenschaft: Es verdoppelt sich, wenn man es teilt.
ms4py
User
Beiträge: 1178
Registriert: Montag 19. Januar 2009, 09:37

Programme, die ich unter Windows entwickle, sollten ja auch mit der Steuerung kompatibel sein, deshalb kommt ein Upgrade momentan nicht in Frage.

Nochmal zu meinem Problem mit PyGreSQL. Kann es sein, dass bei dem Binary-Paket nicht alles mitinstalliert werden (wegen mangelden Admin-Rechten).
Benutzeravatar
gerold
Python-Forum Veteran
Beiträge: 5555
Registriert: Samstag 28. Februar 2004, 22:04
Wohnort: Oberhofen im Inntal (Tirol)
Kontaktdaten:

ice2k3 hat geschrieben:Habe keine Admin-Rechte, vielleicht werden die DLLs einfach nicht mit installiert?
Hallo ice2k3!

Dann brauchst du gar nicht erst versuchen, PostgreSQL, Python und Psycopg2 zu installieren. Ohne Adminrechte auf der Windows-Schüssel wird das nie etwas werden.

mfg
Gerold
:-)
http://halvar.at | Kleiner Bascom AVR Kurs
Wissen hat eine wunderbare Eigenschaft: Es verdoppelt sich, wenn man es teilt.
ms4py
User
Beiträge: 1178
Registriert: Montag 19. Januar 2009, 09:37

PostgreSQL und Python ist natürlich schon installiert.
Geht nur um das PyGreSQL Package.
Aber das scheint wohl einen lokal laufenden Postgre Server benötigen, soweit ich das jetzt untersucht habe.

Ich frage jetzt auf jeden Fall mal beim Steuerungshersteller an, was und ob er mir bestimmte Möglichkeiten bieten kann. Werde mich dann wieder melden.

Edit:
Das Kompilieren einer Schnittstellte benötigt immer den installierten Server, kann das sein? Hab mir gerade das Setup der psycopg2 angeschaut und das sah ganz danach aus.
lunar

ice2k3 hat geschrieben:psycopg funktioniert nur mit der alten Version und benötigt ein zusätzliches Modul mit einer zwielichtigen Lizenz (Egenix mx base).
Hast du diese Lizenz überhaupt gelesen, oder war sie dir einfach nur zu lang?

Die Lizenz ist nämlich eigentlich nichts weiter als eine "virale" X11-Lizenz mit komplexeren Klauseln zum Haftungs- und Garantieausschluss sowie einigen Sonderklauseln, die weitere vertragliche Beziehungen zur herstellenden Firma ausschließen sowie die Lizenz auf Egenix-mx-base beschränken (falls das Paket nicht allein verteilt wird).

Summa summarum ist das eine makellose freie Lizenz.
ms4py
User
Beiträge: 1178
Registriert: Montag 19. Januar 2009, 09:37

Benötigen diese Schnittstellen nun einen lokal installierten Server oder nicht? Hat da jemand Erfahrung?
lunar

ice2k3 hat geschrieben:Benötigen diese Schnittstellen nun einen lokal installierten Server oder nicht? Hat da jemand Erfahrung?
Wenn die Schnittstellen gegen die Client-Bibliotheken des entsprechenden DBMS gelinkt sind, benötigten sie natürlich auch die entsprechenden Bibliotheken (also im mindesten eine Installation der DB-Client-Programme) und – wenn man sie kompilieren möchte – auch die entsprechenden Header.

Das scheint bei dem von dir verwendeten Paket offenbar der Fall zu sein.
ms4py
User
Beiträge: 1178
Registriert: Montag 19. Januar 2009, 09:37

So, jetzt grabe ich noch mal diesen Thread aus.
Der aktuelle Stand ist jetzt so:
Die Maschinen greifen mit Hilfe einer Pyro-Zwischenschicht auf die DB zu und die Clients am PC direkt auf die DB.

Nun hätte ich die Idee, in der Pyro-Komponente eine sqlite Datenbank zu intergrieren und mit den PC-Clients auch mit der Pyro-Komponente zu kommunizieren, um dann so komplett auf den Postgre Server verzichten zu können.
Bei der Anwendung ist es von wichtiger Bedeutung eine einfache Installation mit möglichst wenig Komponenten bereitzustellen.
Ist das ein guter Ansatz oder aus welchen Gründen nicht zu empfehlen.

Anzahl Clients: Es könnten ca. bis zu 25 Maschinen Anfragen senden (Standard 5-10) und mehrere PC-Clients. (Alle haben vermutlich ein 5 Sekunden Intervall, wobei die Datenmenge auf der PC Seite entsprechend höher ist, weil diese alle Daten empfangen und die Maschinen nur jeweils ihre spezifischen senden.)
Leonidas
Python-Forum Veteran
Beiträge: 16025
Registriert: Freitag 20. Juni 2003, 16:30
Kontaktdaten:

Solange man nicht zu viele gleichzeitige Writes in die Datenbank hat, ist das ok.
My god, it's full of CARs! | Leonidasvoice vs (former) Modvoice
ms4py
User
Beiträge: 1178
Registriert: Montag 19. Januar 2009, 09:37

Lasse gerade testweise 20 Maschinen-Clients in einer While True Schleife ihre Daten updaten. Außer einer hohen CPU-Auslastung scheint das keine Probleme zu machen. Von der Seite her sehe ich da also keine Probleme.

Sieht vielleicht sonst noch jemand Probleme? Ansonsten würde ich diesen Ansatz weiterverfolgen.
ms4py
User
Beiträge: 1178
Registriert: Montag 19. Januar 2009, 09:37

Bisher schütze ich den DB Zugriff mit einem Lock, so dass immer nur einer parallel auf die DB zugreifen kann.
Ist jetzt so schon ein bisschen performant lastig. Gefällt mir nicht so.

Ist der Lock notwendig, oder gibt es da Alternativen?
Leonidas
Python-Forum Veteran
Beiträge: 16025
Registriert: Freitag 20. Juni 2003, 16:30
Kontaktdaten:

SQLite kommt mit parallelen Reads zurecht, mit parallelen Writes eher nicht.
My god, it's full of CARs! | Leonidasvoice vs (former) Modvoice
ms4py
User
Beiträge: 1178
Registriert: Montag 19. Januar 2009, 09:37

Leonidas hat geschrieben:SQLite kommt mit parallelen Reads zurecht, mit parallelen Writes eher nicht.
Ja, das ist klar.
sqlite3.connect(database[, timeout, isolation_level, detect_types, factory])

When a database is accessed by multiple connections, and one of the processes modifies the database, the SQLite database is locked until that transaction is committed. The timeout parameter specifies how long the connection should wait for the lock to go away until raising an exception. The default for the timeout parameter is 5.0 (five seconds).
Aber der interne Lock von Sqlite dürfte doch eigentlich reichen?
lunar

Das bedeutet, dass die komplette Datenbank für die gesamte Dauer einer Transaktion für Schreibzugriffe gesperrt ist. Ich denke, ich brauche dir nicht zu erklären, dass eine solche künstliche Serialisierung der Zugriffe einem hohen Durchsatz entgegen steht. Finden viele parallele Zugriffe statt, werden früher oder später eine Verbindungsversuche fehlschlagen, weil der Timeout abläuft.

Vollwertige DBMS dagegen können parallele Schreibzugriffe ohne künstliche Serialisierung durchführen, und sind daher weitaus leistungsfähiger im Bezug auf hohe Schreiblast.
ms4py
User
Beiträge: 1178
Registriert: Montag 19. Januar 2009, 09:37

Ein richtiges DBMS kommt ja auch mit vielen höheren Anforderungen aus wie von mir gegeben.
ice2k3 hat geschrieben: Anzahl Clients: Es könnten ca. bis zu 25 Maschinen Anfragen senden (Standard 5-10) und mehrere PC-Clients. (Alle haben vermutlich ein 5 Sekunden Intervall, wobei die Datenmenge auf der PC Seite entsprechend höher ist, weil diese alle Daten empfangen und die Maschinen nur jeweils ihre spezifischen senden.)
Ganz konkret: Jede Maschine sendet alle 5 Sekunden ca. 10 SQL Befehle, die die DB verändern. Oberstes Maximum sind 50 Maschinen.
Das Programm vom PC greift zur Zeit nur lesend auf die DB zu.

Siehst du hier irgendwelche Probleme?
lunar

Du kannst doch rechnen, oder? Im schlimmsten Fall springen alle 50 Clients gleichzeitig an und senden jeweils zehn Anweisung, dass ergibt im schlimmsten Fall 500 nahezu parallele Schreibzugriffe. Ob das für die gegebene Anwendung problematisch ist, musst du über einen Lasttest selbst herausfinden. 50 nahezu parallel laufende lassen sich auf einem modernen System noch gut simulieren, also kannst du einen Server und 50 Clients mal auf der selben Maschine starten und die Clients eine hohe Anzahl an Schreibzugriffen abfeuern lassen. Dann siehst du schon, wann und wie der Server aussteigt.

Wenn du natürlich eine Abstraktionsschicht wie SQLAlchemy verwenden würdest, bräuchtest du dir darum nur bedingt Sorgen machen, da die eigentliche Datenbank austauschbar wäre.
ms4py
User
Beiträge: 1178
Registriert: Montag 19. Januar 2009, 09:37

An Belastungstests kommt das ganze natürlich nicht dran vorbei, und sind z.T. auch schon erfolgreich abgelaufen, da hatte ich aber noch meine eigenen Locks implementiert (s. meine vorherigen Posts). Vielleicht lass ich das ja einfach mal mit meinen eigenen Locks. Oder ich implementiere eine Art "Limiter", der den Zugriff auf die DB kontrolliert und ggf. einschränkt. Als einfachste Lösung einfach Semaphore, so dass nicht nur ein Thread, sondern mehrere Threads einen Query ausführen können, oder auch einen komplexen Algorithmus, der das ganze regelt. Im Prinzip habe ich ja volle Kontrolle über den DB-Zugriff, da die Clients nur die Daten mit Pyro übertragen und auf dem Server werden diese dann in SQL Queries umgesetzt und ausgeführt.
lunar hat geschrieben: Wenn du natürlich eine Abstraktionsschicht wie SQLAlchemy verwenden würdest, bräuchtest du dir darum nur bedingt Sorgen machen, da die eigentliche Datenbank austauschbar wäre.
1. Was heißt "bedingt"?
2. Denkst du, dass das problemlos in meine bestehende Architektur eingefügt werden kann (Remotezugriffe auf die DB mit Pyro).
3. Ist es sehr aufwendig, sich in SQLAlchemy einzuarbeiten, das in das Programm zu integrieren und alle SQL Statements zu ersetzen?
lunar

Natürlich kannst du die Datenbankzugriffe auch verwalten und beispielsweise in eine Warteschleife einfügen. Allerdings ist es doch ein bisschen seltsam, die Datenbankleistung künstlich zu limitieren, nur weil man kein der Aufgabe angemessenes DBMS einsetzen möchte. Solange SQLite mit der Last zurecht kommt, besteht ja kein Grund zur Sorge, aber wenn die Last steigt, dann ist auch eine künstliche Verlangsamung nicht wirklich sinnvoll (zumal das ja andere Probleme, wie fehlende Persistenz und zusätzliche Komplexität mit sich bringt).
lunar hat geschrieben:Wenn du natürlich eine Abstraktionsschicht wie SQLAlchemy verwenden würdest, bräuchtest du dir darum nur bedingt Sorgen machen, da die eigentliche Datenbank austauschbar wäre.
1. Was heißt "bedingt"?
Naja, wenn du ein ineffizientes Datenmodell oder ineffiziente Ausdrücke nutzt, dann nutzt dir auch ein gutes DBMS nicht so viel ;)
2. Denkst du, dass das problemlos in meine bestehende Architektur eingefügt werden kann (Remotezugriffe auf die DB mit Pyro).
SQLAlchemy an sich ist nicht komplex und bringt auch andere Vorteile, wie z.B. die Möglichkeit, SQL-Abfragen ohne Zeichenketten-Manipulation zusammensetzen zu können. Aber wie du das in dein Programm integrierst ... woher soll ich denn das wissen? Wenn deine Architektur den Dienst vom Datenbankzugriff sauber trennt, dann ist eine zusätzliche Schicht kein Problem, wenn du den Datenbankzugriff aber wild über den gesamten Code verstreut hast, wird das natürlich schwerer ;)
3. Ist es sehr aufwendig, sich in SQLAlchemy einzuarbeiten, das in das Programm zu integrieren und alle SQL Statements zu ersetzen?
Sich in SQLAlchemy einzuarbeiten, ist nicht aufwendig, die Dokumentation bietet gute Tutorials. Es in eine Anwendung zu integrieren, kann dagegen sehr aufwendig sein, wenn die Anwendung schlecht strukturiert ist ;)
Antworten