MySQL-Modul in Python 3.6.1 unter OS X wird nicht gefunden

Installation und Anwendung von Datenbankschnittstellen wie SQLite, PostgreSQL, MariaDB/MySQL, der DB-API 2.0 und sonstigen Datenbanksystemen.
BlackJack

@noisefloor: Genau dieses Problem ist ja kein Einzelfall und das sieht auch nicht nach verbasteltem Python aus, sondern das mit den „MySQL Connector/C“-Dateien unter `/etc/` etwas nicht stimmt. Da sollte eigentlich drinstehen welche C-Linkerflags verwendet wurden/werden müssen, da steht aber nur ein '… -l ' ohne einen Bibliotheksnamen hinter dem -l und darüber stolpert dann die `setup.py` vom PyMySQL-Package was eben versucht da etwas auszulesen was nicht da ist.

Der Autor von PyMySQL hat die Leute im Issue-Tracker jedenfalls gebeten mit dem Problem bei den homebrew und/oder MySQL-Leuten nachzufragen warum die Linkerflags dort nicht vollständig sind.
Benutzeravatar
noisefloor
User
Beiträge: 3843
Registriert: Mittwoch 17. Oktober 2007, 21:40
Wohnort: WW
Kontaktdaten:

Hallo,

@BlackJack: nee, dann funktioniert das im virtuel env auch nicht. Woher ziehst du eigentlich dein Erkenntnis? Ich habe dazu in den StackTraces nichts gesehen (oder übersehen...).

Gruß, noisefloor
BlackJack

@noisefloor: Der Issue bei Github und bei StackExchange sieht man das die Frage kein Einzelfall ist.
Hendy84
User
Beiträge: 22
Registriert: Samstag 3. Juni 2017, 19:23

Hab es nochmal in einer virtualenv probiert, aber wieder das Resultat:

Code: Alles auswählen

(venv) macbook-pro:python-test ...$ pip3 install mysqlclient
Collecting mysqlclient
  Using cached mysqlclient-1.3.10.tar.gz
    Complete output from command python setup.py egg_info:
    Traceback (most recent call last):
      File "<string>", line 1, in <module>
      File "/private/var/folders/22/q7m4hq294z56nt2qvvzy5t8c0000gn/T/pip-build-s9rnt_nb/mysqlclient/setup.py", line 17, in <module>
        metadata, options = get_config()
      File "/private/var/folders/22/q7m4hq294z56nt2qvvzy5t8c0000gn/T/pip-build-s9rnt_nb/mysqlclient/setup_posix.py", line 54, in get_config
        libraries = [dequote(i[2:]) for i in libs if i.startswith('-l')]
      File "/private/var/folders/22/q7m4hq294z56nt2qvvzy5t8c0000gn/T/pip-build-s9rnt_nb/mysqlclient/setup_posix.py", line 54, in <listcomp>
        libraries = [dequote(i[2:]) for i in libs if i.startswith('-l')]
      File "/private/var/folders/22/q7m4hq294z56nt2qvvzy5t8c0000gn/T/pip-build-s9rnt_nb/mysqlclient/setup_posix.py", line 12, in dequote
        if s[0] in "\"'" and s[0] == s[-1]:
    IndexError: string index out of range
    
    ----------------------------------------
Command "python setup.py egg_info" failed with error code 1 in /private/var/folders/22/q7m4hq294z56nt2qvvzy5t8c0000gn/T/pip-build-s9rnt_nb/mysqlclient/
Hendy84
User
Beiträge: 22
Registriert: Samstag 3. Juni 2017, 19:23

Gibt es inzwischen Neuigkeiten hinsichtlich der Funktionalität des MySQL-Moduls unter Python 3.6.1. unter OS X?
Ansonsten kann ich mein Python-Buch quasi nicht weiter durcharbeiten, weil so Vieles auf die MySQL-Verwendung unter Python 3.x basiert und mich das ja auch sehr interessiert.
Ansonsten bliebe mir wohl nichts anderes übrig, als zu hoffen, dass ich mir irgendwann wieder einen Windows PC leisten kann, damit das reibungslos funktioniert, oder?
__deets__
User
Beiträge: 14493
Registriert: Mittwoch 14. Oktober 2015, 14:29

Keine Ahnung ob sich da jetzt was getan hat. Musst du bei homebrew und/oder PyMySQL nachhaken/schauen. Ich denke mal man koennte auch versuchen das "von Hand" zu machen, und weniger build-Magie verwenden, das ist aber ggf. etwas zu viel des guten fuer jemand unerfahrenen.

Ein Alternative waere aber, gleich auf MySQL zu verzichten. Es mag in Kleinigkeiten unterschiedlich sein, aber wenn du stattdessen entweder auf sqlite (schon eingebaut) oder Postgres setzt, dann sollte das genauso gut gehen. Da musst du ggf. DDL (DataDefinitionLanguage, Statements zum erzeugen von Tabellen) aendern, aber beim SQL selbst (DML, data manipulation language) sollte eigentlich alles gleich bleiben.

Fuer Postgres gibt es mit pg8000 auch einen pure-Python-Connector, der saemtliche Probleme eines binaeren Clients so wie du sie bei mysql vorfindest.

Postgres wuerde ich persoenlich fuer DB-Entwicklung auch eh bevorzugen.
Hendy84
User
Beiträge: 22
Registriert: Samstag 3. Juni 2017, 19:23

Ich möchte am liebsten Schritt für Schritt ein Programm schreiben, mit dem ich auf eine bereits über 10 Jahre alte und inzwischen recht umfangreiche MySQL-Datenbank zugreifen kann, die aktuell via PHP von mir inhaltlich verwaltet wird.
Leider weiß ich nicht, ob der Server theoretisch auch die Datenbank auf ein anderes DB-System migrieren kann, da die MySQL-DB für mich von Freunden auf deren Server gehostet wird.
Aber vielleicht ließe sich ein DB-BackUp ja nach Postgres umziehen, damit ich erstmal via Python und DB-Schnittstelle rumexperimentieren kann, sodass ich in Punkto Datensätze nicht bei Null anfangen muss, sondern auf etwas Bekanntes aufbauen kann.

Werde mich mal etwa in Postgres einlesen...
__deets__
User
Beiträge: 14493
Registriert: Mittwoch 14. Oktober 2015, 14:29

Puh, das wuerde ich jetzt nicht unbedingt machen. Wenn du schon etwas existierendes hast, dann solltest du da auch ruhig bei MySQL bleiben.

Dann wuerde ich doch eher Zeit darein investieren, den MySQL Connector zum laufen zu bekommen. Laut Doku kann der auch einen Pure-Modus, ohne C-Code. Das ist vielleicht nur eine Installationshuerde.

Auf meinem Mac gibt' bei brew das hier:

Code: Alles auswählen

$ brew search mysql |grep py
caskroom/cask/mysql-connector-python
Vielleicht klappt's ja damit, statt mit pip.
Benutzeravatar
kbr
User
Beiträge: 1487
Registriert: Mittwoch 15. Oktober 2008, 09:27

@Hendy84: wie __deets__ schon schrieb: verwende mit Python SQLite oder für größere Anwendungen Postgres.

Das hilft Dir jetzt natürlich nicht weiter in Bezug auf Dein konkretes Problem, das ich mal kurz nachvollzogen habe:

Installation von MySQL mit brew: "$ brew install mysql" -> installiert mysql-5.7.19
Mit "$ mysql.server start" MySQL starten.
Dann mit "$mysql -u root" in den cli-client gehen und Benutzer und db anlegen (und im richtigen Betrieb auch root absichern).

Environment mit conda anlegen. Z.B. "$ conda create -n mysqltest python=3.6", mit "$ source activate mysqltest" das Environment aktivieren und mit "$ conda install pymysql" PyMySQL installieren (geht auch in einem Schritt beim erstellen des Environments).

Anschließend Python starten:

Code: Alles auswählen

>>> import pymysql
>>> connection = pymysql.connect(host='localhost', user='user', password='the_password', db='dbname')
>>> connection
<pymysql.connections.Connection object at 0x105889f60>
Funktioniert soweit alles einwandfrei.
Hendy84
User
Beiträge: 22
Registriert: Samstag 3. Juni 2017, 19:23

Vielen Dank euch beiden für eure Hinweise - probiere ich heute Abend mal aus!
Hendy84
User
Beiträge: 22
Registriert: Samstag 3. Juni 2017, 19:23

Hendy84 hat geschrieben:Hab den Befehl jetzt nochmal mit pip3 ausgeführt, Resultat:

Code: Alles auswählen

pip3 install mysqlclient
Collecting mysqlclient
  Using cached mysqlclient-1.3.10.tar.gz
    Complete output from command python setup.py egg_info:
    Traceback (most recent call last):
      File "<string>", line 1, in <module>
      File "/private/var/folders/22/q7m4hq294z56nt2qvvzy5t8c0000gn/T/pip-build-6ldjweu1/mysqlclient/setup.py", line 17, in <module>
        metadata, options = get_config()
      File "/private/var/folders/22/q7m4hq294z56nt2qvvzy5t8c0000gn/T/pip-build-6ldjweu1/mysqlclient/setup_posix.py", line 54, in get_config
        libraries = [dequote(i[2:]) for i in libs if i.startswith('-l')]
      File "/private/var/folders/22/q7m4hq294z56nt2qvvzy5t8c0000gn/T/pip-build-6ldjweu1/mysqlclient/setup_posix.py", line 54, in <listcomp>
        libraries = [dequote(i[2:]) for i in libs if i.startswith('-l')]
      File "/private/var/folders/22/q7m4hq294z56nt2qvvzy5t8c0000gn/T/pip-build-6ldjweu1/mysqlclient/setup_posix.py", line 12, in dequote
        if s[0] in "\"'" and s[0] == s[-1]:
    IndexError: string index out of range
    
    ----------------------------------------
Command "python setup.py egg_info" failed with error code 1 in /private/var/folders/22/q7m4hq294z56nt2qvvzy5t8c0000gn/T/pip-build-6ldjweu1/mysqlclient/
Jemand 'ne Idee?
Habe die Prozedur jetzt nochmal durchlaufen, und siehe da, dieses Mal gibt es anscheinend keine Fehlermeldungen mehr via pip3 Befehl, sondern:

Code: Alles auswählen

pip3 install mysqlclient
Collecting mysqlclient
  Downloading mysqlclient-1.3.12.tar.gz (89kB)
    100% |████████████████████████████████| 92kB 592kB/s 
Building wheels for collected packages: mysqlclient
  Running setup.py bdist_wheel for mysqlclient ... done
  Stored in directory: /Users/.../Library/Caches/pip/wheels/df/bb/60/bf7c315cbe163515db1c846e4ffa5557dd785c82e82f3492e8
Successfully built mysqlclient
Installing collected packages: mysqlclient
Successfully installed mysqlclient-1.3.12
Vielleicht funktioniert es ja jetzt ordnungsgemäß, let's see...
Hendy84
User
Beiträge: 22
Registriert: Samstag 3. Juni 2017, 19:23

Also ich erhalte gerade folgende Fehlermeldung:

Code: Alles auswählen

  File "/Users/.../Desktop/Programmieren/DB.py", line 4, in <module>
    import mysql.connector
ModuleNotFoundError: No module named 'mysql'
Mein Skript sieht aktuell so aus:

Code: Alles auswählen

import MySQLdb
import sys, _mysql
import mysql.connector

config = {
  'user': 'root',
  'password': 'root',
  'host': 'localhost:8889',
  'database': 'inventory',
  'raise_on_warnings': True,
}

link = mysql.connector.connect(**config)

try:
    connection = mysql.connector.connect \
                 (host = "localhost:8889", user = "root", passwd = "")

except:
    print("Keine Verbindung zum Server")
    sys.exit(0)

cursor = connection.cursor()

cursor.execute("CREATE DATABASE IF NOT EXISTS firma")
connection.commit()

cursor.close();

connection.close()
Wo ist mein Denkfehler? Ich dachte, das mysql-Modul sei nun erfolgreich installiert... Oder habe ich noch irgendwas vergessen?
Hendy84
User
Beiträge: 22
Registriert: Samstag 3. Juni 2017, 19:23

Habe nun alternativ mal probiert, ob es mit PyMySQL klappt.

Installation:

Code: Alles auswählen

pip3 install pymysql
Collecting pymysql
  Downloading PyMySQL-0.7.11-py2.py3-none-any.whl (78kB)
    100% |████████████████████████████████| 81kB 1.2MB/s 
Installing collected packages: pymysql
Successfully installed pymysql-0.7.11
Wenn ich jedoch ein Script laufen lasse, in dem nur "import PyMySQL" steht, kommt als Fehlermeldung:

Code: Alles auswählen

   import PyMySQL
ModuleNotFoundError: No module named 'PyMySQL'
Vielleicht bin ich ja gerade betriebsblind...
__deets__
User
Beiträge: 14493
Registriert: Mittwoch 14. Oktober 2015, 14:29

Gleiches Python?
Hendy84
User
Beiträge: 22
Registriert: Samstag 3. Juni 2017, 19:23

Wie kann ich herausfinden, ob ein anderes Python läuft als das Gewünschte?
Wenn ich im Terminal mit python3 starte, müsste es doch eigentlich die besagte Instanz sein, in der die Module via pip3 installiert wurden, oder? Oder gibt es eine spezifischere Möglichkeit, eine Python-Version zu starten oder zu sehen, welche Module dort bereits erfolgreich installiert wurden?
__deets__
User
Beiträge: 14493
Registriert: Mittwoch 14. Oktober 2015, 14:29

Da kann es schon Unterscheide geben. Je nach Pfad_Variable zB.

Am besten ist du lässt dir mal mit "which pip3" ausgeben, welches pip das war. Daneben sollte dann auch ein Python liegen, und in dessen Site packages sollte das MySQL Paket installiert worden sein.
Benutzeravatar
kbr
User
Beiträge: 1487
Registriert: Mittwoch 15. Oktober 2008, 09:27

Hendy84 hat geschrieben:Wenn ich jedoch ein Script laufen lasse, in dem nur "import PyMySQL" steht, kommt als Fehlermeldung:
Andere Möglichkeit: Python ist case-sensitive und PyMySQL schreibt man klein: 'import pymysql'.
Melewo
User
Beiträge: 320
Registriert: Mittwoch 3. Mai 2017, 16:30

Warum bist Du nicht bei import MySQLdb geblieben.
Hendy84 hat geschrieben:Mein Skript sieht aktuell so aus:

Code: Alles auswählen

import MySQLdb
import sys, _mysql
import mysql.connector

config = {
  'user': 'root',
  'password': 'root',
  'host': 'localhost:8889',
  'database': 'inventory',
  'raise_on_warnings': True,
}

link = mysql.connector.connect(**config)

try:
    connection = mysql.connector.connect \
                 (host = "localhost:8889", user = "root", passwd = "")

except:
    print("Keine Verbindung zum Server")
    sys.exit(0)

cursor = connection.cursor()

cursor.execute("CREATE DATABASE IF NOT EXISTS firma")
connection.commit()

cursor.close();

connection.close()
Melewo
User
Beiträge: 320
Registriert: Mittwoch 3. Mai 2017, 16:30

Also, das verstehe ich nicht alles, was der schreibt, vielleicht bringe ich da auch etwas durcheinander, doch anschauen kannst Du es Dir ja einmal:

http://www.seanbehan.com/install-mysqld ... -mac-os-x/

Und OS X habe ich zwar nicht, doch sollte nicht wenigstens der Import einheitlich sein und der ist bei mir "import MySQLdb" und nicht "import PyMySQL".
Hendy84 hat geschrieben:Wenn ich jedoch ein Script laufen lasse, in dem nur "import PyMySQL" steht, kommt als Fehlermeldung:

Code: Alles auswählen

   import PyMySQL
ModuleNotFoundError: No module named 'PyMySQL'
Sirius3
User
Beiträge: 17709
Registriert: Sonntag 21. Oktober 2012, 17:20

@Hendy84: wenn Du mysqlclient verwendest, dann heißt das Paket »MySQLdb« (das Du ja auch importierst) und nicht »mysql«. »_mysql« solltest Du auch nicht importieren, weil der Unterstrich zeigt, dass das nur für den internen Gebrauch gedacht ist.
Wenn Du PyMySQL verwenden willst, heißt es »import pymysql«.

Zu Deinem Code: Warum rufst Du connector.connect zweimal auf? Nutze niemals nackte excepts. Dadurch wird wirklich jeder Fehler verschluckt, so dass man gar nicht herausfinden kann, was denn nun falsch ist.
Antworten