Modul zum Nachinstallieren fehlender Pythonpakete

[Nobuddy]

Hallo Leonidas,
Danke für Dein Info, ich werde die Fehler beheben.

psutil ist bei mir ein Extrapaket, das dürfte bei Dir dann nicht installiert sein (Fehler).

Ich habe auch keinen 4K Bildschirm, könnte es sein daß dies von einer Deiner Dateien im Ordner kommt, die überprüft werden?

An der Dokumentation werde ich arbeiten und mein Code lässt sich bestimmt noch verbessern. Kleine Infos zum Code wären da hilfreich, da man selbst oft 'den Wald vor lauter Bäumen nicht sieht'!

Daß es einen Ordner durchgeht ist richtig, dies habe ich auch so in meinem letzten Post beschrieben.

Ich hätte eher gedacht dass es automatisch in ein laufendes Programm eingreift wenn ein Modul geladen wird welches nicht installiert ist, aber offenbar nicht.

Das wäre ein Option die man auch verfolgen könnte, da bräuchte ich dann doch etwas Unterstützung.

Sobald ich die Fehler behoben und die Dokumentation eingepflegt habe, werde ich eine neue Ausgabe von modul_control.py posten.

[Leonidas]

Naja, ich hab einfach nichts angegeben, einfach mit ``python2 modulname`` gestartet (nachdem ich ``python2-psutil`` nachinstalliert habe), du könntest ein Kommandozeileninterface implementieren, welches anzeigt was da genau jetzt wie erwartet wird.

[Nobuddy]

Welches Betriebssystem nutzt Du, Windows oder Linux?

Wenn ich bei Linux in der Konsole (Terminal)

Code: Alles auswählen

cd /ort/zum/ordner/von/python modul_control.py
python modul_control.py

aufrufe, habe ich das Kommandozeileninterface.

Oder was meinst Du mit Kommandozeileninterface?

[Leonidas]

Linux. Ich schau aber nochmal wenn ich heimkomme.

[Nobuddy]

Habe nochmal kräftig am Code geschraubt ... und etliche Fehler beseitigt.
Den Code habe dokumentiert, im Moment noch nicht so umfangreich, das kommt aber noch sobald der eine oder Andere von Euch mir vielleicht eine Rückmeldung gibt.
Bei mir läuft es soweit fehlerfrei durch, hoffe daß das bei Euch auch so ist, wenn Ihr es testen solltet.

Hier das neue modul_control.py: https://gist.github.com/3041461

Eine kurze Ablaufbeschreibung, damit Ihr den Funktionsablauf kennt.
Als erstes wird überprüft, ob das Paket psutil installiert ist, wenn nicht wird eine Liste zur Installation angeboten. Hier das richtige Paket auswählen und eingeben. Anschließend wird nach dem Installationsbefehl gefragt, den man auswählt.
Zu Auswahl stehen 'apt-get; aptitude und pip'. Bei der Installation von psutil läßt sich pip noch nicht einsetzen, außer pip ist bei Euch schon installiert.

Das Modul überprüft alle Dateien in einem Ordner, die mit .py enden. Unterordner werden nicht berücksichtigt.
Es wird nach Fehlern in Dateien geschaut. Dies werden dann unterschiedlich behandelt.
Zuerst wird auf ImportError, dann auf NameError und anschließend auf BaseException geprüft.
Bei einem ImportError und NameError, wird wenn möglich das fehlende Modul zur Installation angeboten.
Weiter werden bei NameError und BaseException, die Fehlermeldungen getrennt ausgegeben.
Das mit den Exceptions ist bei Bedarf weiter ausbaubar.

Auch das was Leonadis schon angesprochen hat, 'in ein laufendes Programm eingreift wenn ein Modul geladen wird welches nicht installiert ist', ist mit kleineren Umbauarbeiten möglich.

[Nobuddy]

Hallo zusammen,
habe modul_control.py weiter optimiert, hier https://gist.github.com/3048599 könnt Ihr es Euch anschauen.

Habe noch ein Problem, das ich bis jetzt nicht lösen konnte.

Code: Alles auswählen

def modul_check():
    counter = 0
    for prog in FILE_LIST:
        if '.py' in prog and not '.pyc' in prog and not PROG in prog:
            datei = prog
            modul = prog.split('.py')[0]

            try:
                if counter == 0:
                    no_mod()
                    imp.load_source(modul, datei)
                    counter = 1
                else:
                    imp.load_source(modul, datei)

'imp.load_source(modul, datei)' öffnet ja die Datei bzw. bei einem Fehler in der Datei, wird ein Error ausgegeben.
Nach dem öffnen der Datei, möchte ich diese auch wieder schließen.
Nun habe ich schon versucht mit psutil die Datei ausfindig zu machen, um diese dann mit terminate() zu beenden.
Leider gibt psutil nichts über die gestartete Datei aus.

Könnte da Eure Hilfe benötigen!

Welche Tipps bzw. Lösung könnt Ihr mir geben, um dieses Problem zu lösen?

Grüße Nobuddy

[BlackJack]

@Nobuddy: Welches Problem? ``imp.load_source(modul, datei)`` öffnet keine Datei die es nicht auch wieder schliesst. Und was Du da jetzt mit `psutil` suchen willst, ist mir auch nicht klar. Es gibt da nämlich auch keinen Prozess zum Beenden. Dateien kann man schon gar nicht beenden.

Der gezeigte Quelltext sieht auch schon wieder gruselig aus. `FILE_LIST` ist eine Konstante? Oder „übergibst” Du hier mal wieder Daten über einen globalen Namen‽

Die Tests mit ``in`` und den Datei*endungen* sehen auch nicht robust aus. Wenn Du auf Datei*endungen* testen möchtest, solltest Du genau *das* tun — testen ob das am *Ende* steht, und nicht *irgendwo* in der Zeichenkette. Und wenn Du eine Dateiendung mit einer bekannten Länge am Ende entfernen möchtest, dann geht das auch direkter als mit `split()`.

Zum `counter` sage ich jetzt mal nichts…

[Nobuddy]

@BlackJack, das war mir nicht klar, daß `imp.load_source(modul, datei)`, die Datei öffnet und wieder schließt.
Dann brauche ich auch kein 'psutil' und kann den Code was damit zusammenhängt inklusive 'counter' (teilweise) entfernen, was das Ganze dann etwas einfacher gestaltet!

FILE_LIST ist bei mir:

Code: Alles auswählen

# Alle Dateien des Ordners in FILE_LIST speichern.
FILE_LIST = set()
PATH = os.path.dirname(os.path.realpath(os.path.abspath(sys.argv[0])))
LIST = os.listdir(PATH)

for files in LIST:
    if os.path.isfile(files):
        FILE_LIST.add(files)

Danke für Deinen inpurt zu den Tests mit den Dateiendungen.

Code: Alles auswählen

for prog in FILE_LIST:
        if '.py' in prog and not '.pyc' in prog and not PROG in prog:

Geht auch einfacher mit

Code: Alles auswählen

if prog[int(len(prog) - 3):] == '.py' and prog != PROG:

Hattest Du so etwas im Sinn, oder doch was ganz anderes?

Und zu guter Letzt, hat sich dann das mit 'split()' auch erledigt, durch

Code: Alles auswählen

modul = prog[:int(len(prog) - 3)]

Wenn ich das oben beschriebene behoben habe, versuche ich den Code zu 'entgruseln'.

Danke für Deine Rückmeldung!

[BlackJack]

@Nobuddy: Ich hatte etwas anderes im Sinn. Lern mal bitte die Methoden auf Zeichenketten auswendig, also Namen und was sie tun.

Und dann beschreib mal was bei `len()` als Ergebnistyp heraus kommt, und was der Ergebnistyp ist, wenn man davon eine 3 abzieht.

[EyDu]

Und dann beschreib mal was bei `len()` als Ergebnistyp heraus kommt, und was der Ergebnistyp ist, wenn man davon eine 3 abzieht.

Dazu ist natürlich die Zeit immer ein wenig knapp, wenn man gerade Flugzeugmodelle und Landebahnen in seinem Garten nachbaut ^^

[Nobuddy]

Ok, das 'int' war unnötig.

@EyDu, Nein ... schon auf der Raumstation Alphatauri ...

[Nobuddy]

Hallo zusammen,
bin von Raumstation Alpatauri wieder zurück

modul_control.py habe ich 'entgruselt' und das Ganze umgebaut, hoffe ich kann Euch damit ein wenig überraschen!

Hier die aktuelle Version: https://gist.github.com/3075514

Würde mich freuen, wenn Ihr dies nochmals in Augenschein nehmen würdet!

Grüße Nobuddy

[Nobuddy]

Da die Nachfrage so groß ist , habe ich weitere Verbesserungen vorgenommen.
Jetzt ist es auch möglich, manuell die/den zu überprüfende(n) Datei bzw. Ordner anzugeben und überprüfen zu lassen.

Frisch aus dem Ofen: https://gist.github.com/3077815

[Leonidas]

Oh, jetzt sinds schon 420 Zeilen seltsamer Code. Zuerst mal, ich habe keine Lust das alles durchzugehen, daher nur paar Sachen die mir so aufgefallen sind: Warum importierst du alles auf einmal, wenn du beim ImportError nur auf die nicht-existenz von pip prüfst? Und warum `check = True`, man kann auch in Exception-Handler-Blöcken funktionen ausführen.

posix heißt nicht Linux. Kann auch BSD sein oder womöglich Mac OS X. Die Fehlermeldung ist grob falsch.

Warum ``file_list`` und ``filelist``, das ist ja sinnlose Namensgebung. Lies mal PEP8 und besser das aus. Und warum wird da eine Modulglobale Variable modifiziert, warum keine Rückgabewerte?

Warum einen Kommandozeilen-String zusammensetzen und danach ihn mit shlex zerlegen? Das ist so wie zu definieren ``a = 2 + 3 - 3`` nur um einer Variable den Wert 2 zuzuwiesen Vergiss für den Fall dass es shlex gibt, brauchst du eh nicht.

Und bei einer so hohen Zyklomatischen Komplexität hab ich gar keine Lust zu schauen ob das überhaupt funktioniert. Wenn eine Funktion zu viele Einrückungsebenen hat, dann heißt das, dass sie zu viel macht. Aufsplitten.

[Nobuddy]

Hallo Leonidas,
Danke für Deine Infos, ich werde versuchen Deine Vorschläge umzusetzen.

Ich habe alles in das Modul gepackt, was man sonst in mehrere Module aufteilen würde, daher auch die 420 Zeilen.
Der Grund dafür ist, daß ich dann nur ein Modul statt mehreren Modulen in den zu überprüfenden Ordner stelle, das finde ich als Vorteil.

[EyDu]

Leonidas wollte damit nicht ausdrücken, dass du das Modul in mehrere untereilen sollst, sondern dass der Code zu großen Teilen unterirdisch ist. Viele Dinge wurden ja schon genannt, auch in mindestens einem anderen Thread, die Hinweise scheinst du aber oft einfach zu ignorieren. Daher spar ich mir die Kommentare zu deinem Code.

[Nobuddy]

@EyDu, ich ignoriere bestimmt nicht mit Absicht!
Benötige in manchen Dingen einfach mehr Zeit, bis mir das klar geworden ist.
Das hat wiederum nichts etwa mit mangelnder Intelligenz zu tun, sondern hat einen anderen Grund, den ich aber hier nicht weiter erörtern möchte. Sollte es Dich persönlich interessieren, schreibe mir eine Nachricht.

Wie dem Einen und Anderen von Euch bekannt ist, hapert es ja mit meinem Englisch, deshalb ist es oft auch schwierig für mich englische Texte richtig zu verstehen (trotz Translater).
Jetzt bin ich hier http://wiki.python-forum.de/PEP%208%20% ... setzung%29 auf die deutsche Übersetzung von PEP8 gestoßen. Diese habe ich schon des öfteren unter die Nase gerieben bekommen und werde diese Gelegenheit nutzen, mir PEP8 durchzulesen.

[Nobuddy]

Hallo Leonidas,
habe Deinen letzten Post durchgearbeitet und entsprechende Änderungen vorgenommen, allerdings konnte ich Deinen Einwand gegen shlex noch nicht lösen. Ich poste hier mal den Code, in dem shlex enthalten ist.

Code: Alles auswählen

# Funktion zur Überprüfung
# ob ausgewähltes Paket schon installiert ist.
def installcheck(paket):
    # Überprüfe ob Paket nicht installiert ist.
    install_test = 'apt-cache policy %s' % paket
    args = shlex.split(install_test)
    process = subprocess.Popen(args, shell=False, stdout=subprocess.PIPE)
    process.wait()
    output = process.stdout.readlines()
    global installinfo
    if output:
        for installinfo in output:
            if 'Installiert:' in installinfo and not 'Installiert: (keine)' in installinfo:
                print ('\nPaket %s ist installiert!\nÜberprüfen Sie bitte Ihr Modul auf Fehler!\n' % (paket, paket))
            else:
                return installinfo
    else:
        installinfo = False

Ich habe dies versucht:

Code: Alles auswählen

    args = 'apt-cache policy %s' % paket
    process = subprocess.Popen(args, shell=False, stdout=subprocess.PIPE)

Leider funktioniert dies so nicht. Was mache ich da falsch?

Ich poste hier mal den aktuellen Code, damit Ihr meine Fortschritte überprüfen könnt. http://www.python-forum.de/viewtopic.ph ... 1&start=45

[Leonidas]

Du solltest ``Popen`` auch keine Strings übergeben, sondern eine Liste, dann ist der Code auch gleich sauberer:

Code: Alles auswählen

process = subprocess.Popen(['apt-cache', 'policy', paket], stdout=subprocess.PIPE)

Kein ``shlex``, kein String-Formatting. Der Standardwert von ``shell`` ist sowieso ``False``, daher braucht man das *auch* nicht anzugeben.

[jens]

btw. es gibt auch das Python Modul apt, mit den man direkt in den Paketverwaltungsdaten wühlen kann.
Kurze such ergibt:
http://apt.alioth.debian.org/python-apt-doc/index.html
http://stackoverflow.com/questions/tagg ... sort=votes

Ich selbst habe es vor einiger Zeit auf einer anderen Baustelle genutzt:
https://github.com/jedie/autoaptitude/b ... agelist.py