Daten an Subprocess übergeben bzw. im Subprocess auslesen ?

snakeseven · Dienstag 17. Januar 2006, 18:01

Hallo,
ich habe mich in die Pipe-, Popen-, Subprocess- Sachen ein wenig eingelesen, aber bin doch verwirrt, wie das alles funktioniert. Ich will Folgendes:

Main Hauptprogramm ruft mit

Code: Alles auswählen

pz1 = subprocess.Popen('C:/Python/dist/Modul_1.exe')

ein anderes Programm auf. In diesem Programm sollen zwei Variablen weiterverarbeitet werden,
welche vom aufrufenden Programm übergeben werden sollen. Wie bekomme ich:

a) die Variablen (z.b. x und y) über subprocess() in das andere Programm transferiert (write ?, return ?,send ?)

b) wie lese ich in dem anderen Programm die übergebenen Daten aus (read ? readline ? input ?)

Ich weiss, es gibt 'stin' und 'stout'. Aber wie kommunizieren die miteinander ? Hat vieleicht einer ein klitzekleines, konkretes Beispiel parat ?

Wäre sehr dankbar !
Seven

Joghurt · Dienstag 17. Januar 2006, 18:39

read() liest von stdout des Subprocesses, write() schreibt an stdin des Subprozesses

jens · Dienstag 17. Januar 2006, 20:02

Dazu passend: http://www.python-forum.de/viewtopic.php?t=2875

gerold · Dienstag 17. Januar 2006, 21:27

snakeseven hat geschrieben:Ich weiss, es gibt 'stin' und 'stout'. Aber wie kommunizieren die miteinander ? Hat vieleicht einer ein klitzekleines, konkretes Beispiel parat ?

Hi Seven!

Vielleicht bringt dich das weiter:
http://www.python-forum.de/viewtopic.php?p=29406#29406

Das soll aber nur eine der vielen Möglichkeiten darstellen.

lg
Gerold

gerold · Dienstag 17. Januar 2006, 21:35

Hi Seven!

Wenn du das aufrufende Programm auch mit anderen Programmiersprachen oder einfach nur über die Shell aufrufen können möchtest, dann solltest du darüber nachdenken, ob es nicht doch besser ist, die Parameter über die Kommandozeile zu übergeben zu lassen.

Wie so etwas aussehen kann, demonstriert folgendes Skript. (siehe `def parse_options():`)
http://www.python-forum.de/viewtopic.php?p=9536#9536

Lass dich bitte nicht von den vielen möglichen Parametern im Programm abschrecken. So etwas funktioniert auch mit weniger.

lg
Gerold

snakeseven · Dienstag 17. Januar 2006, 21:51

Vielen Dank !!
Das sieht genau nach dem aus, was ich suche.
Bei mir ruft ein Pythonscript ein anderes (compiliertes) Pythonscript auf, das dürfte mit den Infos jetzt funktionieren. Werde mich gleich morgen ranmachen, es auszuprobieren.

Grüße, Seven

modelnine · Dienstag 17. Januar 2006, 22:23

Ich hab das erste Beispiel http://www.python-forum.de/viewtopic.php?t=4941 von Gerold ein bisschen verändert, weil mittels cPickle.load/dump auch bidirektionale Kommunikation möglich ist. Wenn Dich das interessiert, guck nochmal mach.

--- Heiko.

jens · Mittwoch 18. Januar 2006, 07:14

snakeseven hat geschrieben:Bei mir ruft ein Pythonscript ein anderes (compiliertes) Pythonscript auf

Moment mal! Du rufst ein anderes Python-Skript auf? Warum dann überhaupt über subprocess???
Warum importierst du es nicht einfach und rufst gezielt eine Methode/Funktion auf?
Eine andere Möglichkeit wird beim Python-Server gemacht, es ruft das andere Skript über execfile() auf.

snakeseven · Mittwoch 18. Januar 2006, 07:47

Moment mal! Du rufst ein anderes Python-Skript auf? Warum dann überhaupt über subprocess???
Warum importierst du es nicht einfach und rufst gezielt eine Methode/Funktion auf?
Eine andere Möglichkeit wird beim Python-Server gemacht, es ruft das andere Skript über execfile() auf.

Es ist ein wenig komplexer. Ein Hauptprozess ruft je nach Bedarf Nebenprozesse auf und terminiert die anschließend wieder. Diese Nebenprozesse bekommen Daten übergeben, arbeiten sie ab und tschüss.
Das ganze ist eine serverbasiserte Anwendung, die je nach Anforderung des Users ein eigenes, auf diese Anforderung zugeschnittenes Programm startet. Der Prozesshandler hat zudem die Aufgabe, die Funktionstüchtigkeit der Nebenprozesse zu überprüfen und erstellt Fehler- und andere Protokolle. Ich finde die Lösung mit den Subprozessen am einfachsten, weil dann auch mehrere parallel arbeiten können. Mit execfile() oder Popen2() kann ich Programme zwar starten, aber nicht wieder beenden. Ist mir jedenfalls nicht gelungen.

Gruss, Seven

jens · Mittwoch 18. Januar 2006, 08:01

Nimmt man dafür dann nicht besser RPC ?

snakeseven · Mittwoch 18. Januar 2006, 08:46

jens hat geschrieben:Nimmt man dafür dann nicht besser RPC ?

Kenn ich nicht !? Noch ne neue Baustelle wollte ich eigendlich nicht aufmachen.

Werde mich aber mal damit beschäftigen. Danke für den Tipp ! Seven

snakeseven · Mittwoch 18. Januar 2006, 08:57

@Gerold: Hi, wenn ich dein Sender-Empfänger Beispiel starte, bekome ich eine Fehlermeldung:

Code: Alles auswählen

Traceback (most recent call last):
  File "C:/Ablage/Python/PythonScripte/sender.py", line 54, in -toplevel-
    main()
  File "C:/Ablage/Python/PythonScripte/sender.py", line 38, in main
    cwd = os.curdir
  File "C:\Programme\Python24\lib\subprocess.py", line 533, in __init__
    (p2cread, p2cwrite,
  File "C:\Programme\Python24\lib\subprocess.py", line 623, in _get_handles
    errwrite = self._make_inheritable(errwrite)
  File "C:\Programme\Python24\lib\subprocess.py", line 634, in _make_inheritable
    DUPLICATE_SAME_ACCESS)
TypeError: an integer is required

Gruss, Seven

gerold · Mittwoch 18. Januar 2006, 10:10

snakeseven hat geschrieben:@Gerold: Hi, wenn ich dein Sender-Empfänger Beispiel starte, bekome ich eine Fehlermeldung:
[...]
TypeError: an integer is required[/code]

Hi Seven!

Ich bin paff -- ehrlich.

Soeben habe ich das Skript unter Windows getestet. So wie ich meistens einen **kleinen** Test unter Windows mache. -- Mit Idle. --

Ich habe die gleiche Fehlermeldung wie du bekommen. Nach ein paar Minuten des sinnlosen herumprobierens habe ich das Skript im WingIDE geöffnet, damit ich besser debuggen kann. Siehe da im WingIDE funktionierte es ohne Probleme. Dann probierte ich es noch über die Kommandozeile aus. Ebenfalls kein Problem.

Das ist mein erstes Skript, das sich nicht dazu überreden lässt, im Idle zu funktionieren.

Vielleicht funktioniert es ja mit **os.popen2** im Idle, aber das kannst du ja selber ausprobieren.

lg
Gerold

jens · Mittwoch 18. Januar 2006, 10:19

Und wieder ein Grund mehr von der IDLE abzuraten

snakeseven · Mittwoch 18. Januar 2006, 12:06

Hi,
ich muss nochmal zum grundsätzlichen Verständnis nachbohren:
Stdin und Stdout sind der Standardinput bzw. - Output von was: subprocess ?, sys ?
Ich gehe jetzt erstmal davon aus, dass Stdin/Stdout existieren und mir zur Verfügung stehen:

Beispiel: Ich habe zwei Prozesse, einen Main- und einen Subprozess.

Möglichkeit 1:
Mit subproz.stdin.write() schickt der Mainprozess Daten an Stdin.
Mit sys.stdin.read() holt sich der Subprozess die Daten dort ab.
Würde der Subprozess widerum Daten erzeugen, so könnte er diese mit sys.stdout.write()
an Stdout schicken. Und der Mainprozess könnte sie sich dort mit
prozess.stdout.read() abholen.

Möglichkeit 2:
Auf Stdin kann immer nur write() angewendet werden und auf Stdout immer nur read().
Das hieße, daß der Mainprozess mit subproz.stdin.write() die Daten an den Stdin vom Subprozess schickt.
Aus der Sicht vom Subprozess gibt es aber kein Stdin sondern nur den Stdout des Mainprozesses.
Also muss sich Subprozess die Daten mit sys.stdout.read() dort abholen. Das hieße, wenn ich mich nicht irre,
daß physikalisch Stdin = Stdout ist ?

Sorry für eventuelle Verwirrung, aber nur so kann ich verstehen, was ich da überhaupt mache.
Gruss, Seven

modelnine · Mittwoch 18. Januar 2006, 12:13

Möglichkeit 1 ist das richtige.

Die Dokumentation vom subprocess-Modul müßte den Rest erklären.

--- Heiko.

snakeseven · Mittwoch 18. Januar 2006, 22:10

modelnine hat geschrieben:Möglichkeit 1 ist das richtige.
--- Heiko.

Ahhh ! Bin ich ja doch schonmal ein bischen weiter

Dennoch verstehe ich dann nicht, wieso mir dieses Minibeispiel

Code: Alles auswählen

#Daten an Subprozess schicken
import subprocess
p = subprocess.Popen('C:/Ablage/Python/PythonScripte/test.py',stdin = subprocess.PIPE)
raus = "10" + "20" + "Fred vom Jupiter"
p.stdin.write(raus)
p.close()

folgende Fehlermeldungen erzeugt:

Code: Alles auswählen

Traceback (most recent call last):
  File "C:\Ablage\Python\PythonScripte\test2.py", line 3, in -toplevel-
    p = subprocess.Popen('C:/Ablage/Python/PythonScripte/test.py',stdin = subprocess.PIPE)
  File "C:\Programme\Python24\lib\subprocess.py", line 533, in __init__
    (p2cread, p2cwrite,
  File "C:\Programme\Python24\lib\subprocess.py", line 607, in _get_handles
    c2pwrite = self._make_inheritable(c2pwrite)
  File "C:\Programme\Python24\lib\subprocess.py", line 634, in _make_inheritable
    DUPLICATE_SAME_ACCESS)
WindowsError: [Errno 6] Das Handle ist ungültig

Und dieses Beispiel bemängelt der Interpreter auch:

Code: Alles auswählen

#übergebene Daten auslesen
import sys
print sys.stdout.read()

Code: Alles auswählen

Traceback (most recent call last):
  File "C:\Ablage\Python\PythonScripte\test.py", line 2, in -toplevel-
    print sys.stdout.read()
AttributeError: read

Gruss, Seven

jens · Donnerstag 19. Januar 2006, 07:38

So geht's:
test.py

Code: Alles auswählen

import subprocess

p = subprocess.Popen("python test2.py", stdin = subprocess.PIPE)
p.stdin.write("Fred vom Jupiter")
p.stdin.close()

print "ende"

test2.py

Code: Alles auswählen

import sys

print "OK1"
print "XXX%sXXX" % sys.stdin.readline()
print "OK2"

Allerdings ist das bei mir eine wackelige Geschichte... Wenn ich es in Scite Teste, dann muß bei test.py das print "ende" drin sein. Wenn ich das auskommentiere, geht es mal und dann wieder nicht...
Wenn ich es auf der Eingabeaufforderung teste, dann muß ich immer zum Schluß ein Enter drücken, damit der Interpreter beendet wird... Ich habe es auch mal versucht, vor dem p.stdin.close() ein p.stdin.write(os.linesep) einzufügen, damit readline() auf jeden Fall "weiter" macht. Das Ergebniss ist das selbe...

Und das bringt auch nichts:

test2.py

Code: Alles auswählen

import sys

print "OK"
while 1:
    line = sys.stdin.readline()
    if not line:
        break
    print line
print "OK2"

snakeseven · Donnerstag 19. Januar 2006, 09:06

@ Jens: Danke dir, werds gleich mal checken.

@ Gerold: Kannst du mir noch sagen, wieso in
deinem Beispiel cPickle.dumps (mit's') verwendet wird ? Habe dazu auch bei Google nichts gefunden und in der Python Referenz, wie leider so oft, auch nichts.

Gruss, Seven

gerold · Donnerstag 19. Januar 2006, 09:31

snakeseven hat geschrieben:@ Gerold: Kannst du mir noch sagen, wieso in
deinem Beispiel cPickle.dumps (mit's') verwendet wird ? Habe dazu auch bei Google nichts gefunden und in der Python Referenz, wie leider so oft, auch nichts.

Hi Seven!

Da ich davon gehört habe, dass unter Windows das Zielprogramm abgebrochen wird, wenn über sys.stdin des Zielprogramms der String "\x1a" geleitet wird, dachte ich mir, dass es besser sei, keine binären Daten über STDIN zu jagen. Da in der Erklärung von "cPicle.dumps" steht, dass damit ein String erzeugt wird, dachte ich mir, dass "dumps" sich schon darum kümmern wird, dass kein "EOF" (="\x1a") mitten im String auftauchen wird. Aber wahrscheinlich wird "dumps" exakt den gleichen Code erzeugen, wie ihn "dump" erzeugt.

Der einzige Unterschied wird also sein, dass ich vorher einen String erzeuge und diesen mit "write()" über die Leitung jage und in der Version von modelnine wird dieser Schritt ausgelassen, da "dump" sich schon darum kümmert, dass die Daten in das "File"-Objekt (in diesem Fall: STDIN des Kindprozesses) geschrieben wird.

http://python.org/doc/2.4.2/lib/node65.html

Das "BIN"-Problem besteht aber trotzdem noch, da ich ja beim "dumps" als Protokoll die Zahl 2 angegeben habe. Das war evt. nicht so gut. Hätte ich das nicht angegeben, dann würde mit Sicherheit ein "ASCII"-String generiert werden. Andererseits glaube ich nicht, dass mit "Pickle" etwas generiert wird, was den Datenfluss abbrechen könnte.

http://www.python-forum.de/viewtopic.php?p=29095#29095

lg
Gerold