[ftplib] "Unzuverlässiger" FTP Upload

[redd]

Ich hab einige Probleme mit der ftplib, genauer gesagt mit dem Upload.

Mein Programm lädt zur Zeit ca. 200-300 Dateien in mehreren Threads auf einen FTP hoch. Die Probleme bestehen aber auch wenn ich nur einen Thread benutze.

Dabei bekomme ich in regelmäßigen Abständen bei .storlines oder .storbinary eine Exception (426: Failure reading network stream.) Ich bin leider nicht fündig geworden was die Exception bedeutet. Wenn ich danach die Datei nochmal versuche hochzuladen funktionierts meistens...

Noch ein anderes Probleme: Die ersten ca. 50 Dateien werden meist ziemlich schnell und zuverlässig hochgeladen. Dann aber dauern manche Uploads teilweise 5 Minuten (!) - und das bei gleicher Dateigröße. Der Upload scheint dann irgendwie zu "hängen". Nach 5 Minuten gehts dann wieder mit den nächsten 10-20 Dateien normal schnell weiter und dann dauerts wieder einige Minuten für eine Datei!?!

Ich hab bisher leider noch nicht rausfinden können woher die Probleme kommen. Vielleicht kann mir ja einer von euch helfen weil er vielleicht schonmal dieselben Probleme hatte!

[jens]

Läuft das im Lokalen Netz, oder durchs internet?

Wenn es im lokalen Netz läuft, könnte ich mir den "Einbruch" der Upload rate damit erklären, das der Rechner am anfang den Plattencache nutzt, der aber irgendwann voll ist. Wenn der Empfänger dann die Dateien auf Platte schreibt, kann er nicht mehr so schnell Antworten...

Wie groß sind denn die Dateien?

[redd]

Die Dateien werden übers Internet hochgeladen, Dateigröße ca. 1-500 kb.

Mir ist aufgefallen, dass der Upload langsamer läuft je mehr Aktivität nebenher in anderen Threads läuft. Am Anfang, wo noch Dateien generiert werden während andere schon hochgeladen werden, stockt der Upload wesentlich häufiger als hinterher, wo nur noch die Upload Threads laufen. Dennoch hängt der Upload auch dort noch ab und an.

Ich weiß halt nicht, ob die Probleme jetzt an meiner Architektur liegen oder obs einfach an der ftplib von Python liegt. Eigentlich sollten andere Threads mit starker CPU Auslastung ja nicht die Upload Threads behindern, da die ja kaum CPU benötigen!?!