[ftplib] "Unzuverlässiger" FTP Upload

Wenn du dir nicht sicher bist, in welchem der anderen Foren du die Frage stellen sollst, dann bist du hier im Forum für allgemeine Fragen sicher richtig.
Antworten
redd
User
Beiträge: 2
Registriert: Freitag 30. Mai 2008, 13:07

Freitag 30. Mai 2008, 13:17

Ich hab einige Probleme mit der ftplib, genauer gesagt mit dem Upload.

Mein Programm lädt zur Zeit ca. 200-300 Dateien in mehreren Threads auf einen FTP hoch. Die Probleme bestehen aber auch wenn ich nur einen Thread benutze.

Dabei bekomme ich in regelmäßigen Abständen bei .storlines oder .storbinary eine Exception (426: Failure reading network stream.) Ich bin leider nicht fündig geworden was die Exception bedeutet. Wenn ich danach die Datei nochmal versuche hochzuladen funktionierts meistens...

Noch ein anderes Probleme: Die ersten ca. 50 Dateien werden meist ziemlich schnell und zuverlässig hochgeladen. Dann aber dauern manche Uploads teilweise 5 Minuten (!) - und das bei gleicher Dateigröße. Der Upload scheint dann irgendwie zu "hängen". Nach 5 Minuten gehts dann wieder mit den nächsten 10-20 Dateien normal schnell weiter und dann dauerts wieder einige Minuten für eine Datei!?!

Ich hab bisher leider noch nicht rausfinden können woher die Probleme kommen. Vielleicht kann mir ja einer von euch helfen weil er vielleicht schonmal dieselben Probleme hatte! :)
Benutzeravatar
jens
Moderator
Beiträge: 8461
Registriert: Dienstag 10. August 2004, 09:40
Wohnort: duisburg
Kontaktdaten:

Samstag 31. Mai 2008, 11:40

Läuft das im Lokalen Netz, oder durchs internet?

Wenn es im lokalen Netz läuft, könnte ich mir den "Einbruch" der Upload rate damit erklären, das der Rechner am anfang den Plattencache nutzt, der aber irgendwann voll ist. Wenn der Empfänger dann die Dateien auf Platte schreibt, kann er nicht mehr so schnell Antworten...

Wie groß sind denn die Dateien?

CMS in Python: http://www.pylucid.org
GitHub | Open HUB | Xing | Linked in
Bitcoins to: 1JEgSQepxGjdprNedC9tXQWLpS424AL8cd
redd
User
Beiträge: 2
Registriert: Freitag 30. Mai 2008, 13:07

Samstag 31. Mai 2008, 12:13

Die Dateien werden übers Internet hochgeladen, Dateigröße ca. 1-500 kb.

Mir ist aufgefallen, dass der Upload langsamer läuft je mehr Aktivität nebenher in anderen Threads läuft. Am Anfang, wo noch Dateien generiert werden während andere schon hochgeladen werden, stockt der Upload wesentlich häufiger als hinterher, wo nur noch die Upload Threads laufen. Dennoch hängt der Upload auch dort noch ab und an.

Ich weiß halt nicht, ob die Probleme jetzt an meiner Architektur liegen oder obs einfach an der ftplib von Python liegt. Eigentlich sollten andere Threads mit starker CPU Auslastung ja nicht die Upload Threads behindern, da die ja kaum CPU benötigen!?!
Antworten