FTP Download nach Datum

Wenn du dir nicht sicher bist, in welchem der anderen Foren du die Frage stellen sollst, dann bist du hier im Forum für allgemeine Fragen sicher richtig.
EyDu
User
Beiträge: 4881
Registriert: Donnerstag 20. Juli 2006, 23:06
Wohnort: Berlin

Ich hatte es mir über help(ftplib.FTP) ausgeben lassen und mich an der Ausgabe nicht weiter gestört.
Das Leben ist wie ein Tennisball.
Benutzeravatar
snafu
User
Beiträge: 6731
Registriert: Donnerstag 21. Februar 2008, 17:31
Wohnort: Gelsenkirchen

Ich muss aber die optionalen Login-Argumente doch irgendwie an ftplib.FTP() übergeben. Wenn ich dafür keine __init__()-Methode mache, kann die Klasse auch schlecht was annehmen. Oder gibt es da einen anderen, besseren Weg für?
Benutzeravatar
cofi
Python-Forum Veteran
Beiträge: 4432
Registriert: Sonntag 30. März 2008, 04:16
Wohnort: RGFybXN0YWR0

Wenn du kein `__init__` definierst, erbst du die der Elternklasse. Und du machst nichts anderes als die aufzurufen ;)
Benutzeravatar
snafu
User
Beiträge: 6731
Registriert: Donnerstag 21. Februar 2008, 17:31
Wohnort: Gelsenkirchen

Achsooooooooooooo (ausprobieren soll ja zwischendurch hilfreich sein). Nee, so herum hatte ich tatsächlich nicht gedacht. Okay, dann kann sie natürlich weg.
Benutzeravatar
snafu
User
Beiträge: 6731
Registriert: Donnerstag 21. Februar 2008, 17:31
Wohnort: Gelsenkirchen

Manne_Manta
User
Beiträge: 39
Registriert: Dienstag 5. Mai 2009, 11:26

Jetzt werd ich mit meinen nicht vorhandenen Kenntnissen etwas überfordert.

Ich hab jetzt deinen Code als "py" Datei in den "lib" Ordner kopiert.

dann hab ich jetzt folgenden Code:

Code: Alles auswählen

import os
import FTPFileSorter
from operator import itemgetter
from ftplib import FTP
ftp = FTP("dadada")   # connect to host, default port
ftp.login("pipipi","dididi")               # user anonymous, passwd anonymous@

ftp.cwd("/dat3")
#ftp.retrlines('LIST')     # list directory contents

# Define the local directory name to put data in
ddir="C:\\datadir"

# If directory doesn't exist make it
if not os.path.isdir(ddir):
    os.mkdir(ddir)

# Change the local directory to where you want to put the data
os.chdir(ddir)
Ist das mit dem Aufruf der "FTPFileSorter" so richtig?
Was muss ich jetzt noch in den Code einfügen um die letzte ".dat" Datei zu erhalten?

Danke schon mal für die Bemühungen.
Benutzeravatar
cofi
Python-Forum Veteran
Beiträge: 4432
Registriert: Sonntag 30. März 2008, 04:16
Wohnort: RGFybXN0YWR0

Ich glaube du solltest mal das Tutorial lesen. Ein Name ist nich auf magische Weise importierbar, indem man die Datei einfach in den Bibliotheken-Ordner knallt.

Zeile 2:

Code: Alles auswählen

from snafu_ftp import FTPFileSorter
`snafu_ftp` musst du natürlich mit dem Dateinamen ersetzen.
Zeile 5:

Code: Alles auswählen

ftp = FTPFileSorter("dadada")
EyDu
User
Beiträge: 4881
Registriert: Donnerstag 20. Juli 2006, 23:06
Wohnort: Berlin

Code: Alles auswählen

>>> import os
>>> os.path.exists("test.py")
True
>>> os.path.isfile("test.py")
True
>>> os.path.isdir("test.py")
False
Denk mal drüber nach ;-)

Außerdem solltest du noch die ein oder andere Exception abfangen.
Das Leben ist wie ein Tennisball.
Benutzeravatar
snafu
User
Beiträge: 6731
Registriert: Donnerstag 21. Februar 2008, 17:31
Wohnort: Gelsenkirchen

@Manne_Manta:

Mein Skript ersetzt die entsprechende Klasse aus der `ftplib`.

Nehmen wir an, dein Programm ist unter `ftpsorter.py` gespeichert. Dann geht es so:

Code: Alles auswählen

from ftpsorter import FTPFileSorter as Sorter

sorter = Sorter(adresse_von_ftpserver, dein_username, dein_pw) # natürlich nur wenn du nen username + passwort da hast, ansonsten nur die adresse

sorter.cwd('/dat3')

# das listet dir die dat-files geordnet nach datum auf:
sorter.datesort_files(pattern='*.dat', prettylines=True)

# wenn du mit dem dateinamen weiterarbeiten willst:
latest_dat, date = sorter.datesort_files(pattern='*.dat')[0]
Den Part mit `fnmatch` kann man sich übrigens sparen, da `nlst()` Globbing unterstützt.
Manne_Manta
User
Beiträge: 39
Registriert: Dienstag 5. Mai 2009, 11:26

Leider bekomme ich das Speichern der Datei nicht hin.

Code: Alles auswählen

import os
from ftpsorter import FTPFileSorter as Sorter 
sorter = Sorter("bububu", "dadada", "trtrtr") 

sorter.cwd('/dat3') 

# das listet dir die dat-files geordnet nach datum auf: 
sorter.datesort_files(pattern='*.dat', prettylines=True) 

# wenn du mit dem dateinamen weiterarbeiten willst: 
latest_dat, date = sorter.datesort_files(pattern='*.dat')[0]

# Define the local directory name to put data in
ddir="C:\\datadir"

# If directory doesn't exist make it
if not os.path.isdir(ddir):
    os.mkdir(ddir)

    # get the remote file to the local directory

sorter.retrbinary("RETR %s" % latest_dat, open(latest_dat,"wb").write) 
was ist an der "retrbinary" Zeile falsch.
Es gibt keine Fehlermeldung aus, aber es passiert auch nichts.

Habs hinbekommen.

Code: Alles auswählen

# Change the local directory to where you want to put the data 
os.chdir(ddir)
Dann klappts auch.

Danke für die Hilfe nochmal.
Manne_Manta
User
Beiträge: 39
Registriert: Dienstag 5. Mai 2009, 11:26

Ich muss mich jetzt nach längerer Zeit wieder mit meinem Tool rumschlagen. Leider hab ich mit Py2Exe eine Exe draus gemacht und den Quellcode verschlampt.

Ich hab folgendes als "ftpfilesorter.py" in den Lib Ordner kopiert:

Code: Alles auswählen

import ftplib
from operator import itemgetter


class Sorter(ftplib.FTP):

    def __init__(self, host='', user='', passwd='', acct=''):
        """
        Behaves like ftplib.FTP()
        """
        ftplib.FTP.__init__(self, host, user, passwd, acct)

    def datesort_files(self):
        """
        Return a date-sorted file list from the current
        ftp directory with the latest file on top
        """
        files = []
        for filename in self.nlst():
            try:
                mdtm = self.sendcmd('MDTM %s' % filename)
                date = mdtm.split()[1]
                files.append((filename, date))
            except ftplib.error_perm:
                pass
        return sorted(files, key=itemgetter(1), reverse=True)
und das ist das auszuführende File:

Code: Alles auswählen

import os
from string import join as join
from shutil import rmtree as rmtree
from ftpsorter import *
from easygui import integerbox as integerbox


#Read data from config File
configfile = "config.csv"
exportpath = []
fpath = []
pdevice = []
plogin = []
ppassw = []
for line in open(configfile ,'rU'):
    line = line.rstrip()
    if line:
        data = line.split(";")
        exportpath.append(data)
        fspath.append(data)
        pdevice.append(data)
        plogin.append(data)
        ppassw.append(data)

exportpath = exportpath[0][0]
fpath = fpath[1][0]
pdevice = pdevice[2][0]
plogin = plogin[2][1]
ppassw = ppassw[2][2]

x=integerbox(msg=boxtext, title='fFTP Imp V0.1', default=1, argLowerBound=0, argUpperBound=99, image=None, root=None)


sorter = Sorter(pdevice ,plogin , ppassw)

sorter.cwd('/dat3')



#Delete path
rmtree(exportpath,1)


# das listet dir die dat-files geordnet nach datum auf:
sorter.datesort_files(pattern='*.dat', prettylines=True)


for x in range (0,x):

    # wenn du mit dem dateinamen weiterarbeiten willst:
    latest_dat, date = sorter.datesort_files(pattern='*.dat')[x]
    latest_bin, date = sorter.datesort_files(pattern='*.bin')[x]



    # If directory doesn't exist make it
    if not os.path.isdir(exportpath):
        os.mkdir(exportpath)

    # Change the local directory to where you want to put the data
    os.chdir(exportpath)

    #write file to selected directory
    sorter.retrbinary("RETR %s" % latest_dat, open(latest_dat,"wb").write)
    sorter.retrbinary("RETR %s" % latest_bin, open(latest_bin,"wb").write)
    file = open("datei" + str(x)+".txt",( "w") )
    file.write(latest_dat)
    x=x+1
file.close()
#cv.wait(10)
os.startfile(fpath)
Die Fehlermeldung lautet nun: got an unexpected keyword argument 'pattern'

Kann mir da jemand helfen?

Danke im Voraus.
Zuletzt geändert von Manne_Manta am Mittwoch 13. Januar 2010, 07:52, insgesamt 3-mal geändert.
Manne_Manta
User
Beiträge: 39
Registriert: Dienstag 5. Mai 2009, 11:26

Sorry die Fehlemeldung hier komplett:

datesort_files() got an unexpected keyword argument 'pattern'
Benutzeravatar
snafu
User
Beiträge: 6731
Registriert: Donnerstag 21. Februar 2008, 17:31
Wohnort: Gelsenkirchen

Ja, lies die Fehlermeldung. Deine `datesort_files` Methode nimmt kein Schlüsselwort-Argument `pattern` an und übrigens auch kein `prettylines`. ;)

Zudem verweise ich auf:
cofi hat geschrieben:Ich glaube du solltest mal das Tutorial lesen.
Benutzeravatar
snafu
User
Beiträge: 6731
Registriert: Donnerstag 21. Februar 2008, 17:31
Wohnort: Gelsenkirchen

Code: Alles auswählen

import ftplib
import time

class TimeFTP(ftplib.FTP):
    def last_modified(self, *args):
        for filename in self.nlst(*args):
            retcode, timestamp = self.sendcmd('mdtm ' + filename).split(' ', 1)
            timestruct = time.strptime(timestamp, '%Y%m%d%H%M%S')
            yield filename, timestruct

Code: Alles auswählen

In [1]: from timeftp import TimeFTP

In [2]: ftp = TimeFTP('ftp.gimp.org', 'anonymous')

In [3]: ftp.cwd('pub/pango/1.21')
Out[3]: '250 Directory successfully changed.'

In [4]: max(ftp.last_modified('*.md5'))
Out[4]: 
('pango-1.21.5.tar.gz.md5',
 time.struct_time(tm_year=2008, tm_mon=8, tm_mday=26, tm_hour=21, tm_min=59, tm_sec=10, tm_wday=1, tm_yday=239, tm_isdst=-1))
Manne_Manta
User
Beiträge: 39
Registriert: Dienstag 5. Mai 2009, 11:26

Danke. :D

Was ich damit allerdings nicht machen kann, ist, eine beliebige Anzahl der zuletzt erzeugten Files vom Server zu holen.

sowie hier:

Code: Alles auswählen

for x in range (0,x):

    # wenn du mit dem dateinamen weiterarbeiten willst:
    latest_dat, date = sorter.datesort_files(pattern='*.dat')[x]
    latest_bin, date = sorter.datesort_files(pattern='*.bin')[x]
Wo ich jetzt auch noch auf dem Schlauch stehe, ist wie ich das File geschrieben bekomme.

Code: Alles auswählen

letztes=max(ftp.last_modified('*.dat'))
ftp.retrbinary("RETR %s" "test %s", open(letztes, 'wb').write)
funktioniert natürlich nicht.
Benutzeravatar
snafu
User
Beiträge: 6731
Registriert: Donnerstag 21. Februar 2008, 17:31
Wohnort: Gelsenkirchen

Hast du inzwischen zumindest ein bißchen im Tutorial gelesen? Es macht echt keinen Spass, wenn man das Gefühl hat, dass sich die Leute alles vorkauen lassen wollen...

Code: Alles auswählen

In [10]: ftp = TimeFTP('ftp.gimp.org', 'anonymous')

In [11]: ftp.cwd('pub/pango/1.21')
Out[11]: '250 Directory successfully changed.'

In [12]: latest3 = sorted(ftp.last_modified('*.md5'))[-3:]

In [13]: latest3
Out[13]: 
[('pango-1.21.4.tar.gz.md5',
  time.struct_time(tm_year=2008, tm_mon=8, tm_mday=11, tm_hour=23, tm_min=58, tm_sec=36, tm_wday=0, tm_yday=224, tm_isdst=-1)),
 ('pango-1.21.5.tar.bz2.md5',
  time.struct_time(tm_year=2008, tm_mon=8, tm_mday=26, tm_hour=21, tm_min=59, tm_sec=10, tm_wday=1, tm_yday=239, tm_isdst=-1)),
 ('pango-1.21.5.tar.gz.md5',
  time.struct_time(tm_year=2008, tm_mon=8, tm_mday=26, tm_hour=21, tm_min=59, tm_sec=10, tm_wday=1, tm_yday=239, tm_isdst=-1))]

In [14]: for name, time in latest3: print name
   ....: 
pango-1.21.4.tar.gz.md5
pango-1.21.5.tar.bz2.md5
pango-1.21.5.tar.gz.md5
Manne_Manta
User
Beiträge: 39
Registriert: Dienstag 5. Mai 2009, 11:26

Sorry wenn ich dir lästig bin. Ich hab natürlich angefangen das Tutorial zu lesen. Ich habe das Tool ja eigentlich auch schon lauffähig, nur leider keinen Quellcode mehr (sogar mit Tkinter GUI).

Durch "sorted" werden die Daten ja in eine Liste geschrieben. Wie können die Datensätze aus der Liste gespeichert werden?

Code: Alles auswählen

ftp.retrbinary("RETR %s" % latestx_dat, open(latestx_dat,"wb").write)
liefert ja nur den letzten Datensatz aus der Liste. Wie komme ich an die anderen Datensätze?

Hier der Gesammte Code:

Code: Alles auswählen

#Import Bibliotheken
from timeftp import TimeFTP




ftp = TimeFTP('kkkk, 'pppp,'tttt') # Aufbau FTP Verbindung
ftp.cwd('/dat3') #In Quellverzeichnis wechseln
x=-2
latest_dat, last1 = max(ftp.last_modified('*.dat'))

latestx = sorted(ftp.last_modified('*.dat'))[x:]


for latestx_dat, time in latestx: latestx_dat
for name, time in latest3: print name


ftp.retrbinary("RETR %s" % latestx_dat, open(latestx_dat,"wb").write)
Benutzeravatar
snafu
User
Beiträge: 6731
Registriert: Donnerstag 21. Februar 2008, 17:31
Wohnort: Gelsenkirchen

http://paste.pocoo.org/show/165367/

Code: Alles auswählen

In [1]: import timeftp

In [2]: ftp_addr = "ftp://ftp.gimp.org/pub/pango/1.21/"

In [3]: timeftp.get_last_modified(ftp_addr, '*.md5', 3, 'testdir', 'anonymous')
Die Funktion könnte natürlich auch `save_*` oder `download_*` heißen. Dies möge der geneigte Leser sich bei Bedarf verbessern. :)
Manne_Manta
User
Beiträge: 39
Registriert: Dienstag 5. Mai 2009, 11:26

Ich hab mein ganzes Tool jetzt wieder fertiggeschrieben.

Leider ist mir jetzt aufgefallen das get_last_modified nicht das aktuelleste File vom Server holt, sondern das ganze nach dem Filenamen auflöst.
Ist das bei Dir auch so?

Ich hab das Script 1:1 von Dir übernommen und nur meine Parameter eingesetzt.
Die timeftp hab ich 1:1 übernommen.
Benutzeravatar
snafu
User
Beiträge: 6731
Registriert: Donnerstag 21. Februar 2008, 17:31
Wohnort: Gelsenkirchen

Bei mir gehts. Zeig doch mal die Ausgabe von `TimeFTP.last_modified()` im Vergleich zu `TimeFTP.dir()`. Oder woran erkennst du, dass es nicht funktioniert?
Antworten