Da es in der Tabelle stellen ohne Zahlen gibt, habe ich die Funktion nun so angepasst.
def parse_float(text):
try:
float(text)
return float(text.replace(",", ".")) if "," in text else float(text)
except ValueError:
return text

Diese Tabelle sorgt an der Stelle aber auch für das get_mass_data ...

Bei der `PermissionError`-Protokollmeldung ist mir nicht so ganz klar warum der Pfad mit `dirname()` und `basename()` zerlegt wird und dann in der Meldung beide Teile mit einem \ getrennt ausgegeben werden. Da kann man doch einfach gleich den kompletten Pfadnamen ausgeben.
Beim Nachlesen ist ...

Zunächst einmal ein großes Danke an alle für diese ausführliche Diskussion und Erklärungen :)


Zum Quelltext: Ausser `CopyFileEventHandler` sind die Klassen dort falsch, weil das gar keine Klassen sind. Ohne `__init__()` und mit keiner ”Methode” die `self` verwendet ist das einfach nur Missbrauch ...

Dein Beispiel ist so überhaupt nicht für Klassen geeignet, eine Klasse besteht immer aus Daten, die mit Methoden angereichert sind. Also mindestens ein Datum und mindestens zwei Methoden, die damit arbeiten.
Du hast je eine Funktion und keine Daten.

Wenn Du ein bisschen mehr mit OOP machen ...

Hallo zusammen,

ich versuche mich wieder ein bisschen mehr mit OOP, also dem Python-Kern, zu beschäftigen, in der Hoffnung, das mein Code besser und anschaulicher wird.
Die klassischen Tutorials mit
class Person:
def _init_(self, name, age):
self.name = name
self.age = age

paul = Person ...

Ach man, es ist ein bisschen anstrengend, wenn man immer nur die Hälfte seiner Fragen beantwortet bekommt.
Schreibt dein Script auch in das überwachte Verzeichnis?

Das oben genannte Skript und die bisher gezeigten Idee (in den Codetags) schreiben doch offensichtlich nicht in irgendein ...

Wer ändert die Dateien auf dem Server?
Schreibst du selber mit dem Script auch in das Verzeichnis? Wenn ja: Wie stellst du sicher, dass die Dateien, die das Script verändert hat, nicht noch einmal durch das Script verarbeitet werden?

Das was überwacht werden soll, wird vom Menschen dort ...

@Karlirex:

Indem man eine Kovention findet, die zeigt, dass die Datei fertig geschrieben ist.

beio (S)FTP-Verbindungen macht man das zum Beispiel gerne so, dass man wartet bis der schreibende Client sich wieder auslogt. Dann geht man davon aus, dass der Schreibvorgang wohl durch sein sollte.
Da ...

@_deets_: ich denke nicht.
Ich habe nur noch nicht so ganz eine Vorstellung davon, wie ich das Umsetzen soll, vorallem, da ich den "Wachschritt" ja dennoch brauche oder?
Deshalb auch der Gedanke, dass es dann langsamer ist. Ich muss ja beobachten um eine Datei, die neu ist, zu erfassen. Und das ...

@sparrow:
Achherrje, da habe ich scheinbar die Büchse der Pandora geöffnet.

Aber ist das mit dem Neuschreiben der Dateien nicht nochmal deutlich langsamer? Klingt für mich gerade so, als wäre mein Vorhaben eine Aufgabe die sich pro Durchlauf für 1-2h ausklinkt :?

Ich verbinde mit mit dem Skript ...

Problem beim sofortigem weiterverarbeiten ist bei so ziemlich allen Ansätzen dieser Art, dass man nicht wirklich robust feststellen kann wann eine Datei fertig geschrieben oder verändert ist.

Ansonsten kann man natürlich auch noch den Metainformationen glauben schenken und muss nur in ...

complete_dict_with_time = dict()
for path in path_list:
for root, dirs, files in os.walk(path):
for filename in files:
file_path = os.path.join(root, filename)
time = os.stat(file_path).st_mtime
complete_dict_with_time[os.path.join(root, filename)] = os.stat(file_path).st_mtime

Mein ...

@Karlirex: Das dann nur mit *einem* Ordner zu machen ist ja ein bisschen witzlos, denn da wird dann ja garantiert nichts parallel ausgeführt, und man hat nur den zusätzlichen Overhead das die Daten zwischen den Prozessen kommuniziert werden müssen.

Naja allein der größte Ordner dauert mit Pool ...

Ich würde hier wahrscheinlich noch die `chunksize` manuell auf 1 setzen sofern in `path_list` nicht viele Werte vorkommen die nur ganz wenige Ergebnisse liefern.

Mit chunksize=1 und lediglich einem (den größten Ordner) lande ich bei 418s statt 390s :D


Den Vorschlag mit scandir, versuche ich ...

@Karlirex: Zumindest `FOLDER` war korrekt, weil das dort noch eine Konstante war, als das noch so hiess. Ich mache in der Regel einen Unterschied in der Benennung das `Path`-Objekte auch wirklich `path` im Namen haben um bei `file_path` vs. `filename` zu wissen, dass das eine ein Pfad-Objekt (zu ...

Ich wette es wurde schon mal was zu Namen gesagt. `my_*` ist ein sinnloser Präfix, der in 99,9999% nichts aussagt und da nicht hingehört. `FOLDER` wäre eine Konstante, Argumentnamen sind aber nie Konstanten. `i` ist als Name für etwas anderes als ganze Zahlen falsch. Niemand kommt darauf, das es ...

Hallo,
ich erwecke den Thread nochmal zum Leben :D
Meine Ordner sind mit der Zeit deutlich größer geworden.
Dabei habe ich längere Laufzeiten der Funktion festegestellt (aktuell 6min+).
def get_filenames_with_accesstime(folder):
return {
filename: filename.stat().st_atime
for filename in ...

Der FileServer ist bei uns schon ewig da und wird eben von mehreren Gruppen verwendet, weshalb da alles drauf geht.
Jetzt ist eben meine Idee, dies zumindest für unsere Gruppe zu vereinfachen und im best case automatisieren.
Das Hochladen per Webanwendung würde die Daten dann aber nur der Person ...

Im Normalfall werden die Messdaten mit einem Kürzel hinterlegt: Datum_Bezeichnung_Name(Kürzel). Gleichzeitig werden die Daten auf dem Server immer nur in den entsprechenden Nutzerordner gepackt.
Ab hier kommt dann die Idee. Ab Nutzerordner könnte er dann ggf. in der Bezeichnung feststehenden ...

Nunja watchdog würde einem für den letzten Schritt doch schön weiterhelfen, da ich doch dann prüfen kann wenn neue Daten im Netz ankommen, diese dann direkt auch weiter zu verschieben, oder?
Und dennoch müsste ich dann bei Flask irgendwie den Zielordner mitgeben, selbst wenn ich den Ursprungsordner ...