@rogerb

wow!! Das klingt nach der Art wie ich es mir vorgestellt hab! Besten Dank
Ich werde mir deine Idee morgen in aller Ruhe durchschauen und dir nochmal ein Feedback dazugeben.

Auf jeden Fall schonmal großen Dank dafür.

Schönes Wochenende, Chris

@rogerb,

das ist ohne den gesamten Nutzen des Projektes zu kennen etwas schwer zu verstehen. Da gebe ich recht!

Ich hatte bislang, beide Streams (den Userstream und den Finanzdatenstream) in einem Script über den Websocket-Server empfangen.
Jedoch kam es dabei regelmä0ig zu Problemen mit den ...

Grüßt euch,

mich beschäftigt erneut ein Projekt, bei welchem ich nicht so recht weiter weiß.
Da ich noch recht grün hinter den Ohren bin, was Python und die fülle an Möglichkeiten angeht, such ich hier erneut nach Ideen und Lösungen.

Zum Projekt:
Ich habe zwei Python-Scripte, welche in einer ...

Beziehungsweise der allererste, einfache Schritt wäre bei mir die `update_information_variable()`-Funktion zu entfernen. Die macht was triviales, und das aber unnötig kompliziert. Warum wurde da nicht einfach die `update()`-Methode verwendet? Und die Funktion wird auch noch überall so umständlich ...

sparrow hat geschrieben: Montag 5. Juli 2021, 13:31 Und man muss sich mehr als 200 MB herunterladen, um 400 Zeilen Code zu sehen, weil...?

musst du nicht?!
Du kannst auch nur den Code runterladen, welcher wenige KB groß ist. Sind zwei unabhängige Dateien in dem Link.

Ich wollte nun nicht den Post hier mit 400 Zeilen Code vollstopfen.

Ich wette ein Bier darauf, dass Numpy/Pandas die Berechnungen erheblich beschleunigen können und Parallelisierung nicht erforderlich ist. Der Code würde mich auch interessieren.


Hehe :D... die Wette wirst du auf alle Fälle gewinnen!! Wäre für mich auch lieber, denn mir kommt das ganze Thema ...

Bevor man mit Parallelisierung anfängt, sollte man die Datenverarbeitung so effizient schreiben, wie möglich. Ohne Deinen Code zu kennen, kann man natürlich nichts definitives sagen, aber ich würde als erstes sagen, dass man statt Wörterbücher und Listen Pandas mit Dataframes nutzen könnte.


Ich ...

Grüßt euch,

mich treibt erneut eine Frage um, auf die ich nicht so recht eine Antwort finde. :ugeek:
Ich habe mir die letzten Tage einige Postings durchgelesen und auf YT verschiedene Videos zum Thema Multiprocessing und Threading angesehen.

Für mich kam dabei heraus, dass mein Script ehr CPU ...

@LukeNukem
wow, Danke für die ausführliche Antwort!!

mit dem csv-modul in python hab ich mich bereits nach Sirius seinem Beitrag beschäftigt und schreibe damit nun die Daten als csv in eine .txt-Datei.
Die erhaltenen Daten aus dem Netz, werden erstmal von mir, vor der endgültigen Speicherung in ...

Hast Du statt einer txt-Datei vielleicht eigentlich eine csv-Datei? Dann benutze das csv-Modul.
Du könntest Dir auch pandas anschauen.

Statt für jede Zeile die Datei neu zu öffnen, öffne sie einmal und schreibe alle Daten nacheinander.
Statt in jedem Schleifendurchgang zu prüfen, ob die Liste ...

EDIT:

Kurz was gegessen und nochmal nachgedacht...
hab das nun wie folgt "gelöst".

def write_to_file(*args):
""""""

line = ",".join(map(str, args))
with open("historical_data.txt", "a", encoding="utf-8") as file:
file.write(f"{line}\n")


arg = []
for key in historical_data:
if historical ...

Grüßt euch,

ich möchte Daten welche in einer Liste gespeichert sind, die Liste ist als Key:Value in einem Dict gespeichert, in eine .txt-file schreiben.

In diesem Dict sind insgesamt 19 Key:Value Paare enthalten. Jede Liste(Value) hat die selbe Länge. Es kann aber sein, das eine Liste gar keine ...

Niemand hindert dich daran, aus den SQLlite Daten CSVs zu exportieren. Es löst nur lauter Probleme, die du im Moment hast. Sowohl in Bezug auf Effizienz (was eher ästhetisch ist, solange es funktioniert) als auch Fehlerfällen. Denn SQLite ist robust. Dateien öffnen, anhängen, Schreiben deutlich ...

Danke euch für die Anregungen!

SQLite3 macht wenn ich mich die letzten Stunden richtig informiert habe, in meinem Fall eingeschränkt Sinn, jedoch würde es an anderer Stelle wiederum für neuen Aufwand sorgen. Ich "sammele" die angefallenen Daten in .csv Dateien da ich diese mit anderen ...

@CSchilling: `append()` fügt nicht zu dem `DateFrame` hinzu, sondern erstellt einen neuen in den die alten Daten kopiert werden und am Ende die neuen hinzugefügt werden. Ist also nicht besonders effizient.


ah alles klar. Dann macht das Sinn.
Gibt es denn eine effizientere Lösung dafür?
Bisher ...

Guten Abend,

ich steh wieder einmal vor einer kleinen Umsetzungsproblematik....

ich lade mit pandas aus einer .csv-file Daten ein und möchte diesem Dataframe dann nach und nach neue Daten am Ende hinzufügen.
Der folgende Code-Snippet stellt nur den Code Baustein aus meinem eigentlich Programm nach ...

Die Klasse ist überflüssig, da sie außer einer Methode nichts macht, eine Funktion wäre einfacher.
Eine Funktion sollte im Fehlerfall nicht einfach nichts machen, denn so kann man den Fehler ja nie entdecken, das is_fle kann man daher einfach weglassen.
Dein Problem ist einfach zu lösen, schreibe ...

Grüßt euch,

ich möchte eine beliebeige Anzahl an Argumenten in eine file schreiben.
Die Argumente sollten jeweils durch ein Komma getrennt werden und am Ende einen Zeilenumbruch erhalten.
Das klappt soweit auch wunderbar, bis auf das nach dem letzten Argument auch ein Komma steht, dass da nicht ...

@CSchilling: Habe ich schon verstanden. Eine Antwort bleibt APScheduler.


Ich hatte mich zu kurz mit dem Modul "beschäftigt" und daher einen falschen Eindruck gewonnen, sorry :roll: .
In dem Fall werde ich mich damit auseinander setzen und versuchen es in meinen Code zu implementieren.

Vielen ...

@CSchilling: APScheduler wäre eine Bibliothek die man dafür hernehmen könnte.


danke dir für die schnelle Rückmeldung.

Ich muss mich glaube anderst ausdrücken. Ich suche keine Modul in dem ich "Events" eingeben kann die zu einer bestimmten Uhrzeit ausgeführt werden sollen.
Mein Programm soll ...