Das deutsche Python-Forum

Hi,

ich schreibe per sqlalchemy und pandas regelmäßig Dataframes in eine Datenbank (mariadb) und lese diese dann in einem anderen
Script wieder aus (streamlit).

Wie kann es hinbekommen, dass das auslesende Programm ein Datenbankupdate mitbekommt? Quasi auslesen, sobald die ein neues Dataframe
in die Datenbank geflossen ist.

Danke

Muss es mariadb sein oder ginge auch Postgres? Postgres hat Features (z.B.NOTIFY), mit denen man sowas direkt von der Datenbank aus machen kann. Ansonsten muss man etwas kreativer werden, geht aber sicher auch.

MariaDB wäre gut, sonst müsste ich hier alles umstellen

Das nennt sich wohl CDC: https://github.com/mariadb-corporation/ ... ols/CDC.md

Ok, wenn das doch so kompliziert ist, bleib ich dabei und schreib bei jedem Datenbank-Update etwas in eine Datei und frage dann in streamlit den Timestamp der Datei ab

mirko3107 hat geschrieben: ↑Montag 23. Januar 2023, 17:00 Ok, wenn das doch so kompliziert ist, bleib ich dabei und schreib bei jedem Datenbank-Update etwas in eine Datei und frage dann in streamlit den Timestamp der Datei ab

Wenn Du ohnehin in eine Datenbank schreibst, kannst Du Deinen Timestamp doch auch dort ablegen?

Klar, aber wie bekommt ein Client mit, dass dieser upgedatet wurde?

Kann streamlit nicht einfach in die DB schauen?

Der Client könnte z.B. nach jedem Query in eine Tabelle schreiben, wo er als Letztes gewesen ist. Der Client (Server ) muss dann die DB pollen und die neuen Datensätze dem UI zuweisen. Ggf. kann redis auch behilflich sein, Updates zu pushen.