Seite 1 von 1

mysql dump für ML und Analysen

Verfasst: Samstag 10. April 2021, 13:22
von naheliegend
Hi,

ich würde ungern auf der production DB meine ganzen ML Algorithmen und ad-hoc-Analysen fahren wollen, weil das gut Last erzeugt.

Was ich bräuchte ist quasi eine gespiegelt Datenbank, am besten auf einem separaten Server, die nicht 100% aktuell sein muss (können ruhig Minuten Zeitversatz sein, ist nicht kriegsentscheidend) und die richtig geknechtet werden kann.

Wie macht an so etwas? Mit dumps?

LG und Danke

Re: mysql dump für ML und Analysen

Verfasst: Samstag 10. April 2021, 14:07
von nezzcarth
naheliegend hat geschrieben: Samstag 10. April 2021, 13:22 Wie macht an so etwas? Mit dumps?
Ja, würde ich sagen. Im professionellen Bereich gibt es noch andere Lösungen wie Replikationen. Wenn man aber nicht gerade zufällig eh in dem Bereich arbeitet und weiß, wie man so etwas aufsetzt und betreibt, ist das vielleicht eher keine Option. Und selbst dann oft m. M. n. Overkill.

Re: mysql dump für ML und Analysen

Verfasst: Samstag 10. April 2021, 14:09
von naheliegend
Danke. Und erzeuge ich dann alle bspw. 2 Minuten einen dump oder wie kriege ich den halbwegs aktuell?

Re: mysql dump für ML und Analysen

Verfasst: Samstag 10. April 2021, 14:14
von nezzcarth
Mit der Frequenz ist das meiner Meinung nach vielleicht etwas grenzwertig. Ich hätte jetzt an vielleicht ein, zwei Synchronisationen am Tag gedacht, maximal vielleicht stündlich. Letztendlich muss man ausprobieren, wie gut das läuft und wie viel Last es erzeugt. Wenn es wichtig ist, dass das so synchron ist, sollte man vielleicht doch über eine andere Lösung nachdenken.