Die Suche ergab 2461 Treffer

von DasIch
Dienstag 18. September 2018, 16:00
Forum: Allgemeine Fragen
Thema: Active MQ
Antworten: 1
Zugriffe: 43

Re: Active MQ

Celery nutzt Kombu. Die API sieht auch recht nett aus.
von DasIch
Sonntag 16. September 2018, 19:08
Forum: Offtopic
Thema: SQLAlchemy
Antworten: 5
Zugriffe: 148

Re: SQLAlchemy

Es macht halt nur wenig Sinn mehr als ein ORM zu lernen und SQLAlchemy ist das ORM. Wenn man bewusst eine relationelle Datenbank nutzt und deren Features auch alle nutzen möchte kommt man auch an SQLAlchemy nicht vorbei. Wenn man wirklich nur ein bisschen macht kann man auch sehr gut einfach SQL sch...
von DasIch
Sonntag 16. September 2018, 19:00
Forum: Allgemeine Fragen
Thema: UML-Werkzeug zur Generierung von Python-Code und umgekehrt
Antworten: 15
Zugriffe: 333

Re: UML-Werkzeug zur Generierung von Python-Code und umgekehrt

Der Großteil der Planung geht bei uns in die API und da gibt es Swagger. Ansonsten sieht man Level 1-2 C4 Diagramme, welche als Dokumentation schon nützlich sind, vorausgesetzt man nutzt Microservices. Das betrifft auch nicht nur Python sondern auch viele andere Sprachen, meiner Erfahrung nach auch ...
von DasIch
Sonntag 9. September 2018, 21:07
Forum: Allgemeine Fragen
Thema: Konzentration auf das Wesentliche?
Antworten: 6
Zugriffe: 162

Re: Konzentration auf das Wesentliche?

Ich bin Anfänger und verrenne mich in Wünschen und Funktionalitäten. Ich seh eine Funktion und denke "Cool, haben will" und muss mich zu sehr einlesen. Was auch wieder Zeit kostet... Meine Frage dazu! Wie geht ihr damit um? Kann man das als allgemeinen Lernprozess verbuchen? Oder sollte ich mich au...
von DasIch
Freitag 7. September 2018, 21:09
Forum: Webframeworks
Thema: Alternativen zu Celery...
Antworten: 14
Zugriffe: 216

Re: Alternativen zu Celery...

jens hat geschrieben:
Freitag 7. September 2018, 07:22
Insbesondere geht es mir darum, das per async verschickte mails quasi als "backup" abgelegt werden.
Keine generelle Lösung aber bei E-Mails, je nach Volumen, kannst du einfaches Monitoring/Backup dadurch erreichen einfach eine E-Mail Addresse fürs Monitoring immer in bcc zu tun.
von DasIch
Donnerstag 6. September 2018, 16:12
Forum: Webframeworks
Thema: Alternativen zu Celery...
Antworten: 14
Zugriffe: 216

Re: Alternativen zu Celery...

Bei einem sehr hohen Event-Aufkommen brauchst Du natürlich eine andere Architektur. Die meisten Webanwendungen haben aber keine Last wie z.B. Zalando, sondern dümpeln gemächlich vor sich hin. Zalando nutzt eine Microservice Architektur, die allermeisten der tausenden von services dümpeln gemächlich...
von DasIch
Mittwoch 5. September 2018, 22:07
Forum: Webframeworks
Thema: Alternativen zu Celery...
Antworten: 14
Zugriffe: 216

Re: Alternativen zu Celery...

Celery tut schon sehr viel, insofern stellt sich hier die Frage: Was tust du überhaupt? Nächstgelegene Queue (in unserem Fall üblicherweise Nakadi ) + Cronjob bringt einen erfahrungsgemäß schon sehr weit. SQS+Lambda ist auch nicht schlecht hat man aber natürlich AWS lock-in. Wenn du wenige Events ha...
von DasIch
Freitag 24. August 2018, 15:15
Forum: Allgemeine Fragen
Thema: Schnellster Weg eine Datenbank upzudaten?
Antworten: 24
Zugriffe: 761

Re: Schnellster Weg eine Datenbank upzudaten?

MVCC dürfte in diesem Fall dazu führen dass für jede Zeile die vom UPDATE betroffen wird, diese als gelöscht markiert wird und eine neue Zeile hinzugefügt wird. Im Index muss man dies auch machen damit der entsprechende Eintrag im Index auf die neue Zeile zeigt. (AUTO)VACUUM unter SQLite baut ansche...
von DasIch
Freitag 24. August 2018, 14:16
Forum: Allgemeine Fragen
Thema: Schnellster Weg eine Datenbank upzudaten?
Antworten: 24
Zugriffe: 761

Re: Schnellster Weg eine Datenbank upzudaten?

Er hat eine ~3GB große Tabelle auf die er ~2.5GB an Updates ausführt.

Mit UPDATEs ist das langsam ob mit oder ohne Index. Mit Index wäre es nur weniger langsam. Außerdem ist die Tabelle und der Index danach absurd aufgebläht sodass man die Tabelle sowieso neubauen muss.
von DasIch
Donnerstag 23. August 2018, 22:41
Forum: Allgemeine Fragen
Thema: Schnellster Weg eine Datenbank upzudaten?
Antworten: 24
Zugriffe: 761

Re: Schnellster Weg eine Datenbank upzudaten?

Erstell eine zweite temporäre Tabelle und nutze COPY (oder äquivalent falls du nicht postgres nutzt) um die komplette zweite Datei (hoffentlich in CSV Format) in diese temporäre Tabelle zu kopieren. Dann nimmst du einen exklusiven Lock auf die erste Tabelle und erstellst eine dritte Tabelle als Kopi...
von DasIch
Mittwoch 1. August 2018, 14:53
Forum: Webframeworks
Thema: Django: Script losgelöst starten
Antworten: 8
Zugriffe: 280

Re: Django: Script losgelöst starten

Vereinfachtes Celery: Cronjob der jede Minute läuft und wenn eine bestimmte Datei vorhanden diese löscht und dein backup.py Skript ausführt. Du triggerst dies indem du von Django aus einfach diese Datei erstellst. Damit kann dein backup.py auch unter einem anderen User mit mehr Rechten als deine Dja...
von DasIch
Montag 23. Juli 2018, 08:23
Forum: Allgemeine Fragen
Thema: Pip Version von 10.0 auf 18.0 - Großer Sprung?
Antworten: 3
Zugriffe: 141

Re: Pip Version von 10.0 auf 18.0 - Großer Sprung?

pip hat sich noch nie so ganz an SemVer gehalten und haben daraus die Konsequenzen gezogen und sind zu CalVer gewechselt. Die 18 steht für das Jahr.
von DasIch
Montag 16. Juli 2018, 13:11
Forum: Allgemeine Fragen
Thema: Parallele tests mit pytest
Antworten: 3
Zugriffe: 126

Re: Parallele tests mit pytest

Die Parallelisierung die pytest betreibt ist mit signifikanten Overhead verbunden, dass lohnt sich wirklich nur wenn du viele Tests hast und es sonst einige Minuten dauern würde.
von DasIch
Samstag 30. Juni 2018, 01:42
Forum: Webframeworks
Thema: Model Design [Django]
Antworten: 5
Zugriffe: 313

Re: Model Design [Django]

Vergiss deine Models komplett, vergiss Django. Deine Datenbank ist relationell und nicht objekt orientiert. Lern SQL und konzentrier dich aufs Schema in der Datenbank. Wenn du dies kannst, ist es auch ziemlich einfach Models zu entwerfen mit denen du die Daten als Objekte repräsentieren kannst.
von DasIch
Donnerstag 21. Juni 2018, 10:49
Forum: Datenbankprogrammierung mit Python
Thema: Tipps Visualisierung Streaming Daten
Antworten: 3
Zugriffe: 298

Re: Tipps Visualisierung Streaming Daten

"Streaming Daten" sind i.d.R. time series, es gibt Datenbanken die sich darauf spezialisieren. Zur Visualisierung zumindest in einem Monitoring Kontext nimmt man üblicherweise Grafana