Das deutsche Python-Forum

Hi,

im neuen Unternehmen haben wir die Data Tools von Microsoft für den Bau eines DWHs. Also einen SQL Server, SSIS, SSAS, usw.

Jetzt habe ich mir mal den Integrationsservice (SSIS) angeschaut und muss sagen, dass ich dieses Klicki-Bunti nicht mag. Total unübersichtlich.

Könnte man nicht auch ETL-Prozesse (Extract, Transform, Load) mit Python und sowas mit pandas umsetzen?
Hat da jemand Erfahrung?
Worauf muss man achten?

LG

Von den genannten MS Produkten habe ich keine Ahnung. ETL-Pipelines für sich genommen kann man auch gut mit Python bauen. Dafür gibt es auch passende Frameworks wie Apache Airflow oder Luigi, mit denen man so etwas steuern und koordinieren. Mit Pandas hat der Teil jetzt erst einmal nichts direkt zu tun. Natürlich kann sich Pandas aber bei den konkreten Daten, um die es geht, gut für die eigentlichen Arbeitsschritte innerhalb der ETL-Pipeline eignen.