Ich werde das jetzt durch eine eigene Funktion zur Maskierung ersetzen und dann das Quoting des csv-Expoet abschalten.

Hallo zusammen, ich möchte eine CSV-Datei schreiben. Der Dialekt lässt sich wie folgt beschreiben: with open('names.csv', 'w', newline='') as csvfile: writer = csv.DictWriter(csvfile, fieldnames=header.keys(),\ delimiter=';', quotechar='"', quoting=csv.QUOTE_NONNUMERIC) Einziges Problem das ich...

Ok gelöst - das ist JSON. Das Stichwort hat mir sehr geholfen.

Die beiden Kommas zu viel in meinem Beispiel können durch dadurch zustande kommen, dass ich das Beispiel falsch gekürzt habe. Ich vermute die Daten sind JSON - ich prüfe das aktuell. Und ja ich nutze requests zur Abfrage. Vielen Dank für die Hilfe.

Das kommt von einer Website, ich habe also keinen Einfluß auf das Format. Da ich JSON nicht kenne kann ich dazu nichts sagen, das schaue ich mir mal an. Das Beispiel habe ich quasi 1:1 so übernommen wie ich es dort abfrage. Edit: Habe mir das JSON-Format angeschaut. Die beiden Kommas zu viel in mein...

Hallo zusammen, ich möchte eine Datei parsen, die verschachtelte Dicts in folgender Form enthält: {"einDict":[ { "wert1":"907", "wert2":"2", "einUnterDict": { "wert1":"122361732", "wert2":"2020-09-01T11:01...

So wie es aussieht, hast Du ja dieses `write` selbst geschrieben, daran kann also der Speicherverbrauch nicht liegen. Wie hast Du denn t16file geöffnet und wieder geschlossen? Ja ist selbst geschrieben basierend auf einer open source Bibliothek. Für das Öffnen und Schließen des t16file sieht die Do...

Nun gibt es zwei Stellen, wo Speicher angehäuft werden könnten: `t16file.node_scalar` oder `ensfile.write_scalar_node_variable_time_step`. Wenn das den Speicher füllt, würde das bedeuten, dass dieses t16file nur bei Bedarf geladen wird und da Du mit der Zeit das ganze File brauchst, landet das mit ...

Blackjack: Ok, die Funktion werde ich so umsetzen und berichten wie sich der Speicherbedarf damit entwickelt. Leuchtet mir alles ein. Einzig mit comprehensions stehe ich auf Kriegsfuss, weil ich den Code nicht so gut lesbar und verständlich finde. Welchen Vorteil bietet die comprehension hier?

Ich bin kein Programmierexperte, deswegen würde ich nie behaupten, dass ich es besser kann. Eher das ich es nicht besser weiss. Letztlich ist es so, dass der Großteil der Arbeit in diesem Fall im Hauptprogramm in globale Variablen gemacht wird. Die gezeigte Funktion greift auf diese Variablen zu, da...

Dadurch dass aber alle Variablen auch noch global sind, ist das für dich ohnehin schwierig bis unmöglich zu debuggen. Mit deinem "Beispielcode" hat das hier übrigens gar nichts mehr zu tun. Außer einer Schleife sehe ich nichts was gleich ist. Vor allem nicht die dahinterliegenden Datenstr...

Hallo zusammen, ich bin mir natürlich nicht sicher, das sich mit meinem Segment das Problem nachstellen lässt. Ich kann gerne den realen Code-Auszug posten, nur wird den niemand ohne das kommerzielle Programm nachvollziehen können. Daher dachte ich, ich vereinfache das Problem. Hier die originale Fu...

Ok, ich muss noch nachreichen, wie ich tracemalloc implementiert habe:

@BastiL: ok, der Index-Zugriff auf `result` liefert normale float-Werte. Aber was für einen Typ hat `result`? Eben den oben genannten. Ich habe die type-Abfrage direkt auf "results" gemacht, nicht auf den value des dicts "res". Komplett auf ein Sammeln zu verzichten will ich nic...

Hier müßtest Du noch etwas ausführlicher werden. Es handelt sich also nicht um eine Standard-Python-Struktur? Dann wäre es sehr wahrscheinlich, dass das externe Modul irgend ein Speicherproblem hat, also nicht sauber aufräumt, wenn Python Objekte freigibt. Aber ohne die Information, was das für ein...

@BastiL: Das ist kein lauffähiger Code. Ich weiss auch nicht was die syntaktisch falsche Zeile eigentlich machen soll‽ Kann es sein, dass das eigentlich so aussehen sollte: for i in range(0,100): res = {} for j in range(0,2000000): res.update({j: result[j]}) print(res) Habe es hier nochmal korrigie...

Hallo zusammen, ich habe Probleme mit einem Programmsegment, das - aus mir unerklärlichen Gründen - stetig steigenden Hauptspeicher braucht: import gc for i in range(0,100): res = {} for j in range(0,2000000): res.update({j: result[j]}) print(res) # del res # gc.collect() results enthält die zugehä...

Was ist `result` für ein Objekt? Da es quasi das selbe Zugriffsmuster auf die Daten erlaubt, wie `res` ist `res` überflüssig. (Nebenbei bemerkt: `update` benutzt man nicht, wenn man genau einen Schlüssel einem Wörterbuch hinzufügen will) Ok, was benutzt man statt update in diesem Fall? Einfach den ...

Hallo zusammen, ich habe Probleme mit einem Programmsegment, das - aus mir unerklärlichen Gründen - stetig steigenden Hauptspeicher braucht: import gc for i in range(0,100): res = {} for j in range(0,2000000): res.update{j: result[j]) print(res) # del res # gc.collect() results enthält die zugehärig...

Hallo zusammen, ich grüble aktuell über folgendem Problem: Ich habe eine Liste mit einer Zahlenreihe. Diese Liste kann mehrere Millionen Zahlen enthalten. Ich möchte die Liste in zusammenhängende Zahlenberiche zerlegen: Liste = [1,2,3,5,6,7,8,9,11,13,14,15,17] Ergebnis = [1-3, 5-9, 11, 13-15, 17] Ke...