Die Suche ergab 135 Treffer
- Freitag 5. November 2021, 12:04
- Forum: Allgemeine Fragen
- Thema: csv-Datei schreiben
- Antworten: 1
- Zugriffe: 272
Re: csv-Datei schreiben
Ich werde das jetzt durch eine eigene Funktion zur Maskierung ersetzen und dann das Quoting des csv-Expoet abschalten.
- Sonntag 31. Oktober 2021, 19:09
- Forum: Allgemeine Fragen
- Thema: csv-Datei schreiben
- Antworten: 1
- Zugriffe: 272
csv-Datei schreiben
Hallo zusammen, ich möchte eine CSV-Datei schreiben. Der Dialekt lässt sich wie folgt beschreiben: with open('names.csv', 'w', newline='') as csvfile: writer = csv.DictWriter(csvfile, fieldnames=header.keys(),\ delimiter=';', quotechar='"', quoting=csv.QUOTE_NONNUMERIC) Einziges Problem das ich...
- Donnerstag 3. September 2020, 09:10
- Forum: Allgemeine Fragen
- Thema: Nested Dict parsen
- Antworten: 5
- Zugriffe: 581
Re: Nested Dict parsen
Ok gelöst - das ist JSON. Das Stichwort hat mir sehr geholfen.
- Donnerstag 3. September 2020, 07:33
- Forum: Allgemeine Fragen
- Thema: Nested Dict parsen
- Antworten: 5
- Zugriffe: 581
Re: Nested Dict parsen
Die beiden Kommas zu viel in meinem Beispiel können durch dadurch zustande kommen, dass ich das Beispiel falsch gekürzt habe. Ich vermute die Daten sind JSON - ich prüfe das aktuell. Und ja ich nutze requests zur Abfrage. Vielen Dank für die Hilfe.
- Donnerstag 3. September 2020, 07:13
- Forum: Allgemeine Fragen
- Thema: Nested Dict parsen
- Antworten: 5
- Zugriffe: 581
Re: Nested Dict parsen
Das kommt von einer Website, ich habe also keinen Einfluß auf das Format. Da ich JSON nicht kenne kann ich dazu nichts sagen, das schaue ich mir mal an. Das Beispiel habe ich quasi 1:1 so übernommen wie ich es dort abfrage. Edit: Habe mir das JSON-Format angeschaut. Die beiden Kommas zu viel in mein...
- Donnerstag 3. September 2020, 06:50
- Forum: Allgemeine Fragen
- Thema: Nested Dict parsen
- Antworten: 5
- Zugriffe: 581
Nested Dict parsen
Hallo zusammen, ich möchte eine Datei parsen, die verschachtelte Dicts in folgender Form enthält: {"einDict":[ { "wert1":"907", "wert2":"2", "einUnterDict": { "wert1":"122361732", "wert2":"2020-09-01T11:01...
- Mittwoch 30. Oktober 2019, 16:55
- Forum: Wissenschaftliches Rechnen
- Thema: Stetig steigender Hauptspeicherbedarf
- Antworten: 30
- Zugriffe: 47985
Re: Stetig steigender Hauptspeicherbedarf
So wie es aussieht, hast Du ja dieses `write` selbst geschrieben, daran kann also der Speicherverbrauch nicht liegen. Wie hast Du denn t16file geöffnet und wieder geschlossen? Ja ist selbst geschrieben basierend auf einer open source Bibliothek. Für das Öffnen und Schließen des t16file sieht die Do...
- Mittwoch 30. Oktober 2019, 16:09
- Forum: Wissenschaftliches Rechnen
- Thema: Stetig steigender Hauptspeicherbedarf
- Antworten: 30
- Zugriffe: 47985
Re: Stetig steigender Hauptspeicherbedarf
Nun gibt es zwei Stellen, wo Speicher angehäuft werden könnten: `t16file.node_scalar` oder `ensfile.write_scalar_node_variable_time_step`. Wenn das den Speicher füllt, würde das bedeuten, dass dieses t16file nur bei Bedarf geladen wird und da Du mit der Zeit das ganze File brauchst, landet das mit ...
- Mittwoch 30. Oktober 2019, 09:54
- Forum: Wissenschaftliches Rechnen
- Thema: Stetig steigender Hauptspeicherbedarf
- Antworten: 30
- Zugriffe: 47985
Re: Stetig steigender Hauptspeicherbedarf
Blackjack: Ok, die Funktion werde ich so umsetzen und berichten wie sich der Speicherbedarf damit entwickelt. Leuchtet mir alles ein. Einzig mit comprehensions stehe ich auf Kriegsfuss, weil ich den Code nicht so gut lesbar und verständlich finde. Welchen Vorteil bietet die comprehension hier?
- Mittwoch 30. Oktober 2019, 09:25
- Forum: Wissenschaftliches Rechnen
- Thema: Stetig steigender Hauptspeicherbedarf
- Antworten: 30
- Zugriffe: 47985
Re: Stetig steigender Hauptspeicherbedarf
Ich bin kein Programmierexperte, deswegen würde ich nie behaupten, dass ich es besser kann. Eher das ich es nicht besser weiss. Letztlich ist es so, dass der Großteil der Arbeit in diesem Fall im Hauptprogramm in globale Variablen gemacht wird. Die gezeigte Funktion greift auf diese Variablen zu, da...
- Mittwoch 30. Oktober 2019, 09:05
- Forum: Wissenschaftliches Rechnen
- Thema: Stetig steigender Hauptspeicherbedarf
- Antworten: 30
- Zugriffe: 47985
Re: Stetig steigender Hauptspeicherbedarf
Dadurch dass aber alle Variablen auch noch global sind, ist das für dich ohnehin schwierig bis unmöglich zu debuggen. Mit deinem "Beispielcode" hat das hier übrigens gar nichts mehr zu tun. Außer einer Schleife sehe ich nichts was gleich ist. Vor allem nicht die dahinterliegenden Datenstr...
- Mittwoch 30. Oktober 2019, 08:28
- Forum: Wissenschaftliches Rechnen
- Thema: Stetig steigender Hauptspeicherbedarf
- Antworten: 30
- Zugriffe: 47985
Re: Stetig steigender Hauptspeicherbedarf
Hallo zusammen, ich bin mir natürlich nicht sicher, das sich mit meinem Segment das Problem nachstellen lässt. Ich kann gerne den realen Code-Auszug posten, nur wird den niemand ohne das kommerzielle Programm nachvollziehen können. Daher dachte ich, ich vereinfache das Problem. Hier die originale Fu...
- Dienstag 29. Oktober 2019, 08:23
- Forum: Wissenschaftliches Rechnen
- Thema: Stetig steigender Hauptspeicherbedarf
- Antworten: 30
- Zugriffe: 47985
Re: Stetig steigender Hauptspeicherbedarf
Ok, ich muss noch nachreichen, wie ich tracemalloc implementiert habe:
Code: Alles auswählen
import tracemalloc
CODE VON OBEN
snapshot = tracemalloc.take_snapshot()
top_stats = snapshot.statistics('lineno')
print('TOP10')
for stats in top_stats[:10]
print(stat)
- Dienstag 29. Oktober 2019, 08:12
- Forum: Wissenschaftliches Rechnen
- Thema: Stetig steigender Hauptspeicherbedarf
- Antworten: 30
- Zugriffe: 47985
Re: Stetig steigender Hauptspeicherbedarf
@BastiL: ok, der Index-Zugriff auf `result` liefert normale float-Werte. Aber was für einen Typ hat `result`? Eben den oben genannten. Ich habe die type-Abfrage direkt auf "results" gemacht, nicht auf den value des dicts "res". Komplett auf ein Sammeln zu verzichten will ich nic...
- Montag 28. Oktober 2019, 12:07
- Forum: Wissenschaftliches Rechnen
- Thema: Stetig steigender Hauptspeicherbedarf
- Antworten: 30
- Zugriffe: 47985
Re: Stetig steigender Hauptspeicherbedarf
Hier müßtest Du noch etwas ausführlicher werden. Es handelt sich also nicht um eine Standard-Python-Struktur? Dann wäre es sehr wahrscheinlich, dass das externe Modul irgend ein Speicherproblem hat, also nicht sauber aufräumt, wenn Python Objekte freigibt. Aber ohne die Information, was das für ein...
- Freitag 25. Oktober 2019, 09:20
- Forum: Wissenschaftliches Rechnen
- Thema: Stetig steigender Hauptspeicherbedarf
- Antworten: 30
- Zugriffe: 47985
Re: Stetig steigender Hauptspeicherbedarf
@BastiL: Das ist kein lauffähiger Code. Ich weiss auch nicht was die syntaktisch falsche Zeile eigentlich machen soll‽ Kann es sein, dass das eigentlich so aussehen sollte: for i in range(0,100): res = {} for j in range(0,2000000): res.update({j: result[j]}) print(res) Habe es hier nochmal korrigie...
- Freitag 25. Oktober 2019, 09:10
- Forum: Wissenschaftliches Rechnen
- Thema: Stetig steigender Hauptspeicherbedarf
- Antworten: 30
- Zugriffe: 47985
Re: Stetig steigender Hauptspeicherbedarf
Hallo zusammen, ich habe Probleme mit einem Programmsegment, das - aus mir unerklärlichen Gründen - stetig steigenden Hauptspeicher braucht: import gc for i in range(0,100): res = {} for j in range(0,2000000): res.update({j: result[j]}) print(res) # del res # gc.collect() results enthält die zugehä...
- Freitag 25. Oktober 2019, 09:09
- Forum: Wissenschaftliches Rechnen
- Thema: Stetig steigender Hauptspeicherbedarf
- Antworten: 30
- Zugriffe: 47985
Re: Stetig steigender Hauptspeicherbedarf
Was ist `result` für ein Objekt? Da es quasi das selbe Zugriffsmuster auf die Daten erlaubt, wie `res` ist `res` überflüssig. (Nebenbei bemerkt: `update` benutzt man nicht, wenn man genau einen Schlüssel einem Wörterbuch hinzufügen will) Ok, was benutzt man statt update in diesem Fall? Einfach den ...
- Donnerstag 24. Oktober 2019, 10:07
- Forum: Wissenschaftliches Rechnen
- Thema: Stetig steigender Hauptspeicherbedarf
- Antworten: 30
- Zugriffe: 47985
Stetig steigender Hauptspeicherbedarf
Hallo zusammen, ich habe Probleme mit einem Programmsegment, das - aus mir unerklärlichen Gründen - stetig steigenden Hauptspeicher braucht: import gc for i in range(0,100): res = {} for j in range(0,2000000): res.update{j: result[j]) print(res) # del res # gc.collect() results enthält die zugehärig...
- Sonntag 23. Juli 2017, 15:17
- Forum: Allgemeine Fragen
- Thema: Liste in Bereiche zerlegen
- Antworten: 7
- Zugriffe: 2153
Liste in Bereiche zerlegen
Hallo zusammen, ich grüble aktuell über folgendem Problem: Ich habe eine Liste mit einer Zahlenreihe. Diese Liste kann mehrere Millionen Zahlen enthalten. Ich möchte die Liste in zusammenhängende Zahlenberiche zerlegen: Liste = [1,2,3,5,6,7,8,9,11,13,14,15,17] Ergebnis = [1-3, 5-9, 11, 13-15, 17] Ke...