Ich habe das Problem gefunden: Die Benutzung der tensorflow.one_hot-Funktion führt zu einer totalen Überlastung meines Arbeitsspeichers. Ich habe mir jetzt einfach eine eigene One-Hot-Funktion geschrieben, mit der alles problemlos durchläuft:
import numpy as np

def one_hot(value, depth):
result ...

Hier der gesamte Code inkl. Imports
import numpy as np
import pandas as pd
from random import shuffle
from tensorflow import one_hot
from sklearn import preprocessing
import multiprocessing as mp
import pickle

class Sample:
def __init__(self, trade, cols_no_normalization):
self.sample ...

Da Du nur Bruchstücke Deines Codes zeigst, muß man wohl raten, dass tf Tensorflow ist, und was benutzt die GPU.
Es macht also gar keinen Sinn, mit Multiprocessing zu arbeiten, weil dadurch bekommst Du auch nicht mehr GPUs.

Das Ganze soll ja eigentlich auch nicht auf der GPU laufen, aber der ...

Hallo, ich habe eine Liste von Beispieldaten und möchte diese jetzt in numpy-arrays umwandeln.

Die Funktionen, die alles starten und die Parallelisierung einleiten sind folgende:

def split(data, n):
k, m = divmod(len(data), n)
return list(data[i*k+min(i, m):(i+1)*k+min(i+1, m)] for i in range(n ...

Hallo zusammen, ich versuche mich gerade mal an multiprocessing und habe dafür folgendes (nutzloses) Beispiel, das einfach die Summe einer Liste berechnet:
import time
import multiprocessing as mp
import sys

def split(data, n):
k, m = divmod(len(data), n)
return list(data[i*k+min(i, m):(i+1)*k ...

Hallo, ich habe eine Klasse, die ein Pandas-Dataframe verwaltet. Index ist die Spalte 'time' vom Typ datetime. Das Dataframe hat eine maximale Größe, die über __init__ gesetzt wird.
class TimeDataManager():
def __init__(self, max_size):
self.max_size = max_size
self.data = pd.DataFrame(columns ...

Hallo, ich habe folgende kleine Anwendung:

from multiprocessing import Process, Queue

def reduce(que, data):
que.put(sum(data))

def calc_mean_serial(data):
return sum(data) / len(data)

def calc_mean_parallel(data, num_procs=8):
sum = 0
if __name__ == '__main__':
chunk = (int) (len(data ...