Die Suche ergab 75 Treffer

von mirko3107
Montag 9. August 2021, 09:43
Forum: Allgemeine Fragen
Thema: Dataframes aus verschiedenen Prozessen zusammenfügen
Antworten: 149
Zugriffe: 9639

Re: Dataframes aus verschiedenen Prozessen zusammenfügen

@mirko3107 das ist der gleiche Code wie vorher, nur anders geschrieben. Warum sollte das einen Unterschied machen? for start in range(0, amount, parts): for num, data in enumerate(ticker[start:start+parts], 100): ticker_coroutines.append(ibi(data, num)) results = await asyncio.gather(*ticker_corout...
von mirko3107
Samstag 7. August 2021, 18:42
Forum: Allgemeine Fragen
Thema: Dataframes aus verschiedenen Prozessen zusammenfügen
Antworten: 149
Zugriffe: 9639

Re: Dataframes aus verschiedenen Prozessen zusammenfügen

wahrscheinlich öffnet er jetzt alle auf einmal.

bei diesem Aufruf klappt es aber:

Code: Alles auswählen

for start in range(0, amount, parts):
        results = await asyncio.gather(*[ibi(data, num) for num, data in enumerate(ticker[start:start+parts], 100)])
von mirko3107
Samstag 7. August 2021, 10:04
Forum: Allgemeine Fragen
Thema: Dataframes aus verschiedenen Prozessen zusammenfügen
Antworten: 149
Zugriffe: 9639

Re: Dataframes aus verschiedenen Prozessen zusammenfügen

das komische ist ja dabei, dass ich überhaupt keine Dateien öffne, ich übergebe ja nur Listen und Dataframes
von mirko3107
Freitag 6. August 2021, 20:54
Forum: Allgemeine Fragen
Thema: Dataframes aus verschiedenen Prozessen zusammenfügen
Antworten: 149
Zugriffe: 9639

Re: Dataframes aus verschiedenen Prozessen zusammenfügen

wird wohl an meinem falschen Aufruf liegen:

Code: Alles auswählen

for start in range(0, amount, parts):
	for num, data in enumerate(ticker[start:start+parts], 100):
        	ticker_coroutines.append(ibi(data, num))
results = await asyncio.gather(*ticker_coroutines)
von mirko3107
Freitag 6. August 2021, 19:28
Forum: Allgemeine Fragen
Thema: Dataframes aus verschiedenen Prozessen zusammenfügen
Antworten: 149
Zugriffe: 9639

Re: Dataframes aus verschiedenen Prozessen zusammenfügen

Habs mal getestet, bekomme den Fehler

Code: Alles auswählen

API connection failed: OSError(24, 'Too many open files')
.
von mirko3107
Freitag 6. August 2021, 16:21
Forum: Allgemeine Fragen
Thema: Dataframes aus verschiedenen Prozessen zusammenfügen
Antworten: 149
Zugriffe: 9639

Re: Dataframes aus verschiedenen Prozessen zusammenfügen

Danke dir für deine wertvollen Tips. Umgesetzt hab ich es bisher so: async def main(ticker): df_ibi = pd.DataFrame(columns=['Ticker', 'IV', 'Earnings']) amount = len(ticker) parts = 10 for start in range(0, amount, parts): results = await asyncio.gather(*[ibi(data, num) for num, data in enumerate(ti...
von mirko3107
Sonntag 1. August 2021, 20:57
Forum: Allgemeine Fragen
Thema: Dataframes aus verschiedenen Prozessen zusammenfügen
Antworten: 149
Zugriffe: 9639

Re: Dataframes aus verschiedenen Prozessen zusammenfügen

Dein Weg funktioniert, nur ab und mal leider nicht, liegt aber eher an der API: ID: 104 MGM 48.11 8/4/2021 ID: 105 MHK 33.66 10/28/2021 ID: 106 MHO 34.56 10/27/2021 ID: 107 MKC 17.66 9/28/2021 ID: 108 MKTX 25.67 10/27/2021 ID: 108 MRCY 40.71 8/3/2021 ID: 109 MRK 16.0 10/28/2021 Traceback (most recen...
von mirko3107
Sonntag 1. August 2021, 13:30
Forum: Allgemeine Fragen
Thema: Dataframes aus verschiedenen Prozessen zusammenfügen
Antworten: 149
Zugriffe: 9639

Re: Dataframes aus verschiedenen Prozessen zusammenfügen

Könnte man nicht auch die Liste splitten und die Teile an die "connections" übergeben?
von mirko3107
Sonntag 1. August 2021, 10:44
Forum: Allgemeine Fragen
Thema: Dataframes aus verschiedenen Prozessen zusammenfügen
Antworten: 149
Zugriffe: 9639

Re: Dataframes aus verschiedenen Prozessen zusammenfügen

Ok, aber da fragt er ja nur die ersten 5 aus der Liste ab, der Rest wird ignoriert.
von mirko3107
Sonntag 1. August 2021, 10:33
Forum: Allgemeine Fragen
Thema: Dataframes aus verschiedenen Prozessen zusammenfügen
Antworten: 149
Zugriffe: 9639

Re: Dataframes aus verschiedenen Prozessen zusammenfügen

Danke für deine Hilfe, klasse.

Kann man "num" eingrenzen? also Obergrenze 20 oder so etwas? Sonst öffnet er mir so viele Verbindungen wie Elemente in der Liste, da meckert die API.
von mirko3107
Sonntag 1. August 2021, 09:36
Forum: Allgemeine Fragen
Thema: Dataframes aus verschiedenen Prozessen zusammenfügen
Antworten: 149
Zugriffe: 9639

Re: Dataframes aus verschiedenen Prozessen zusammenfügen

Meine Frage ist, wie übergebe ich jeder einzelnen Funktionen einen anderen Wert aus meiner Liste? So wie hier wirds ja nicht funktionieren, da würde ich ja 10x den selben Wert übergeben. yf_df = pd.read_csv('short.csv') stocks = yf_df.Ticker.tolist() async def main(ticker): for data in ticker: await...
von mirko3107
Samstag 31. Juli 2021, 23:58
Forum: Allgemeine Fragen
Thema: Dataframes aus verschiedenen Prozessen zusammenfügen
Antworten: 149
Zugriffe: 9639

Re: Dataframes aus verschiedenen Prozessen zusammenfügen

Danke, sieht auch gut aus, teste ich morgen mal.

Wie bekomm ich denn aber nun jedem Prozess einen anderen Wert aus meiner Liste zugewiesen? Wenn ich über den asyncio.gather iteriere, macht der doch 10x den selben Wert, oder?
von mirko3107
Samstag 31. Juli 2021, 11:05
Forum: Allgemeine Fragen
Thema: Dataframes aus verschiedenen Prozessen zusammenfügen
Antworten: 149
Zugriffe: 9639

Re: Dataframes aus verschiedenen Prozessen zusammenfügen

dann macht der doch auch wieder jede Verbindung nach der anderen und nicht alle auf einmal, oder?
von mirko3107
Samstag 31. Juli 2021, 00:03
Forum: Allgemeine Fragen
Thema: Dataframes aus verschiedenen Prozessen zusammenfügen
Antworten: 149
Zugriffe: 9639

Re: Dataframes aus verschiedenen Prozessen zusammenfügen

Hab eine Mehrfachverbindung hinbekommen: import nest_asyncio import asyncio import time from ib_insync import * nest_asyncio.apply() util.logToFile('connect.log', 'DEBUG') start = time.time() async def connection(id): ib = IB() ib.connect('127.0.0.1', 7496, clientId=id, timeout=10.0) ib.reqMarketDat...
von mirko3107
Donnerstag 29. Juli 2021, 17:37
Forum: Allgemeine Fragen
Thema: Dataframes aus verschiedenen Prozessen zusammenfügen
Antworten: 149
Zugriffe: 9639

Re: Dataframes aus verschiedenen Prozessen zusammenfügen

Contracts kann ich auch alle auf einmal abfragen, das klappt. Aber danach kann ich scheinbar nur pro Client eine Datenabfrage machen, nicht mehrere auf einmal. Ich versuche gerade, mehrere Clients auf einmal laufen zu lassen, muss dabei nur die Clientnummer ändern. Angeblich wäre die Obergrenze 32, ...
von mirko3107
Donnerstag 29. Juli 2021, 09:52
Forum: Allgemeine Fragen
Thema: Dataframes aus verschiedenen Prozessen zusammenfügen
Antworten: 149
Zugriffe: 9639

Re: Dataframes aus verschiedenen Prozessen zusammenfügen

Ich versuche mal. mehrere Verbindungen zur API aufzubauen und damit parallel Daten abzugreifen, vielleicht klappt das ja.
von mirko3107
Donnerstag 29. Juli 2021, 08:36
Forum: Allgemeine Fragen
Thema: Dataframes aus verschiedenen Prozessen zusammenfügen
Antworten: 149
Zugriffe: 9639

Re: Dataframes aus verschiedenen Prozessen zusammenfügen

Ich brauch nicht aller paar ms eine Aktualisierung einer Aktie, sondern die Werte mehrerer Aktien gleichzeitig, aber nicht als Ticker im ms-Takt.
von mirko3107
Mittwoch 28. Juli 2021, 19:46
Forum: Allgemeine Fragen
Thema: Dataframes aus verschiedenen Prozessen zusammenfügen
Antworten: 149
Zugriffe: 9639

Re: Dataframes aus verschiedenen Prozessen zusammenfügen

Du meinst sicher den Code wie der folgende: from ib_insync import * ib = IB() ib.connect('127.0.0.1', 7496, clientId=10) stock = Stock('AMD', 'SMART', 'USD') market_data = ib.reqMktData(stock, '106,100', False, False) def onPendingTicker(ticker): print("pending ticker event received") prin...
von mirko3107
Dienstag 27. Juli 2021, 19:41
Forum: Allgemeine Fragen
Thema: Dataframes aus verschiedenen Prozessen zusammenfügen
Antworten: 149
Zugriffe: 9639

Re: Dataframes aus verschiedenen Prozessen zusammenfügen

Du meinst, wenn ich 100 Werte hintereinander anfrage, kommen irgendwann Daten zurück, wenn ich dann nochmal hintereinander abfrage?
von mirko3107
Dienstag 27. Juli 2021, 18:15
Forum: Allgemeine Fragen
Thema: Dataframes aus verschiedenen Prozessen zusammenfügen
Antworten: 149
Zugriffe: 9639

Re: Dataframes aus verschiedenen Prozessen zusammenfügen

Ich hab das Script umgebaut, dass ich nun pro contract Werte bekomme, aller 1s. Das Script müsste ich nun so umbauen, dass ich mehrere Anfragen auf einmal senden kann, wird nicht leicht. import asyncio import ib_insync as ibi import pandas as pd import time yf_df = pd.read_csv('yahoo.csv') stocks = ...