Ich bin derzeit dabei via der Twitter API sehr, sehr viele Follower von sehr, sehr vielen Usern abzufragen. Ich benutze für die API calls derzeit die Twitter Library für Python (welche teilweise leider bisschen sehr lange braucht).
Nun folgendes Problem, ich möchte die Tabelle in meiner Datenbank in etwa so aufbauen:
ID1, TweetID, UserID, FollowerID, Is Friend
D.h. beispielhaft sollte das so aussehen dann:
1, 1, 5678, 6789, 1
1, 1, 5678, 9857, 0
1, 2, 6744, 4000, 1
Ich glaub man kann sich ein Bild machen wie ich mir das in etwa vorstelle (muss dann in Zukunft Group Bys auf die FollwoerIDs machen). IsFriend is nur ein Bool das mir sagt ob eine gegenseitige Freundschaft besteht.
Nun aber das wirkliche Problem:
Die API Calls dauern EWWWIG, d.h ich möchte, um es zumindest ein bisschen zu vereinfachen immer schauen ob ich die follower des users schon habe, um mir einen API Call zu sparen. Aber da die Tabelle astronomisch groß wird, verzögert sich die Abfrage. Ein Index würde hier zwar was bringen, aber der wächst ja nicht mit, d.h. ich müsste dauernd den Index upgraden, oder?
Vielleicht die Tabelle auf zwei Tabellen aufteilen?
Bion über Ideen sehr dankbar. Falls ich es zu kompliziert erklärt habe, bitte nochmal nachfragen
Und vielleicht jemand eine Idee wie ich di Twitter API Calls schneller amchen kann? Brauche immer Follower und Friends von user_ids.
Danke und lg
Philipp
