Big Data Datenbank

Wenn du dir nicht sicher bist, in welchem der anderen Foren du die Frage stellen sollst, dann bist du hier im Forum für allgemeine Fragen sicher richtig.
meego
User
Beiträge: 380
Registriert: Montag 4. März 2013, 14:36

BlackJack hat geschrieben:weil Du ja offenbar bewusst Informationen zurück hältst.
Ich habe alles aufgeführt, was ich weiss. Zentral ist bestimmt die Numpyfähigkeit.
So kann dann aber niemand beurteilen wie Deine tatsächlichen Anforderungkriterien sind, insbesondere weil Du ja selber sagst die nicht zu kennen beziehungsweise die Art wie man die am besten formalisiert und kommuniziert.
Ein Beispiel wäre hilfreicher.
gezielt so etwas wie mit den Koordinaten der Spielfigur auszuklammern, ist eine sehr schlechte Grundlage um sinnvolle Antworten geben zu können. Wenn Du die Koordinaten jetzt weg lässt sind nämlich wieder Lösungen im Spiel die durch diese Anforderung ausgeschlossen wären. Key-Value-Stores wären dann zum Beispiel wieder eine Möglichkeit.


Ein paar Postings weiter vorne hast du noch gesagt, dass mehrere Keyvalue-DBs die Fähigkeit integriert hätten und als Beispiele Sqlite und PostgreSQL genannt. Übrigens im Widerspruch zu Sirius3s Posting. Sie sollte neben meinen Grundanforderungen halt möglichst nach oben offen sein.
Das Argument hier wäre ein Anfängerforum, und dass man doch deshalb Nachsicht haben sollte das Du nicht weisst wie eine Anforderungsanalyse für ein grösseres Projekt aussieht, verfängt nicht, denn was Du hier mit Deinen Fragen andeutest, und ich nehme mal die aus dem „Verschlüsselungs-Thema” mit dazu, ist schlicht und ergreifend kein Anfänger(taugliches)projekt mehr!


Auch nicht, wenn man nicht selber programmieren will? (Wie ich auch erwähnt habe.)
jerch
User
Beiträge: 1669
Registriert: Mittwoch 4. März 2009, 14:19

@meego:
Deine Grundanforderungen sind eben sehr ungenau, damit werden verlässliche Aussagen schwierig. Wenn Du kein Minimalset an Anforderung klar spezifizieren kannst, bleibt nur "Wachsen/Umstrukturieren mit den Anforderungen". Wenn jetzt nicht ersichtlich ist, dass Du später Feature XY brauchst, kannst Du das jetzt auch nicht berücksichtigen. Eine "nach allen Seiten offene Lösung" gibt es nicht voroptimiert. Und im Nachgang teuer selbst berechnen geht immer.
Sirius3
User
Beiträge: 18335
Registriert: Sonntag 21. Oktober 2012, 17:20

@meego: wie soll man Dir etwas erklären, wenn Du nicht mal in der Lage bist, Dir unbekannte Begriffe, z.B. bei Wikipedia, nachzuschlagen. Dann wäre Dir klar, dass Key-Value-DBs etwas anderes sind als relationale Datenbanken (Sqlite, PostgreSQL).
meego
User
Beiträge: 380
Registriert: Montag 4. März 2013, 14:36

jerch hat geschrieben:@meego:
Deine Grundanforderungen sind eben sehr ungenau, damit werden verlässliche Aussagen schwierig. Wenn Du kein Minimalset an Anforderung klar spezifizieren kannst, bleibt nur "Wachsen/Umstrukturieren mit den Anforderungen". Wenn jetzt nicht ersichtlich ist, dass Du später Feature XY brauchst, kannst Du das jetzt auch nicht berücksichtigen. Eine "nach allen Seiten offene Lösung" gibt es nicht voroptimiert. Und im Nachgang teuer selbst berechnen geht immer.
Kann man sagen, dass NoSQL Datenbanken ein No-Go für meine gelisteten Angaben sind?
Die Python Webframeworks scheinen ja sowieso ziemlich auf SQL ausgelegt, oder sehe ich das falsch?
BlackJack

@meego: Nein man kann nicht sagen das NoSQL, was ein *sehr* weitläufiger Begriff ist, ein No-Go ist bei den bisherigen, wenigen und recht schwammigen Angaben. Und welche der Angaben sind jetzt eigentlich noch aktuell? Benutzer und Tags? Was sind das für Benutzer? Wie viele gibt es davon? Was sind das für Tags? Wieviele gibt es davon? Was bedeuten die? Wieviele kommen pro Tag/Monat/Jahr hinzu? Werden auch wieder welche gelöscht? Wer legt die an und löscht die? Wie sieht das mit Transaktionen aus? Muss ACID voll garantiert werden oder reicht auch weniger?

Am starrsten würde ich Django ansehen bezüglich RDMS, weil dort alles aus einem Guss kommt, während alle anderen eher modular aufgebaut sind. Und selbst bei Django könnte man das ORM aussen vor lassen und sich was anderes als Datenhaltungsschicht anbinden.

(Abkürzungen bitte selber recherchieren. :-))
meego
User
Beiträge: 380
Registriert: Montag 4. März 2013, 14:36

BlackJack hat geschrieben:@meego: Nein man kann nicht sagen das NoSQL, was ein *sehr* weitläufiger Begriff


Laut Internet ist eine NoSQL-DB eben die Key-Value-DB, von denen du oben gesagt hast, sie wären mit den Koordinaten dann wieder unvereinbar.
Benutzer und Tags? Was sind das für Benutzer? Wie viele gibt es davon? Was sind das für Tags? Wieviele gibt es davon? Was bedeuten die? Wieviele kommen pro Tag/Monat/Jahr hinzu? Werden auch wieder welche gelöscht? Wer legt die an und löscht die? Wie sieht das mit Transaktionen aus? Muss ACID voll garantiert werden oder reicht auch weniger?
Wie viele Benutzer das haben wird, kann ich im voraus nicht wissen. Mind. 3 Gruppen: Normale Privatpersonen, "Spieldesigner" (Verhältnis 95:5) und die Betreiberschaft. Bei den Tags gibt es einen Katalog, der von Betreiberseite evtl. auch noch von den Designern bewirtschaftet wird, um die 200 Tags (mehrsprachig). Die Tags finden sich auf einer Zeitachse im Spielverlauf und können unterschiedliche Modi/Eigenschaften (rennen/gehen/etc.) haben. Konsistenz und. Co. würde ich spontan für wichtig halten (aber da masse ich mir jetzt keine Aussage zu).
BlackJack

@meego: Laut Internet lebt Hitler noch, in Neuschwabenland (unter der Antarktis), und die WHO hat im Auftrag der Amis AIDS in Afrika freigelassen um die Homosexuellen auf der Erde auszurotten. Oder halt jeden anderen der nicht nur mit seinem andersgeschlechtlichen Ehegatten Sex hat. ;-)

NoSQL ist der Sammelbegriff für alles was kein RDBMS ist. Unter anderem auch KV-Stores, aber auch Objektdatenbanken oder Dokumentenorientierte, oder hierarchische Datenbanken. Und ob da insgesamt nicht irgend etwas dabei ist was auch wieder eine Koordinatenbereichsabfrage effizient erlaubt kann ich nicht sagen. Denkbar wäre es zumindest.
Benutzeravatar
Hyperion
Moderator
Beiträge: 7478
Registriert: Freitag 4. August 2006, 14:56
Wohnort: Hamburg
Kontaktdaten:

@BlackJack: Graphendatenbankjen a la Neo4j könnte man auch noch erwähnen :-) Dann wird es auch noch pluralistischer :mrgreen:
encoding_kapiert = all(verstehen(lesen(info)) for info in (Leonidas Folien, Blog, Folien & Text inkl. Python3, utf-8 everywhere))
assert encoding_kapiert
jerch
User
Beiträge: 1669
Registriert: Mittwoch 4. März 2009, 14:19

@meego:
Wir sagen Dir, dass Deine Angaben zu ungenau sind und Du fragst im nächsten Post ob xy zu Deinen gelisteten Angaben passt? Das ergibt keinen Sinn.
Wenn Du das hier und in dem anderen Thread nebulös Umschriebene projektieren willst, brauchst Du ein gewisse Sachkenntnis, Dir scheinen aber schon grundlegenste Dinge zu fehlen. So wird das nichts. Du kannst auch kein Haus in Eigenregie bauen ohne ein gewisses Verständnis von Grundlegung, Mauertechnik oder Statik. Das Haus wird entweder nie fertig oder stellt später ein Sicherheitsrisiko dar. Zum Glück ist das Ganze beim Hausbau reglementiert (Baugenehmigung, Architekt, Abnahme etc.), sonst würden regelmässig Leute zu Schaden kommen.

Diesem Dilemma kannst auf zweierlei Arten entkommen - entweder selbst die Sachkenntnis aufbauen (was bei Deinem Vorhaben und derzeitigem Wissenstand Jahre dauern wird) oder Kompetenz ins Boot holen und eben nicht alles selbst projektieren wollen.
Ene Uran
User
Beiträge: 125
Registriert: Sonntag 17. September 2006, 20:14
Wohnort: Hollywood

Atomkraftwerkaktienbesitzer
meego
User
Beiträge: 380
Registriert: Montag 4. März 2013, 14:36

jerch hat geschrieben:@meego:
Wir sagen Dir, dass Deine Angaben zu ungenau sind und Du fragst im nächsten Post ob xy zu Deinen gelisteten Angaben passt? Das ergibt keinen Sinn.
Du hast aber schon gesehen, dass ich die Angaben dank BlackJacks Fragen wesentlich konkretisiert habe?
Wenn Du das hier und in dem anderen Thread nebulös Umschriebene projektieren willst, brauchst Du ein gewisse Sachkenntnis, Dir scheinen aber schon grundlegenste Dinge zu fehlen.

Diesem Dilemma kannst auf zweierlei Arten entkommen - entweder selbst die Sachkenntnis aufbauen (was bei Deinem Vorhaben und derzeitigem Wissenstand Jahre dauern wird) oder Kompetenz ins Boot holen und eben nicht alles selbst projektieren wollen.
Neben der Frage, wo so ein Mensch zu finden ist, ist auch das eine Frage des Vertrauens.
meego
User
Beiträge: 380
Registriert: Montag 4. März 2013, 14:36

Ene Uran hat geschrieben:Schau Dir mal
http://docs.continuum.io/anaconda/index ... ifications
an.
Vielen Dank.
Antworten