Frage zur Entwicklungsunterstützung

[daPanic]

Hallöchen,

ich möchte gerne etwas umsetzen und bin auf der Suche nach einem fähigen Phyton Programmierer der mir da weiterhelfen kann.

Kurze Zusammenfassung:
Ich möchte auf einer Webseite Daten auslesen. Diese sollen in einer Datenbank gespeichert werden.
Browser: Firefox
Scripte werden per Greasymonkey-Plugin vorgelagert.

Datenbank ist eine mySQL und ja, das ist im Grunde schon das ganze. Es existiert auch bereits ein Script welches Daten schon lesen kann, aber die Daten müssen noch irgendwie in die Datenbank.

Ist das hier ein Forum wo man mir eventuell helfen kann?
Über alles weitere kann man dann mal persönlich quatschen.

Gruß

[BlackJack]

@daPanic: Ich weiss nicht so recht was denn hier jetzt die eigentliche Frage ist!?

[daPanic]

Die Frage ist die:

Gibt es jemanden der mit bei der Umsetzung helfen kann?
Wie aufwändig oder umständlich das ist kann ich ja, als Laie, leider nicht beurteilen.

[BlackJack]

@daPanic: Nach der Beschreibung kann das auch kein Profi beurteilen.

[daPanic]

Wie kann ich denn als "nicht-profi" eine ordentliche Beschreibung abgeben?

[BlackJack]

@daPanic: Profi werden und dann… Nein, Spass beiseite, solange niemand weiss was Du konkret machen willst, kann man auch schlecht konkret etwas dazu sagen. Der erste Beitrag wirft IMHO auch mehr Fragen auf als er beantwortet. Du erwähnst Greasemonkey — werden da mit JavaScript Daten aus Webseiten extrahiert? Wo landen die? Wo kommt Python ins Spiel? Was für Daten sind das? Wie sehen die Zugriffsmuster später aus? Das muss man für einen Datenbankentwurf wissen. Und so weiter.

[Sirius3]

@daPanic: versuche folgende Fragen zu beantworten:
1. Woher kommen die Daten?
2. Wer verarbeitet die Daten (schreibt sie in eine Datenbank)?
3. Wer liest die Daten (aus der Datenbank) und stell sie dar (oder sendet sie als Webserver)?
Was ist schon da, und welche Lücken sollen mit Python geschlossen werden?

Greasymonkey ist ein Tool um vorhandene Skripte/Web-Seiten auf die man keinen direkten Zugriff hat, im Browser so zu modifizieren, daß der User irgendeinen Mehrwert hat. Eine Anbindung an Python ist damit aber nicht möglich.
Wenn Du also eine externe Seite hast, von der Du Daten abfragen willst, muß die Abfragelogik in Python programmiert werden, Du brauchst also keinen Browser. Wenn das vorhandene Skript also ein Greasymonkey-Skript ist, muß es erst in Python neugeschrieben werden.

[daPanic]

Okay, dann versuche ich das alles ein wenig zu präzisieren:

Ich rufe eine Webseite auf.
Greasemonkey startet mit den Scripten um, wie schon korrekt erfasst, Daten der Webseite abzufangen und zu verarbeiten.

Hier anbei ein Teil eines Scriptes welches dort gestartet wird:

Code: Alles auswählen

setup.info = plugin_info; //add the script info data to the function as a property
if(!window.bootPlugins) window.bootPlugins = [];
window.bootPlugins.push(setup);
if(window.iitcLoaded && typeof setup === 'function') setup();
} // wrapper end
// inject code into site context
var script = document.createElement('script');
var info = {};
if (typeof GM_info !== 'undefined' && GM_info && GM_info.script) info.script = { version: GM_info.script.version, name: GM_info.script.name, description: GM_info.script.description };
script.appendChild(document.createTextNode('('+ wrapper +')('+JSON.stringify(info)+');'));
(document.body || document.head || document.documentElement).appendChild(script);

Bestimmte Daten sollen dann in eine MySQL geschrieben werden.

Um jetzt alles im Details zu zeigen würde ich gerne mal z.B. per Skype auf meinen Server einladen und dort das ganze Prozedere einmal durchspielen.

[Sirius3]

@daPanic: welchen Mehrwert hat dieses Skript für jemanden, der hier im Forum liest?
Um es nochmal kurz zu sagen: Browser sind dafür da, dafür zu sorgen, dass externe Webseiten Daten auf den Bildschirm bringen können und sonst nirgends hin. Es gibt zwar Tricks, das zu umgehen, die sind aber nicht schön. Willst Du also Daten weiterverarbeiten, kannst Du Deine Browser wegschmeißen und mußt alles selbst machen, das heißt, HTTP-Anfrage an den externen Server schicken, Antwort parsen und auswerten.

[daPanic]

Für jemanden der hier im Forum liest hat es keinen Nutzen.
Daher habe ich ja nach Unterstützung für mich gefragt.

Es geht im Grunde darum, die Daten die zur Anzeige gebracht werden, noch in einer Datenbank zu speichern.

[cofi]

@daPanic: Du verstehst Sirius3 falsch. Das Skript ist ziemlich irrelevant, wenn du das in Python umsetzen willst, weil es fuer eine Umsetzung in Python nicht verwendet werden kann.

Daneben machst du den Eindruck, dass du jemanden suchst der dir (kostenlos) dein Problem erledigst du aber auch nicht damit herausruecken willst, was dein Problem eigentlich ist.
Und auf die Nachfragen gehst du auch nicht wirklich ein. Ich glaube nicht, dass du so jemanden dafuer begeistern wirst.

[BlackJack]

@daPanic: Sirius meinte nicht Dein Skript im gesamten, sondern was dieser scheinbar zufällig ausgewählte Teil des Skripts bringen soll. Daran kann man sehen das es in JavaScript geschrieben ist und Greasemonkey verwendet. *Das* wussten wir aber schon vorher.

Du musst entweder die Daten per JavaScript aus dem Browser heraus zu bekommen, oder aber das Abfragen und Verarbeiten der Webseite(n) in einer anderen Programmiersprache, ausserhalb des Browsers, nachprogrammieren.

Die Mozilla-JavaScript-APIs bieten soweit ich weiss auch Möglichkeiten lokal in Dateien zu schreiben, was Greasemonkey-Skripte im Gegensatz zu JavaScript auf Webseiten vielleicht sogar machen dürfen, weil Greasemonkey mit den Rechten einer Browsererweiterung läuft. Ein anderer Ansatz wäre es per AJAX die Daten an einen Webdienst zu schicken, den man selber programmiert.

[daPanic]

Also ein "on the fly" wäre schon toll.
Ich habe nicht extra das gesamte Script exportiert da es dann doch schon ziemlich lang ist.