Google Suche - Abbruch mit HTTP 503

[jo84]

Hallo!

Ich habe ein python Programm, dass aus einer gegebenen Liste von sehr sehr vielen Namen herausfinden soll, welcher der Namen der mit der größten Häufigkeit ist.
Dazu habe rufe ich google auf (urllib2...) und werte das Ergebnis der google-Suche aus. Das funktioniert auch wunderbar, nur nach einiger Zeit weigert sich google, meine Anfragen weiter zu bearbeiten.
Stattdessen erhalte ich den Fehler HTTP 503 und dass google vermutet, dass ich einen Virus etc. auf meinem Rechner habe
Kann ich irgendwie erreiche, dass mir google so viele Suchanfragen gestattet, wie ich will?

Danke für eure Hilfe!

Gruß Johannes

[EyDu]

Du könntest es mal mit der Google Web API probieren. Habe ich selber noch nichts mit gemacht, aber deine Ergebnisse würden mich trotzdem interessieren.

[jo84]

Guter Tipp.
Leider schreibt google:
"Google provides each developer who registers to use the Google SOAP Search API service a limit of 1,000 queries per day."

Das reicht nicht für meine Bedürfnisse.

[lunar]

Die SOAP API kannst Du eh nicht mehr benutzen, da Google für diese API keine Schlüssel mehr vergibt. Die aktuelle API ist die Ajax API, die keine Begrenzungen hat. Steht alles in der FAQ zur SOAP API

[jo84]

Ah, ok, danke!

Ich habe mit AJAX schon gearbeitet.
Aber ich weiß nicht, ob man das in einem "normalen" python Programm, das ich von der Kommandozeile ausführe, aufrufen kann ?. Oder brauche ich da einen Webserver,...?

[BlackJack]

@jo84: Wenn Du diese Frage stellst, hast offensichtlich doch noch nicht mit AJAX gearbeitet.

[lunar]

Ajax funktioniert genau wie "normale" Websites. Der einzige Unterschied ist, dass anstelle von HTML JSON oder XML zurückkommt. Ajax-Aufrufe kann man mit den Mitteln der Standardbibliothek (urllib oder urllib2) durchführen.

Im Übrigen stehen auf der Website von Googles API auch Python-Beispiele, welche die Verwendung der API demonstrieren.

[jo84]

Klar, ihr habt Recht.
Ich hatte im Eifer des Gefechts AJAX mit DWR verwechselt. Ist halt bei mir schon eine Zeit her, dass ich mich mit Webprogrammierung beschäftigt habe.
Danke für die Tipps.

[jo84]

So, ich habe es ausprobiert und es scheint zu funktionieren.

Eine kleine Frage noch zu dem key:
Google schreibt in der FAQ : "you may optionally use an API key which you’ll include in the URL with which you access the API. We’ll use that key to track API usage." http://code.google.com/intl/de-DE/apis/ ... nNonWebApp

Also brauche ich keine key, oder? Es geht nur darum, dass ich nichts Böses mache, was das allmächtige google verärgern könnte
Den key bräuchte ich nur, wenn ich eine Webseite hätte, die die API verwendet?

[Leonidas]

Optional ist optional. Auf der Seite sehe ich keinen Fall wo der API-Key nicht-optional wäre.