Anfrage an Website

[picknicker187]

hi,

wahrscheinlich ist es ganz einfach und geht in 2 zeilen, ich weiss aber grad nicht wie ichs machen soll.....

und zwar will ich eine suchanfrage an eine website, zb sourceforge.net stellen und die suchergebnisse in einem string zurückbekommen. kann mir jemand einen tip geben wie ich das am besten mache?

gruß und danke,
michel

[nkoehring]

Hi...

ehm... die Suchanfrage zu stellen, wie in einem Webbrowser und dann die zurueckgegebene HTML-Seite als String, oder wie?

EDIT: ich sehe gerade, das ist dein erster Beitrag... also erstmal: Willkommen hier im Forum

[picknicker187]

ja, also die anfragen sind teile von tcp paketen und ich will kontrollieren ob es sich dabei um programme handelt, daher die anfrage an sourceforge. mit dem potentiellen programmnamen sollte eben eine suchanfrage an die website gestellt werden, wie als wenn ich es in das suchfeld eingebe. in der antwort will ich dann eben feststellen ob etwas gefunden wurde oder nicht, sprich ob es ein programm mit diesem namen gibt oder nicht.

[sape]

Hi und willkommen im Forum.

http://sourceforge.net/search/?type_of_ ... rds=python

--> ?type_of_search=soft&words=python

python ist das Suchwort.


1. Das ganze mit ``urllib`` aufrufen und den content an
2. BeautifulSoup übergeben das einen AST erzeugt auf den man wirklich einfach darauf zurückgreifen kann.
3. Eventuell (je nach dem ob dus benötigst)die Page: 1 2 3 ... 326 Next »-Links mit BeautifulSoup rausfischen und dann bei 1. wider anfangen.

lg

[nkoehring]

Ach du willst an sich nur herausfinden, ob es das programm gibt? Naja, dann wuerde es auch reichen, die Anfrage per urllib zu stellen und den zurueckgegebenen Content nach Stichworten ueberpruefen, die dir sicher bestaetigen, ob es das gibt oder nicht.

[sape]

Joa, und zwar müsste er folgendes extrahieren, mit re oder besser noch mir BeautifulSoup (weil einfacher):

Code: Alles auswählen

<tr><td colspan="7"><br /><b>No results were found to match your current search criteria.</b><br /><br /></tbody></table>

http://sourceforge.net/search/index.php ... rch=Search

EDIT: So auf die schnelle getestet scheint "No results were found to match your current search criteria." bei jeder anfrage zu kommen wenn nichts gefunden wurde.