Probleme bei Schreiben in Datenbank

[rascal]

Hey,

ich habe ein Pythonscript, welches eine Internetseite nach Projekten parsed und diese dann in eine Datenbank schreibt.

Das hat bis her auch wunderbar geklappt, nur seit kurzem funktioniert es einfach nicht mehr...

Ich bemerkte dass keine aktuellen Projekte mehr in die Datenbank geschrieben werden, also wollte ich das mal überprüfen.

Es erscheint neuerdings dieser Fehler:


Das interessante ist, dass es ja vorher funktioniert, also habe ich das Script mal umgeschrieben, sodass es in eine andere Datenbank schreibt, das klappt ohne Probleme, also scheint es irgendwie an der Datenbank zu liegen, hier wurde aber nichts verändert.

Weiß jemand von euch vllt. bescheid woran das liegen könnte? Braucht ihr den Code?

LG,
Denis

PS: Andere Scripts schreiben problemlos in die Datenbank

[Sirius3]

@rascal: das Problem hat nichts mit Datenbanken zu tun, sondern mit den Seiten, die Du da aus dem Internet lädst. Die Seite hat anscheinend kein <div>-Element mit dem class-Attribut "pagination top hidden-phone".

[rascal]

Habe das Problem gefunden!

Ich baue mir einen eigenen URL mit verschiedenen Keywords. Diese Keywords werden halt immer ergänzt.
Es wurden einfach zu viele Keywords und der URL war zu lang. URL's sind ja auf ca. 1600 Zeichen beschränkt

[BlackJack]

@rascal: Wo hast Du die 1600 her? Die HTTP-Spezifikation hat AFAIK gar keine Begrenzung. Ich hatte so in Erinnerung das der IE am wenigsten kann, so um die 2000 Bytes, man deshalb also keine Webseiten bauen sollte die mehr benötigen wenn man auch IE-Benutzer bedienen möchte.

[Sirius3]

@rascal: woher Du Deine lustigen Zahlen wohl her hast. RFC7230 sagt da was ganz anderes:

Various ad hoc limitations on request-line length are found in
practice. It is RECOMMENDED that all HTTP senders and recipients
support, at a minimum, request-line lengths of 8000 octets.

Natürlich hält sich nicht jeder an Vorgaben und intern ist jeder frei, sich über zu viele Keywords beschweren.

[rascal]

Hatte beim Java Programmieren schonmal das Problem das eine URL zu lang war, dann habe ich das recherchiert und auf Stackoverflow oder so gefunden.

Gebe ich den URL oben in die Zeile in meinem GoogleChrome ein kommt die Nachricht dass der URL zu lang sei.




Hier nochmal was zum nachlesen was ich grade auf die Schnelle gefunden habe: http://stackoverflow.com/questions/4171 ... t-browsers

[Sirius3]

@rascal: es bezweifelt ja niemand, dass es da eine Grenze gibt. Die ist aber nirgends explizit festgeschrieben und hängt vom konkreten Fall ab. Wenn ich meinem Server sag, er soll keine URLs länger als 5 Zeichen akzeptieren, dann tut er das auch nicht.

[rascal]

@Sirius3: ich weiß
Geht ja jetzt nur um meinen speziellen Fall bei dem es halt nicht funktioniert.

Man könnte hier jetzt eine Schleife machen und immer eine bestimmte Anzahl von Keywords nehmen...
Habe mich für die einfachere Variante entschieden... ich gehe einfach ohne Keywords auf die Seite und ziehe mir alle Projekte...

Die Seite ist zum Glück recht performant und braucht dafür nicht all zu lange.