Chatbots im Forum

[ThomasL]

Haben wir jetzt mit avivadee search.php?author_id=32416&sr=posts einen neuen Ableger von oldboyJR?

[DeaD_EyE]

Der Inhalt ist eher untypisch für Chatbots.

[snafu]

Ich weiß auch nicht ob jeder komisch schreibende User immer ein KI Bot oder ein Fake sein muss. Wir kennen die Leute dahinter ja nicht. Es sitzt nicht immer ein ausgebildeter Programmierer am anderen Ende, es gibt Leute mit Schreibschwäche mit Problemen, sich richtig auszudrücken etc. Deutsch ist auch nicht bei jedem IT'ler die Muttersprache. Und sag mal generell, nicht hinter jedem Beitrag sitzt unbedingt ein "Einstein".

[nezzcarth]

Ich würde da eher keine Bots hinter vermuten. Aber wo wir das Thema schon haben: Das Forum ist in der letzten Zeit bei mir häufig sehr träge, bis zu dem Punkt, wo zwischenzeitlich gar keine Verbindung mehr zustande kommt. Und dahinter würde ich ins Blaue rein geraten tatsächlich letztendlich die Bots vermuten (allerdings die Trainingskomponente, also AI-Crawler), beruhend auf der Erfahrung, die andere Webseiten gemacht haben und die auch selbst so bestätigen kann. Hier wäre die Frage, ob vielleicht der Einsatz der entsprechenden Gegenmaßnahmen, die ja existieren, denkbar ist, falls das bei anderen auch so auftritt. Mir ist aber natürlich bewusst, dass man dazu auch die Zeit haben muss.

[snafu]

Dass das Forum in letzter Zeit häufiger schlecht bis gar nicht erreichbar ist, kann ich bestätigen. Für professionelle Gegenmaßnahmen fehlt mir das Know-How und insofern kann ich da leider nichts Hilfreiches beitragen. Kann man KI-Bots nicht verbieten, so wie das "früher" auch bei Crawlern gemacht werden konnte? Oder ignorieren die Bots das dann?

Zudem ist Damaskus wohl schon an dem Thema dran:

viewtopic.php?p=435224#p435224

[Dennis89]

Ich kann das Verhalten auch bestätigen.

[nezzcarth]

@snafu: Oh, den Beitrag habe ich irgendwie übersehen. :/

Was du ansprichst, ist vmtl. die "robots.txt". Da halten sich heute viele nicht mehr dran (https://www.heise.de/hintergrund/Nachru ... 52448.html). Die Werkzeuge, die Damaskus in dem anderen Thread nennt (mod_evasive, fail2ban), helfen nach meiner Erfahrung bis zu einem gewissen Punkt und abhängig davon, wie man sie einstellt. Inzwischen hat man es aber auch mit Bots zu tun, denen man ihr "Bot-Sein" nicht ansieht (z.B. im User-Agent), die die robots.txt nicht beachten und die bei jeder Anfrage eine andere IP verwenden. Die nächste Eskalationsstufe in den Abwehrmaßnahmen ist z.Z oft dann, so etwas wie Anubis oder go-away einzusetzen. Das hilft zumindest im Moment noch ganz gut.

[snafu]

Die robots.txt war tatsächlich gemeint und ich hatte sowas schon befürchtet bzw. meine auch davon gelesen zu haben, dass ihre "freiwillige Verbindlichkeit" heute nicht mehr viel zählt.

Naja, man könnte das Forum ja auch so einstellen, dass die Beiträge von außen nicht mehr sichtbar sind, sondern erst nach einem erfolgten Login. Ob das gewünscht ist, weiß ich natürlich nicht. Bei einem "Subkultur-Forum", in dem ich involviert bin, machen wir das schon seit Jahren so. Aber da spielen der Community-Aspekt und Wünsche nach einer gewissen Privatsphäre sicherlich eine bedeutend größere Rolle als hier. Community ist hier auch, aber es geht ja auch viel um Recherche beim Python-Forum. Das funktioniert deutlich schlechter, wenn man sich von den Suchmaschinen ausschließt.

Bin jedenfalls mal gespannt, wohin die Reise hier geht. Auf dauerhafte Einschränkungen werden wohl viele User nicht soviel Bock haben. Auch wenn unser Admin da wenig für kann, sondern die Masse an Bots diese Probleme verursacht.

[__blackjack__]

@snafu: Im FreeBASIC-Forum muss man so gefühlt alle zwei Minuten Cloudfare versichern, dass man ein Mensch ist. Total nervig.

[Dennis89]

@snafu: Im FreeBASIC-Forum muss man so gefühlt alle zwei Minuten Cloudfare versichern, dass man ein Mensch ist. Total nervig.

Vielleicht auch weil du außerirdisch guten Code schreibst

[Damaskus]

Ich würde da eher keine Bots hinter vermuten. Aber wo wir das Thema schon haben: Das Forum ist in der letzten Zeit bei mir häufig sehr träge, bis zu dem Punkt, wo zwischenzeitlich gar keine Verbindung mehr zustande kommt.

Sry Leute, das war kein Bot oder ähnliches, das war der Admin!
Seitdem ich rigoros Leute rausschmeiße, welche mehr pöbeln als nutzen, häufen sich die DDoS Angriffe.
Und da habe ich es wohl ganz leicht übertrieben mit dem Tuning von mod_evasive. Seit 2 Wochen dürfte es keine Probleme mehr geben.
So etwas auch bitte immer melden! Es hilft mir ungemein, wenn ich solche Meldungen bekomme.

[Damaskus]

Die Werkzeuge, die Damaskus in dem anderen Thread nennt (mod_evasive, fail2ban), helfen nach meiner Erfahrung bis zu einem gewissen Punkt und abhängig davon, wie man sie einstellt. Inzwischen hat man es aber auch mit Bots zu tun, denen man ihr "Bot-Sein" nicht ansieht (z.B. im User-Agent), die die robots.txt nicht beachten und die bei jeder Anfrage eine andere IP verwenden.

Richtig! Die meisten Bots sind inzwischen "getarnt". Die üblichen Crawler halten sich so ganz grob an die Vorgaben der robots.txt oder die ai-robots.txt, aber die habe ich bewusst nicht ausgeschlossen. Das Forum und das Wissen über Python hier in dem Forum soll (meiner Meinung nach) allen helfen. Und da hier nichts, wirklich gar nichts monetarisiert wird, gibt es auch keinen Grund die Texte irgendwie zurück zu halten.
Daher habe ich bewusst keine sperren für Crawler eingebaut. Zumal der Server bzw. der Cluster auf dem das Forum läuft, sehr viele Reserven hat und das "bisschen" Text ohne Bilder eigentlich keine Probleme darstellt.

Anubis steht in der Tat bereit falls es überhand nimmt, aber davon sind wir noch sehr weit entfernt.

Aus den Statistiken:
Im Oktober (wo mod_evasive viel zu streng konfiguriert war und jede fünfte Anfrage mit einem 400er beantwortet hat) haben wir nicht ganz 22 Millionen Seitenanfragen (250 GB Traffic) auf das Forum erhalten.

[snafu]

Seit 2 Wochen dürfte es keine Probleme mehr geben.

Kann ich für mich leider nicht bestätigen. Ich konnte das Forum auch in den letzten Tagen nicht immer erreichen. Zuletzt gab es gestern Probleme, wenn ich mich richtig erinnere.

[Damaskus]

Das ist spannend! Ich sehe in den Logs nichts auffälliges und ich erreiche das Forum immer.
Ich lasse mal das Monitoring die Startseite permanent überwachen, evtl. fällt hier etwas auf.

[DeaD_EyE]

Ich hatte mal zwischendurch einen Fehler:

525: SSL handshake failed

Da sich python-forum.de nicht hinter einem CDN (Cloudflare) versteckt, sollten die Fehler eigentlich vom Webserver geloggt werden.

[Damaskus]

525 ist eher ein Cloudflare Fehler und keiner vom Apache.
Und Cloudflare wird hier nicht benutzt.

Was ich im SSL Zusammenhang in den Logs finde, sind nur SNI Fehler, bei denen Clients keinen Host übermittelt haben.
Und ja, diese Clients können keine Verbindung zum Server aufbauen. Aber das ist so ganz grob ein Android 3.0 Thema und schon leicht veraltet.

[snafu]

Beim nächsten Fehler mache ich einen Screenshot. Vielleicht hilft das ja. Jetzt zur Zeit ist es wieder langsamer als sonst, wobei andere Seiten außerhalb des Forums normal erreichbar sind. Kann natürlich auch an mir bzw. meiner Verbindung liegen, aber mir fällt das nur beim Forum so extrem auf...

[Damaskus]

Das könnte ungefähr passen. Im Monitoring sehe ich passend zum Eintrag ein Zeitfenster von 6 Minuten, in dem die Antwortzeit weit über den üblichen 140ms lagen.
Danke! Das hilft in der Tat weiter den Fehler einzugrenzen.