langsamer Webserver

[yoyo]

Hallo,

seit einigen Tagen war das Forum manchmal sehr langsam. Grund war ein Amok laufender Webcrawler, der ClaudeBot/1.0, der massiv parallel von verschiedensten IP Adresssen sich das Forum durchgelesen hat. Das hat dazu geführt dass alle 150 Apache Prozesse belegt waren und normale Anfragen kaum noch dran kamen. Eigentlich ein DDOS Angriff.
Ich hab heute morgen durch eine Regeln im Apache ihn direkt nach China zu Huawei auf die Seite redirekted.
Dadurch konnte direkt der Apache schnell die Anfrage beantworten ohne auf Forum und DB zugreifen zu müssen.
Sofort waren dann auch wieder Apache Prozesse frei.
Mittlerweile kommt der Bot jetzt garnicht mehr vorbei, hot wohl genug von den Chinesen.

yoyo

[Kolossus]

Mittlerweile kommt der Bot jetzt garnicht mehr vorbei, hot wohl genug von den Chinesen.

Auch Bots haben wohl ihren Stolz.
Wie hast du denn den Angreifer identifizieren können?

[yoyo]

Ich hab währenddessen das Apache Logfile mitlaufen lassen und gesehen, dass da Unmengen an Zugriffen von jemandem kommen, der sich im UserAgent "ClaudeBot/1.0" nennt und der das ganze Forum ständig abfragt.

[Stiwi]

Ist ja im dem Sinne auch kein richtiger Angriff gewesen sondern einfach nur der dumme Bot von Anthropic für deren KI.
Es scheint auch so zu sein dass dieser Bot die robots.txt ignoriert. Ich hoffe irgendwer verklagt diese Firma dafür....

https://www.reddit.com/r/singularity/co ... aping_the/

Das Problem mit dem Bot scheinen die letzten Tage viele gehabt zu haben

[Kolossus]

Hallo Stiwi,
meiner unmaßgeblichen Meinung nach war das aber schon recht heftig, was da los war. Die Seite aufzurufen dauerte recht lange, dass man schon Zeitüberschreitungsfehler fürchtete.
Wir können froh sein, dass sich yoyo zu helfen wusste. Es ist einfach eine Sauerei, was da zeitweise abgeht.
Mir war nur immer wieder aufgefallen, dass in letzter Zeit die Zahl der „Gäste“ im Forum ungewöhnlich hoch war, teilweise über einhundert im selben Fred.
Ob es da einen Zusammenhang gibt, entzieht sich allerdings meiner Kenntnis.

[Stiwi]

Ich wollte mit meinem Post auch nichts relativieren. Nur aussagen dass es kein Angriff war sondern ein dumm konfigurierter Bot von einer KI Firma. Und da das so ne sauerei ist hoffe ich die werden verklagt

[gemini8]

Faktisch kann man diese dumme Programmiererei aber mit einem dDoS Angriff gleichsetzen.
Hoffentlich lassen die ihr sich selbst überprüfendes LLM mal auf seine Art und Weise los, sich Daten zu verschaffen.
Nach der Überprüfung dürfte das Ding dann entweder 'vernünftiger' mit anderer Leute Ressourcen umgehen oder zeigen, dass es doch nicht das kann, was es können soll.

[gemini8]

Ach, yoyo:
Huawais Petalbot kannst du auch gleich zurück umleiten. Der bremst wohl gerade.

[Kolossus]

Ich wollte mit meinem Post auch nichts relativieren.....

Das wollte ich auch nicht zum Ausdruck gebracht haben, verzeih, wenn das bei dir so angekommen ist.