|
#1
28.08.2003, 17:16
| ||||
| ||||
Blocken von WebGrabbernHallo, ich wollte mich mal nach Eure Erfahrungen mit WebGrabbern erkundigen - und zwar aus der Sicht eines Admins, dessen Seite gegrabbt wird. Wir nutzen phpBB und ich habe mal aus einem Mittelding von 'Langeweile' und 'Neugierde' einen Mod installiert, der mir die Serverlast in Anzahl ausgelieferter Seiten anzeigt. Kommt nur ein User mit einem Webgrabber daher, so lese ich zum Beispiel: "Server Load: 812 page(s) served in previous 5 minutes." Ich blocke in so einem Fall die IP und habe erstmal Ruhe. Nun dachte ich mir Folgendes: Stellt mein Forum fest, daß ein Schwellwert an Seiten überschritten wurde, beispielsweise 500 innerhalb der letzten 5 Minuten, so prüft es, ob es eine IP gibt, die dafür hauptsächlich (> 60%) verantwortlich ist. Wenn ja, wird diese IP für einen Zeitraum von _x_ Minuten geblockt. Könnte dies ein gangbarer Weg sein, um Webgrabbern das Wasser abzugraben? Wenigstens in der Hinsicht, daß der User 'langsam' grabben muß und mir mit seiner Aktion nicht meinen Server lahmlegt. Das ist nämlich der eigentliche Punkt, der mich stört. Grüße, Gérome |
|
#2
28.08.2003, 17:30
| ||||
| ||||
| hehe. Die Suchbots erzeugen nicht einmal annähernd so viel Last. Ich habe mittels 'mod_rewrite' und einem extra Session-Handling ja quasi den roten Teppich für diese kleinen Racker ausgelegt. Die Tabelle für die IPs habe ich auch schon. Mir geht es eher um die Frage, ob dieser Weg an sich sinnvoll ist oder was sich andere haben dazu einfallen lassen. Die technische Realisierung selber ist nur eine Frage von kurzer Zeit. Grüße, Gérome |
|
#3
28.08.2003, 17:52
| ||||
| ||||
| *grins* Offenbar drücke ich mich heute irgendwie verquert aus. Google & Konsorten sind nicht mein Problem. Mit den 'DoS-Angriffen'  durch Suchmaschinen werde ich fertig. Das belastet den Server nicht nenneswert.Ich suche nach einem Weg, wie ich verhindern kann, daß ein menschlicher User [üblicherweise zu diesem Zeitpunkt nicht angemeldet] seinen Sitegrabber anwirft und in mordmäßiger Geschwindigkeit meine Seite grabbt und dabei den Server derart belastet, daß der reguläre Betrieb nur noch sehr eingeschränkt laufen kann. Grüße, Gérome |
 |
| Stichworte |
| - |
|
|
