Spezielle Analyse von Logfiles

LonelyPixel · #2 03.12.2004, 13:58

Bevor du bei hohen Zugriffszahlen einen Angriff vermutest, check doch erstmal, ob nicht Google oder MSN dahinterstecken. Deren Bots haben seit kurzem alle paar Tage irgendwas gefressen, dass die völlig durchdrehen und fressen so viel sie nur können. Da kommt am Tag schnell mal die zehnfache Zugriffszahl zusammen. Im HTTP Access-Log einfach zu finden mit dem USer-Agent Googlebot (oder irgendwas mit Google am Anfang) oder msnbot.

Gérome · #3 03.12.2004, 14:06

Die gängigen Bots erkenne ich im Forum und diese erzugen üblicherweise auch keine solche Last. Wenn wir intensiv durchsucht werden, dann haben wir etwa 80-100 Gäste, die durch Bots entstehen. Zusätzlich zu den normalen Benutzern, liegen wir dann zwischen 120 und 150 Usern. Das ist 'ne Menge, lässt den Server aber nicht vollständig in die Knie gehen, auch wenn die Dauer für die Seitengenerierung natürlich nach oben geht.

Ich werde ide Logfiles also mal per Hand kontrollieren - wollte ich eigentlich nicht, aber was soll's. ;-)

Grüße,
Gérome

itst · #4 06.12.2004, 19:18

Wenn die Maschine nicht gerade über mehr als 2 CPUs verfügt, ist eine Last von 2,5 von vornherein zu hoch.

Was läuft denn auch der Maschine noch, außer Apache(?), MySql (?, Version?) und PHP (?, Version?)?

Ansonsten schau mal hier: http://www.itst.org/web/238-apache_u...ql_ueber.shtml

marci · #5 06.12.2004, 23:05

Hallo

Ich klinke mich einfach mal ein weil ich eine Frage habe zur Server Last, ich habe einen MS Server und eine Serverlast anzeige, nur sagen mir die Zahlen nichts gibt es irgendwo Richtwerte was normal ist?

Grüße

Marcell

Gérome · #6 06.12.2004, 23:10

Hallo Sascha,

Zitat:

Zitat von itst

Wenn die Maschine nicht gerade über mehr als 2 CPUs verfügt, ist eine Last von 2,5 von vornherein zu hoch.

Das glaube ich Dir gerne. Nur habe ich jetzt ein Problem: Mehr Knete für einen größeren Server ist nicht drin. Und ein selbst konfigurierter Server ist mangels entsprechender Kenntnisse ebenfalls nicht drin. Eine 08/15 Standard-Konfiguration würde ich mittels einschlägiger Tutorials vielleicht noch hinbekommen, aber diese wäre hinsichtlich der Performanz vermutlich keine Referenz - also ist es ein Managed-Server XL von all-inkl.com.
Und solange unsere Benutzer auch bei 120 Usern gleichzeitig (heute gehabt) im Schnitt weniger als 2 Sekunden auf die Seiten warten müssen, ist die Lage meinem subjektiven Empfinden nach noch erträglich.

Zitat:

Zitat von itst

Was läuft denn auch der Maschine noch, außer Apache(?), MySql (?, Version?) und PHP (?, Version?)?

Nüschd. PHP 4.3.1, Apache 1.3.27, MySQL 3.23.55 - die Ausgae von phpinfo() ist lang. Ich wüsste jetzt nicht, was ich auf diese Frage im Speziellen antworten sollte.
Geht aus der Config-Zeile etwas Brauchbares hervor?

Code:

'./configure' '--prefix=/usr/share' '--datadir=/usr/share/php' '--bindir=/usr/bin' '--libdir=/usr/share' '--includedir=/usr/include' '--with-_lib=lib' '--with-config-file-path=/etc' '--with-exec-dir=/usr/lib/php/bin' '--disable-debug' '--enable-bcmath' '--enable-calendar' '--enable-ctype' '--enable-dbase' '--enable-discard-path' '--enable-exif' '--enable-filepro' '--enable-force-cgi-redirect' '--enable-ftp' '--enable-gd-imgstrttf' '--enable-gd-native-ttf' '--enable-inline-optimization' '--enable-magic-quotes' '--enable-mbstr-enc-trans' '--enable-mbstring' '--enable-mbregex' '--enable-memory-limit' '--enable-safe-mode' '--enable-shmop' '--enable-sigchild' '--enable-sysvsem' '--enable-sysvshm' '--enable-track-vars' '--enable-trans-sid' '--enable-versioning' '--enable-wddx' '--enable-yp' '--with-bz2' '--with-dom=/usr/include/libxml2' '--with-ftp' '--with-gdbm' '--with-gettext' '--with-gmp' '--with-imap=yes' '--with-iodbc' '--with-jpeg-dir=/usr' '--with-ldap=yes' '--with-mcal=/usr' '--with-mcrypt' '--with-mysql=/usr' '--with-ndbm' '--with-pgsql=/usr' '--with-png-dir=/usr' '--with-readline' '--with-snmp' '--with-t1lib' '--with-tiff-dir=/usr' '--with-ttf' '--with-freetype-dir=yes' '--with-xml' '--with-xpm-dir=/usr/X11R6' '--with-zlib=yes' '--with-qtdom=/usr/lib/qt3' '--with-gd' '--with-openssl' '--with-curl' '--with-imap-ssl' '--enable-xslt' '--with-xslt-sablot' '--with-iconv' '--with-mm' '--with-apxs=/usr/sbin/apxs' 'i586-suse-linux'

Mehr als 'www.delphipraxis.net' hat der Server nicht zu tun. Da liegen noch eine private Homepage sowie ein Rollenspiel-Forum, die aber jeweils keine nennenswerte Anzahl an Hits haben.

Zitat:

Zitat von itst

Ansonsten schau mal hier: http://www.itst.org/web/238-apache_u...ql_ueber.shtml

Dank für den Link - der war ganz in Vergessenheit geraten. Ich werde am WoEnde prüfen, was ich davon umsetzen kann. Meine Rechte auf diesem Server sind ein wenig eingeschränkt.

itst · #7 06.12.2004, 23:59

Die Load/Last gibt an, wieviele Prozesse pro Minute im Durchschnitt laufen. Eine Ein-Prozessor-Maschine kann nur einen Prozess gleichzeitig abarbeiten. Laufen mehrere Prozesse, muss der Rechner multitasken, also swappen. Das wiederum sorgt dafür, das anstehende Prozesse nach hinten verschoben werden, das führt zu noch mehr Swapping, und so weiter und so fort.

Gerome, wie siehts mit Mail-Servern aus? DNS? FTP? Wenn Du kannst, poste mal die Ausgabe von 'ps -aux' - vorausgesetzt Du hast Zugang als Root zeigt dieser Befehl alle Tasks, die im System laufen.

Silmarillion · #8 07.12.2004, 10:00

Zitat:

also ist es ein Managed-Server XL von all-inkl.com.

Hmmm...Du hast den MS-XL und Dein Forum soll bei "lächerlichen" 150 Usern (davon noch 100 Bots) in die Knie gehen? Da kann was nicht stimmen. Der Server sollte locker und leicht mind. 250 User verkraften - zumal auf dem Server ja angeblich "nur" ein Forum betrieben wird.

Die Serverlast von 2,5 würde ich übrigens nicht allzu hoch bewerten, da diese nicht wirklich aussagekräftig ist. (Schwachstelle KAS.....)

PS: Hast Du schon einmal über eine Speichererweiterung (512er Riegel) nachgedacht?

mfg

itst · #9 07.12.2004, 10:30

Was hat das KAS mit der Load zu tun bzw. warum macht KAS die Last-Angabe unbrauchbar?

Hast Du einen Server bei all-inkl, Christian?

Silmarillion · #10 07.12.2004, 10:51

Zitat:

Zitat von itst

Hast Du einen Server bei all-inkl, Christian?

Ja....deshalb ja auch meine Aussage

....

mfg

Gérome · #11 08.12.2004, 17:16

@itst: Also mit 'ps -aux' habe ich leider kein Glück - habe ja auch keine root-Rechte auf diesem Server. Ob da DNS-Dienste etc. laufen, kann ich nicht sagen.

@Silmarillion: Inwiefern hängt das KAS mit der Angabe der Server-Last zusammen? Und ja, über eine Speichererweiterung habe ich nachgedacht. Wenn ich wüsste, dass dies der Flaschenhals ist, dann würde ich sofort einen 512er-Riegel in Auftrag geben. Doch das Monitoring liefert mir keine Daten hinsichtlich des RAMs. Ich sehe halt nur die Last-Spitzen, die den Server aus den Latschen hauen (s. Attachment #1) sowie den Traffic mit seinen Spitzen (s. Attachment #2) - ich biete keine Downloads an und aus den HTTP-.Logfiles gehen diese Spitzen nicht hervor.

Im Normalfall stellen 150 User auch keine unüberwindbare Herausforderung für den Server dar. Ob die EMail-Funktion des phpBB eine Last erzeugen kann, wenn z.B. wer einen Beitrag in einem Thread schreibt, den viele abonniert haben und dann die Benachrichtigungs-Mails rausgeschickt werden?

G.

itst · #12 09.12.2004, 14:09

Versuchs mal mit 'top'. Da siehst Du auch den Speicherverbauch. Noch besser geht das mit 'free'.

Sag mal, das zweite Bild, ist das die Load? Weia.

Wenn die Maschine nur 256 MB RAM hat, ist das mit ziemlich hoher Sicherheit _der_ Flaschenhals. MySql ist zwar vergleichsweise klein im RAM, aber es ist ja nicht allein im Speicher. Da ist ein Apache, der nicht gerade kleinlich mit RAm umgeht, und da sind zig andere Prozesse, die auch was abhaben wollen. Ergebnis: Swapping, hohe Last, mehr Swapping, höhere Last, ... Ein Upgrade auf 512 MB ist dringend angeraten!

Der nächste Flaschenhals ist wahrscheinlich die Festplatte, aber bis dahin ist noch Luft

Silmarillion · #13 09.12.2004, 14:43

@ Gérome:

Woraus resultiert diese Diskrepanz zwischen den normalen und den Lastzeiten? Hast Du jeden Tag um XX uhr eine solch hohe Anzahl an Usern auf dem Board, oder liegen die Ursachen hierfür woanders?

PS: Selbst wenn 100 gereggte und 100 Bots gleichzeitig unterwegs wären, sollte/dürfte die Auslastung nicht regelmäßig auf 9-10 hochgehen.
Akzeptabel wären gerade noch 5 - alles andere wird kritisch.
Allerdings habe ich Dir ja schon geschrieben, dass die Anzeige des KAS nicht unbedingt für bare Münze genommen werden kann.
Da Du jedoch die Serverlast zu spüren bekommst, scheint es - in der Tat - diverse Probleme zu geben.

Tipp: Setze Dich doch einfach einmal mit der Hotline Deines Hosters in Verbindung. Die sollten Dir exaktere Angaben/Empfehlungen geben können.

Anmerkung: bei mir lädt Deine Seite überaus schnell.
mfg

itst · #14 10.12.2004, 00:54

Zitat:

Allerdings habe ich Dir ja schon geschrieben, dass die Anzeige des KAS nicht unbedingt für bare Münze genommen werden kann.

Aber warum? KAS wird doch wohl auch nur die uptime oder top-Daten nehmen oder sogar direct aus /proc auslesen und per MTRG oder wie das Ding gleich heißt in Diagramme umwandeln, oder?

Gérome · #15 10.12.2004, 09:22

Zitat:

Zitat von Silmarillion

Woraus resultiert diese Diskrepanz zwischen den normalen und den Lastzeiten? Hast Du jeden Tag um XX uhr eine solch hohe Anzahl an Usern auf dem Board, oder liegen die Ursachen hierfür woanders?

In der Beantwortung dieser Frage liegt ja mein Problem. ;-) Ich habe die HTTP-Logs vorwärts, rückwärts und sogar quer analysiert und keinen Hinweis darauf gefunden. Mit der reinen Anzahl an Besuchern hängt dies nicht zusammen und es läuft auch kein CronJob um diese Zeit. Ich habe nicht den blassesten Schimmer, wo diese Spitzen herkommen könnten.

Zitat:

Zitat von Silmarillion

Tipp: Setze Dich doch einfach einmal mit der Hotline Deines Hosters in Verbindung. Die sollten Dir exaktere Angaben/Empfehlungen geben können.

Genau das werde ich heute nach der Uni machen.

Zitat:

Zitat von itst

Wenn die Maschine nur 256 MB RAM hat, ist das mit ziemlich hoher Sicherheit _der_ Flaschenhals.

Sie hat ja schon 512 MBytes an RAM. Ich warte mal die Aussage von all-inkl.com ab und lasse dann ggf. weitere 128 MBytes dazustecken.

Grüße,
Gérome

Silmarillion · #16 10.12.2004, 10:14

Zitat:

In der Beantwortung dieser Frage liegt ja mein Problem. ;-)

Ups...das ist wohl wahr

...wenn Du wirklich selber keinerlei Anhaltspunkte hast, dann empfehle ich Dir - in der Tat - dringend, Dich mit Deinem Hoster in Verbindung zu setzen. Wozu hast Du schließlich einen Managed Server? *g*
Die Verantwortung und der Aufgabenbereich für den Server sind in Deinem Fall klar verteilt und liegen bei all-inkl. Schon deshalb werden und müssen sie diesem Phänomen der Lastzeiten auf die Spur kommen bzw. nachgehen.

PS: Am Speicher selbst dürfte es eigentlich nicht liegen. Lasse Dir da nicht voreilig was aufschwatzen. 128 MB würden ohnehin nicht sooo viel bewirken. Wenn überhaupt, dann wären wohl 512 zusätzliche MBs angebracht.

mfg

Christopher · #17 11.12.2004, 17:11

Hi Gérome,

ich hab auch einen Managed Server bei all-inkl.com (aber leider nur L

) aber als ich mir den Load der DP angeschaut habe, ist mir aufgefallen, dass ich auch zu dieser Zeit einen großeren Load habe, als sonst... (siehe Anhang). Zwar nicht einen so hohen, aber er ist da

Gruß
Christopher

Gérome · #18 11.12.2004, 17:20

*huch*
[Die Melodie von Akte-X spielt leise im Hintergrund]

Ich habe gestern bei all-inkl.com angefragt und deren Schweigen interpretiere ich mal so, dass sie daran arbeiten. ;-) Oder es liegt einfach daran, dass Wochenende ist und solche Aufgaben nicht vom normalen Wochenend-Support übernommen werden - wie auch immer, auf ein paar Tage hin oder her kommt es mir jetzt auch nicht an, sofern die Ursache für die Lastspitzen am Ende gefunden werden kann.

Grüße,
Gérome

Gérome · #19 14.12.2004, 09:28

Sodala.
2 Emails mit dem Support später....

Zuerst waren die CronJobs im Verdacht. Diese sind im Vergleich zu normalen Scripts hinsichtlich ihrer Laufzeit weniger Restriktionen unterlegen und sind oftmals die Ursachen für Lastspitzen. Um die DP zu betreiben, sind 3 Jobs nötig und alle laufen sie nachts, können als mit den Lastspitzen tagsüber nichts zutun haben.

Wir sind nun so verblieben, dass sie den Server im Auge behalten und ich anrufe, wenn die nächste Lastspitze auftritt. Dann werden sie den Server im Idealfall während der Last unter die Lupe nehmen.

Zwar wäre mir eine unmittelbare Behebung des Problemes lieber gewesen, aber auch mit dieser Lösung kann (und muss :roll: ) ich leben. Es bleibt also weiter spannend. ;-)

Grüße,
Gérome

MrNase · #20 14.12.2004, 10:33

Meistens um 15-16 Uhr ist mein Datenbankserver (WebPrivat XXL und WebPrivat L) down was zu den schonmal berichteten Problemen führt..

Komisch, auf dem Bild konnte ich die Leistungsspitze bei 15:21 entdecken. Zufall?!

itst · #21 14.12.2004, 13:49

Klar kann man solche Aussagen nicht unbedeingt verallgemeinern, aber auf meinen Webs ist zwischen 14h und 16h wochentags am meisten los. Sozusagen Rush-Hour im deutschen Internet.

Laut http://www.de-cix.net/stats/ ist zwischen 16h und 18h am meisten los, mit einer weiteren Spitze von 20h bis 21h. Diese Daten sind allerdings sehr allgemein.

Silmarillion · #22 16.12.2004, 11:54

@ Gérome:

Was Du auch tun könntest, wäre die Aktualisierung der Hitzahlen (sofern dies beim phpBB möglich ist) nur noch stündlich vornehmen zu lassen.
Zudem würde/könnte ein Umstieg auf ein vB3 wahre Wunder bewirken.

mfg

Silmarillion · #23 16.12.2004, 11:55

Zitat:

Zitat von itst

.

Laut http://www.de-cix.net/stats/ ist zwischen 16h und 18h am meisten los.

Was ich absolut bestätigen kann. *g*

mfg

itst · #24 16.12.2004, 13:55

Zitat:

Zitat von Silmarillion

Zudem würde/könnte ein Umstieg auf ein vB3 wahre Wunder bewirken.

Nicht wirklich.

Gérome · #25 16.12.2004, 19:21

Zitat:

Zitat von Silmarillion

Was Du auch tun könntest, wäre die Aktualisierung der Hitzahlen (sofern dies beim phpBB möglich ist) nur noch stündlich vornehmen zu lassen.

öhm. Was genau meinst Du? Die Anganben, welcher Thread wie oft gelesen wurde etc.?

Zitat:

Zitat von Silmarillion

Zudem würde/könnte ein Umstieg auf ein vB3 wahre Wunder bewirken.

Könntest Du diese Aussage näher untermauern? So allgemein würde ich dies nämlich nicht glauben. Wir haben 80% aller SQL-Statements überarbeitet und so für größere Belastungen optimiert - es kann sein, dass wir damit ein wenig von der Kompatibilität zu anderen DBs eingebüßt haben, aber das spielt im Moment keine Rolle. So wird unser phpBB spielend mit über 100 Usern fertig, ohne dass uns der Server um unsere Plüsch-Ohren fliegt oder der Seitenaufbau unerträglich langsam wird. Außerdem liebe ich mein phpBB und würde es nur äußerst ungerne gegen ein anderes System tauschen.

Ich sprach kürzlich nach einer Auszeit der DP mit dem Support von all-inkl.com. Sie boten mir an, eine Last-Kontrolle gegen hämmernde HTTP-Anfragen zu installieren. Nach der Auskunft des Support-Mitarbeiters solle nun zum Beispiel durch Site-Grabber keine Chance mehr bestehen, die Serverlast in die bekannten und gefürchteten Höhen zu treiben.
Genützt hat es nichts. Heute - ich möchte sagen 'pünktlich' um 16:00 Uhr - war die Serverlast wieder jenseits der 15. :wall: Ich fürchte, ich muss deren Support so lange nerven, bis die Ursache feststeht.

Grüße,
Gérome

Themen-Optionen
Druckbare Version zeigen Jemanden per E-Mail auf dieses Thema hinweisen
Thema bewerten
Thema bewerten:

Ähnliche Themen
Thema	Autor	Forum	Antworten	Letzter Beitrag
Spezielle Schriftfarbe für Benutzergruppen? vB	Snake	Web Design und Grafik	7	09.12.2004 22:37
Analyse von Logfiles	Gérome	Webspace, Webserver, Domains	3	26.09.2003 09:28