Spezielle Analyse von Logfiles
 

Guten Morgen,

ich bin auf der Suche nach einem Tool zur Logfile-Analyse, welches mir Hinweise für die Ursachen von plötzlichen und kurzzeitigen Last-Spitzen meines Servers geben kann.

Im Normalfall bummelt unser Server bei einer Last von '2.5' vor sich hin, jedoch manchmal schießt die Belastung auf über '20' und der Apache hüllt sich für ein paar Minuten in Schweigen und nichts geht mehr.

Interessanterweise ist es jedoch nicht so, dass wir zu diesen Zeiten überdurchschnittlich viele Benutzer im Forum hatten - und das macht mich stutzig. Ich hoffe nun, dass ich in den Logfiles des Apachen einen Hinweis auf mögliche Ursachen finden könnte - denn erst, wenn ich diese kenne, kann ich anfangen, phpBB-seitig etwas dagegen zu unternehmen.

Gibt es also Tools, die die Logfiles nicht nach allgemeinen Kriterien analysieren (dazu nutze ich awstats), sondern nach Hinweisen für Attacken o.ä. - eben nach möglichen Urachen für Lastspitzen? (Es gibt derzeit keinen Anlass zur Dramatisierung - vermutlich ist die Ursache völlig banal. Nur leider kann man auch nicht mehr ausschließen, dass ein sog. 'Script-Kiddie' einen Weg gefunden hat, unseren Server zu beschäftigen.)


winterliche Grüße,
Gérome

Bevor du bei hohen Zugriffszahlen einen Angriff vermutest, check doch erstmal, ob nicht Google oder MSN dahinterstecken. Deren Bots haben seit kurzem alle paar Tage irgendwas gefressen, dass die völlig durchdrehen und fressen so viel sie nur können. Da kommt am Tag schnell mal die zehnfache Zugriffszahl zusammen. Im HTTP Access-Log einfach zu finden mit dem USer-Agent Googlebot (oder irgendwas mit Google am Anfang) oder msnbot.

Die gängigen Bots erkenne ich im Forum und diese erzugen üblicherweise auch keine solche Last. Wenn wir intensiv durchsucht werden, dann haben wir etwa 80-100 Gäste, die durch Bots entstehen. Zusätzlich zu den normalen Benutzern, liegen wir dann zwischen 120 und 150 Usern. Das ist 'ne Menge, lässt den Server aber nicht vollständig in die Knie gehen, auch wenn die Dauer für die Seitengenerierung natürlich nach oben geht.

Ich werde ide Logfiles also mal per Hand kontrollieren - wollte ich eigentlich nicht, aber was soll's. ;-)



Grüße,
Gérome

Wenn die Maschine nicht gerade über mehr als 2 CPUs verfügt, ist eine Last von 2,5 von vornherein zu hoch.

Was läuft denn auch der Maschine noch, außer Apache(?), MySql (?, Version?) und PHP (?, Version?)?

Ansonsten schau mal hier: http://www.itst.org/web/238-apache_u...ql_ueber.shtml

Hallo

Ich klinke mich einfach mal ein weil ich eine Frage habe zur Server Last, ich habe einen MS Server und eine Serverlast anzeige, nur sagen mir die Zahlen nichts gibt es irgendwo Richtwerte was normal ist?

Grüße

Marcell

Hallo Sascha,

Das glaube ich Dir gerne. Nur habe ich jetzt ein Problem: Mehr Knete für einen größeren Server ist nicht drin. Und ein selbst konfigurierter Server ist mangels entsprechender Kenntnisse ebenfalls nicht drin. Eine 08/15 Standard-Konfiguration würde ich mittels einschlägiger Tutorials vielleicht noch hinbekommen, aber diese wäre hinsichtlich der Performanz vermutlich keine Referenz - also ist es ein Managed-Server XL von all-inkl.com.
Und solange unsere Benutzer auch bei 120 Usern gleichzeitig (heute gehabt) im Schnitt weniger als 2 Sekunden auf die Seiten warten müssen, ist die Lage meinem subjektiven Empfinden nach noch erträglich.

Nüschd. PHP 4.3.1, Apache 1.3.27, MySQL 3.23.55 - die Ausgae von phpinfo() ist lang. Ich wüsste jetzt nicht, was ich auf diese Frage im Speziellen antworten sollte.
Geht aus der Config-Zeile etwas Brauchbares hervor?


Mehr als 'www.delphipraxis.net' hat der Server nicht zu tun. Da liegen noch eine private Homepage sowie ein Rollenspiel-Forum, die aber jeweils keine nennenswerte Anzahl an Hits haben.

Dank für den Link - der war ganz in Vergessenheit geraten. Ich werde am WoEnde prüfen, was ich davon umsetzen kann. Meine Rechte auf diesem Server sind ein wenig eingeschränkt.

Die Load/Last gibt an, wieviele Prozesse pro Minute im Durchschnitt laufen. Eine Ein-Prozessor-Maschine kann nur einen Prozess gleichzeitig abarbeiten. Laufen mehrere Prozesse, muss der Rechner multitasken, also swappen. Das wiederum sorgt dafür, das anstehende Prozesse nach hinten verschoben werden, das führt zu noch mehr Swapping, und so weiter und so fort.

Gerome, wie siehts mit Mail-Servern aus? DNS? FTP? Wenn Du kannst, poste mal die Ausgabe von 'ps -aux' - vorausgesetzt Du hast Zugang als Root zeigt dieser Befehl alle Tasks, die im System laufen.

Hmmm...Du hast den MS-XL und Dein Forum soll bei "lächerlichen" 150 Usern (davon noch 100 Bots) in die Knie gehen? Da kann was nicht stimmen. Der Server sollte locker und leicht mind. 250 User verkraften - zumal auf dem Server ja angeblich "nur" ein Forum betrieben wird.

Die Serverlast von 2,5 würde ich übrigens nicht allzu hoch bewerten, da diese nicht wirklich aussagekräftig ist. (Schwachstelle KAS.....)

PS: Hast Du schon einmal über eine Speichererweiterung (512er Riegel) nachgedacht?

mfg

Was hat das KAS mit der Load zu tun bzw. warum macht KAS die Last-Angabe unbrauchbar?

Hast Du einen Server bei all-inkl, Christian?

Ja....deshalb ja auch meine Aussage ;) ....

mfg

@itst: Also mit 'ps -aux' habe ich leider kein Glück - habe ja auch keine root-Rechte auf diesem Server. Ob da DNS-Dienste etc. laufen, kann ich nicht sagen.

@Silmarillion: Inwiefern hängt das KAS mit der Angabe der Server-Last zusammen? Und ja, über eine Speichererweiterung habe ich nachgedacht. Wenn ich wüsste, dass dies der Flaschenhals ist, dann würde ich sofort einen 512er-Riegel in Auftrag geben. Doch das Monitoring liefert mir keine Daten hinsichtlich des RAMs. Ich sehe halt nur die Last-Spitzen, die den Server aus den Latschen hauen (s. Attachment #1) sowie den Traffic mit seinen Spitzen (s. Attachment #2) - ich biete keine Downloads an und aus den HTTP-.Logfiles gehen diese Spitzen nicht hervor.

Im Normalfall stellen 150 User auch keine unüberwindbare Herausforderung für den Server dar. Ob die EMail-Funktion des phpBB eine Last erzeugen kann, wenn z.B. wer einen Beitrag in einem Thread schreibt, den viele abonniert haben und dann die Benachrichtigungs-Mails rausgeschickt werden?


G.

Versuchs mal mit 'top'. Da siehst Du auch den Speicherverbauch. Noch besser geht das mit 'free'.

Sag mal, das zweite Bild, ist das die Load? Weia.

Wenn die Maschine nur 256 MB RAM hat, ist das mit ziemlich hoher Sicherheit _der_ Flaschenhals. MySql ist zwar vergleichsweise klein im RAM, aber es ist ja nicht allein im Speicher. Da ist ein Apache, der nicht gerade kleinlich mit RAm umgeht, und da sind zig andere Prozesse, die auch was abhaben wollen. Ergebnis: Swapping, hohe Last, mehr Swapping, höhere Last, ... Ein Upgrade auf 512 MB ist dringend angeraten!

Der nächste Flaschenhals ist wahrscheinlich die Festplatte, aber bis dahin ist noch Luft ;)

@ Gérome:

Woraus resultiert diese Diskrepanz zwischen den normalen und den Lastzeiten? Hast Du jeden Tag um XX uhr eine solch hohe Anzahl an Usern auf dem Board, oder liegen die Ursachen hierfür woanders?

PS: Selbst wenn 100 gereggte und 100 Bots gleichzeitig unterwegs wären, sollte/dürfte die Auslastung nicht regelmäßig auf 9-10 hochgehen.
Akzeptabel wären gerade noch 5 - alles andere wird kritisch.
Allerdings habe ich Dir ja schon geschrieben, dass die Anzeige des KAS nicht unbedingt für bare Münze genommen werden kann.
Da Du jedoch die Serverlast zu spüren bekommst, scheint es - in der Tat - diverse Probleme zu geben.

Tipp: Setze Dich doch einfach einmal mit der Hotline Deines Hosters in Verbindung. Die sollten Dir exaktere Angaben/Empfehlungen geben können.

Anmerkung: bei mir lädt Deine Seite überaus schnell.
mfg

Aber warum? KAS wird doch wohl auch nur die uptime oder top-Daten nehmen oder sogar direct aus /proc auslesen und per MTRG oder wie das Ding gleich heißt in Diagramme umwandeln, oder?

In der Beantwortung dieser Frage liegt ja mein Problem. ;-) Ich habe die HTTP-Logs vorwärts, rückwärts und sogar quer analysiert und keinen Hinweis darauf gefunden. Mit der reinen Anzahl an Besuchern hängt dies nicht zusammen und es läuft auch kein CronJob um diese Zeit. Ich habe nicht den blassesten Schimmer, wo diese Spitzen herkommen könnten.

Genau das werde ich heute nach der Uni machen.

Sie hat ja schon 512 MBytes an RAM. Ich warte mal die Aussage von all-inkl.com ab und lasse dann ggf. weitere 128 MBytes dazustecken.


Grüße,
Gérome

Ups...das ist wohl wahr ;) ...wenn Du wirklich selber keinerlei Anhaltspunkte hast, dann empfehle ich Dir - in der Tat - dringend, Dich mit Deinem Hoster in Verbindung zu setzen. Wozu hast Du schließlich einen Managed Server? *g*
Die Verantwortung und der Aufgabenbereich für den Server sind in Deinem Fall klar verteilt und liegen bei all-inkl. Schon deshalb werden und müssen sie diesem Phänomen der Lastzeiten auf die Spur kommen bzw. nachgehen.

PS: Am Speicher selbst dürfte es eigentlich nicht liegen. Lasse Dir da nicht voreilig was aufschwatzen. 128 MB würden ohnehin nicht sooo viel bewirken. Wenn überhaupt, dann wären wohl 512 zusätzliche MBs angebracht.

mfg

Hi Gérome,

ich hab auch einen Managed Server bei all-inkl.com (aber leider nur L :( ) aber als ich mir den Load der DP angeschaut habe, ist mir aufgefallen, dass ich auch zu dieser Zeit einen großeren Load habe, als sonst... (siehe Anhang). Zwar nicht einen so hohen, aber er ist da ;)

Gruß
Christopher

*huch*
[Die Melodie von Akte-X spielt leise im Hintergrund]

Ich habe gestern bei all-inkl.com angefragt und deren Schweigen interpretiere ich mal so, dass sie daran arbeiten. ;-) Oder es liegt einfach daran, dass Wochenende ist und solche Aufgaben nicht vom normalen Wochenend-Support übernommen werden - wie auch immer, auf ein paar Tage hin oder her kommt es mir jetzt auch nicht an, sofern die Ursache für die Lastspitzen am Ende gefunden werden kann.


Grüße,
Gérome

Sodala.
2 Emails mit dem Support später....

Zuerst waren die CronJobs im Verdacht. Diese sind im Vergleich zu normalen Scripts hinsichtlich ihrer Laufzeit weniger Restriktionen unterlegen und sind oftmals die Ursachen für Lastspitzen. Um die DP zu betreiben, sind 3 Jobs nötig und alle laufen sie nachts, können als mit den Lastspitzen tagsüber nichts zutun haben.

Wir sind nun so verblieben, dass sie den Server im Auge behalten und ich anrufe, wenn die nächste Lastspitze auftritt. Dann werden sie den Server im Idealfall während der Last unter die Lupe nehmen.


Zwar wäre mir eine unmittelbare Behebung des Problemes lieber gewesen, aber auch mit dieser Lösung kann (und muss :roll: ) ich leben. Es bleibt also weiter spannend. ;-)



Grüße,
Gérome

Meistens um 15-16 Uhr ist mein Datenbankserver (WebPrivat XXL und WebPrivat L) down was zu den schonmal berichteten Problemen führt..

Komisch, auf dem Bild konnte ich die Leistungsspitze bei 15:21 entdecken. Zufall?!

Klar kann man solche Aussagen nicht unbedeingt verallgemeinern, aber auf meinen Webs ist zwischen 14h und 16h wochentags am meisten los. Sozusagen Rush-Hour im deutschen Internet.

Laut http://www.de-cix.net/stats/ ist zwischen 16h und 18h am meisten los, mit einer weiteren Spitze von 20h bis 21h. Diese Daten sind allerdings sehr allgemein.

@ Gérome:

Was Du auch tun könntest, wäre die Aktualisierung der Hitzahlen (sofern dies beim phpBB möglich ist) nur noch stündlich vornehmen zu lassen.
Zudem würde/könnte ein Umstieg auf ein vB3 wahre Wunder bewirken. ^^

mfg

Was ich absolut bestätigen kann. *g*

mfg

Nicht wirklich.

öhm. Was genau meinst Du? Die Anganben, welcher Thread wie oft gelesen wurde etc.?

Könntest Du diese Aussage näher untermauern? So allgemein würde ich dies nämlich nicht glauben. Wir haben 80% aller SQL-Statements überarbeitet und so für größere Belastungen optimiert - es kann sein, dass wir damit ein wenig von der Kompatibilität zu anderen DBs eingebüßt haben, aber das spielt im Moment keine Rolle. So wird unser phpBB spielend mit über 100 Usern fertig, ohne dass uns der Server um unsere Plüsch-Ohren fliegt oder der Seitenaufbau unerträglich langsam wird. Außerdem liebe ich mein phpBB und würde es nur äußerst ungerne gegen ein anderes System tauschen.

Ich sprach kürzlich nach einer Auszeit der DP mit dem Support von all-inkl.com. Sie boten mir an, eine Last-Kontrolle gegen hämmernde HTTP-Anfragen zu installieren. Nach der Auskunft des Support-Mitarbeiters solle nun zum Beispiel durch Site-Grabber keine Chance mehr bestehen, die Serverlast in die bekannten und gefürchteten Höhen zu treiben.
Genützt hat es nichts. Heute - ich möchte sagen 'pünktlich' um 16:00 Uhr - war die Serverlast wieder jenseits der 15. :wall: Ich fürchte, ich muss deren Support so lange nerven, bis die Ursache feststeht.


Grüße,
Gérome

Ich bin kein Experte und es gibt hier sicherlich Leute die zu dieser Thematik weitaus kompetentere Aussagen treffen können als meinereins. Allerdings ist es ein offenes Geheimnis, dass die Datenbankanbindung des phpBB2 schlechter umgesetzt wurde als beim vB3. Zudem sind viele Funktionen, die beim vB3 Standard sind, bei phpBB nur via Mods zu lösen - wenn überhaupt. (was angesicht der Kostenfrage sicherlich verständlich ist)
Sicher lassen sich durch jene Modifikationen diverse Nachteile korrigieren - keine Frage. Aber wer einmal in den Genuss des luxuriösen, vielfältigen und benutzerfreundlichen vB-ACP gekommen ist, der wird phpBB nicht mehr wirklich missen. ;)

mfg

@Silmarillion: ;-) Ich durfte ein VB3 mal 'nen Tag lang "Gast-Administrieren". Das VB ist ohne Zweifel schick und gut, aber ein Umstieg kommt derzeit aus mehreren Gründen nicht in Frage. Nimm's mir bitte nicht übel, aber ich würd' eine phpBB vs. VB3 - Diskussion an dieser Stelle gerne abwürgen. Außerdem ist die DP nicht mehr in allen Punkten mit dem Standard-phpBB vergleichbar [nicht schlechter oder besser, jedoch individueller an unsere Bedürfnisse angepasst].

Als neuen Ansatz protokolliere ich jetzt die Aufrufe kostenintensiver Scripte mit. Suche samt Suchbegriffe sowie die User-Landkarte. (So erfahre ich wenigstens auch gleich, ob es sich lohnt, einen Cache für Letztere zu installieren...)


Nun aber eine gute Nacht,
Gérome

Ohne auf den Jungs von all-inkl rumhacken zu wollen (bin ja auch Kunde dort), aber Managaged Server sind nie wirklich optimiert. Kann ja auch gar nicht sein, schließlich gibts nur ein Server-Image.

Gerade MySql und Apache bieten viel Raum für Optimierungen auf die jeweilige Applikation - das kann man nur machen, wenn man direkten Zugriff auf die Konfiguration hat.

BTW, einen Bytecode-Cacher für PHP habt Ihr auf der Kiste oder nicht? Dringenst empfohlen...

Nein, nicht dass ich davon wüsste. So ein Modul würde doch höchstwahrscheinlich bei phpInfo() verewigt sein, oder? Dort habe ich nur "Zend Engine v1.3.0" gefunden.


Hast Du vielleicht Empfehlungen für mich? Dann lasse ich mir von denen ein Angebot machen.


Grüße,
G.

Ich würde auf Turck MM Cache setzen, wenn auf der Kiste PHP < 5 läuft, ode den PHP Accelerator.

Laufen die Dinger nun endlich auch mal mit php-cgi (suphp)? Sonst sind sie für mich (und wohl auch viele Shared Webhoster) leider nicht zu gebrauchen, da PHP mit der richtigen User-ID gestartet werden muss, nicht der des Webservers.

Die Dinger klinken sich per ISAPI ein. Eine CGI-Version kann es nicht geben, das wäre dann ein Patch für PHP selbst. Der Zend Optimizer wäre die Wahl für Dich.

Den Zend Optimizer hab ich einmal auf nem Testsystem ausprobiert, leider war danach alles kaputt. Das scheint kein einfacher Patch, sondern vielmehr ein halber Austausch von PHP samt Apache zu sein. Wenn ich mal viel Zeit hab, und neue Hardware nicht doch eine einfachere Option ist, muss ich mir das nochmal anschauen.

Der von PHPA hat mir mal geschrieben, dass FastCGI evtl. unterstützt werden könnte, bin aber noch nicht zum Einlesen gekommen. Kann das stimmen? Was ist FastCGI eigentlich ganz grob?

Ich bin gespannt. All-Inkl.com wird mir den Turck MMCache installieren (kostenlos sogar). Ich kann mir den Hinweis nicht verkneifen: Selbst heute wurde meine Anfrage diesbezüglich in weniger als einer Viertelstunde erledigt. Die Installation des Caches selber wird wohl noch etwas dauern, aber auf ein paar Stunden kommt's mir nun wirklich nicht an.

Jetzt hoff' ich nur, dass die neue Ehe meins Forums und Turck ohne Startschwierigkeiten beginnen wird. Da aber das Standard-phpBB damit scheinbar keine Probleme hat, darf ich guter Hoffnung sein.



Grüße,
Gérome

So. Um 13:00 Uhr war der Cache aktiv. Läuft auch alles wunderbar.

Ich habe mir eben die Liste der 'API' von Turck durchgesehen und bin daraus nicht vollends schlau geworden. Kann ich einzelne PHP-Files vom Cache ausschließen? Das Admin-Verzeichnis zum Beispiel liegt unnötigerweise im Speicher.

Weiß da wer was?




Grüße,
Gérome

Kann ich überhaupt nichts mit anfangen. Wozu soll das gut sein?

PS: Prost Neujahr! :)

mfg

Hallo,

Dir natürlich auch ein frohes neues Jahr. :-) Die PHP-Dateien werden in Form von Bytecode im Speicher behalten. Dadurch entfällt das neue Kompilieren bei jedem Seitenaufruf. Zusätzlich wird der Code noch optimiert. Wie das bei Turck aber genau funktioniert, kann ich Dir leider auch nicht sagen.

Homepage von Turck: http://turck-mmcache.sourceforge.net/index_old.html


Grüße,
Gérome

Wenn das Dingens wirklich so effektiv ist, warum ist es dann nicht bei allen MS besagter Firma Standard? Ich denke mal, wir wissen warum ;-)....Money makes the World go Round *g* ....

Aber gut zu wissen. Sollte mein MS in naher Zukunft in die Knie gehen, werde ich es erst einmal mit "Turck" probieren, bevor ich mir einen größeren Server aufschwatzen lasse. :D

mfg

@ Gerome:

Wie sieht es denn inzwischen bei Dir (nach den Änderungen) aus? Hat sich der Serverload wieder stabilisiert?

Ich frage deshalb, da bei mir in den letzten Tagen (speziell heute) auch immer wieder Lastspitzen von über 20(!) auftreten bzw. aufgetreten sind.
All-inkl. hat zwar den QueryCache aktiviert und einige Parameter verändert - wirklich gebracht hat das aber nichts...eher im Gegenteil..! ;)

Aktuell haben sie wohl einen Serverreset gemacht und betreiben (hoffentlich) noch Ursachenforschung. ^^

Ich weiß, dass ich langfristig nicht umhinkommen werde, auf einen größeren Server umzusteigen. Aber vielleicht können der besagte TurckMM-Cache und weitere 256 MB Speicher diesen Umstieg ja noch etwas hinauszögern!? :D

Mit einem größeren Server werde/würde ich natürlich auch nicht mehr umhinkommen, Werbung zu schalten.

mfg

Ja, der Serverload hat sich prinzipiell stabilisiert. Die exakte Ursche für die damaligen Lastspitzen weiß ich jedoch bis heute nicht. Der Tipp von Sascha mit Turck war genial und hat einiges zur Entspannung beigetragen. Der Server läuft vergleichsweise gut. Hin und wieder gibt es zwar noch Lastspitzen, das liegt dann jedoch daran, dass viele Leute gleichzeitig die Suche benutzen und dgl. - damit kann ich jedoch leben.

Ich ringe noch mit mir, dem Server trotzdem mehr Speicher verpassen zu lassen. Hilfreich wäre es bestimmt, aber 20,- EUR mehr pro Monat für 512 MB sind natürlich auch nicht ohne.

Ich weiß ja nicht, was Du alles auf Deinem Server betreibst, aber eine wichtige Hilfe bei uns war eine Erweiterung, welche alle bei einem Seitenaufbau genutzten SQL-Anweisungen auflistet und 'erklärt' (EXPLAIN SELECT...). Dadurch konnten wir an vielen Schrauben drehen und weitere Geschwindigkeit herausholen.

Diese Woche wird noch ein Cache online gehen, welcher alle Beiträge nach einmaligem Aufruf in HTML-Darstellung abspeichern wird, so dass uns eine weitere Entlastung ins Haus steht. Und die in phpMyAdmin veranlasste Optimierung aller Tabellen hat sich ebenfalls als sehr positiv herausgestellt.



Grüße,
Gérome