#1
| ||||
| ||||
Spezielle Analyse von LogfilesGuten Morgen, ich bin auf der Suche nach einem Tool zur Logfile-Analyse, welches mir Hinweise für die Ursachen von plötzlichen und kurzzeitigen Last-Spitzen meines Servers geben kann. Im Normalfall bummelt unser Server bei einer Last von '2.5' vor sich hin, jedoch manchmal schießt die Belastung auf über '20' und der Apache hüllt sich für ein paar Minuten in Schweigen und nichts geht mehr. Interessanterweise ist es jedoch nicht so, dass wir zu diesen Zeiten überdurchschnittlich viele Benutzer im Forum hatten - und das macht mich stutzig. Ich hoffe nun, dass ich in den Logfiles des Apachen einen Hinweis auf mögliche Ursachen finden könnte - denn erst, wenn ich diese kenne, kann ich anfangen, phpBB-seitig etwas dagegen zu unternehmen. Gibt es also Tools, die die Logfiles nicht nach allgemeinen Kriterien analysieren (dazu nutze ich awstats), sondern nach Hinweisen für Attacken o.ä. - eben nach möglichen Urachen für Lastspitzen? (Es gibt derzeit keinen Anlass zur Dramatisierung - vermutlich ist die Ursache völlig banal. Nur leider kann man auch nicht mehr ausschließen, dass ein sog. 'Script-Kiddie' einen Weg gefunden hat, unseren Server zu beschäftigen.) winterliche Grüße, Gérome |
#2
| ||||
| ||||
Bevor du bei hohen Zugriffszahlen einen Angriff vermutest, check doch erstmal, ob nicht Google oder MSN dahinterstecken. Deren Bots haben seit kurzem alle paar Tage irgendwas gefressen, dass die völlig durchdrehen und fressen so viel sie nur können. Da kommt am Tag schnell mal die zehnfache Zugriffszahl zusammen. Im HTTP Access-Log einfach zu finden mit dem USer-Agent Googlebot (oder irgendwas mit Google am Anfang) oder msnbot. __________________ Yves Goergen Softwareentwicklung, Fotografie, Webhosting, UNB Components (in Arbeit) |
#3
| ||||
| ||||
Die gängigen Bots erkenne ich im Forum und diese erzugen üblicherweise auch keine solche Last. Wenn wir intensiv durchsucht werden, dann haben wir etwa 80-100 Gäste, die durch Bots entstehen. Zusätzlich zu den normalen Benutzern, liegen wir dann zwischen 120 und 150 Usern. Das ist 'ne Menge, lässt den Server aber nicht vollständig in die Knie gehen, auch wenn die Dauer für die Seitengenerierung natürlich nach oben geht. Ich werde ide Logfiles also mal per Hand kontrollieren - wollte ich eigentlich nicht, aber was soll's. ;-) Grüße, Gérome |
#4
| |||
| |||
Wenn die Maschine nicht gerade über mehr als 2 CPUs verfügt, ist eine Last von 2,5 von vornherein zu hoch. Was läuft denn auch der Maschine noch, außer Apache(?), MySql (?, Version?) und PHP (?, Version?)? Ansonsten schau mal hier: http://www.itst.org/web/238-apache_u...ql_ueber.shtml |
#5
| ||||
| ||||
Hallo Ich klinke mich einfach mal ein weil ich eine Frage habe zur Server Last, ich habe einen MS Server und eine Serverlast anzeige, nur sagen mir die Zahlen nichts gibt es irgendwo Richtwerte was normal ist? Grüße Marcell |
#6
| ||||
| ||||
Hallo Sascha, Zitat:
Und solange unsere Benutzer auch bei 120 Usern gleichzeitig (heute gehabt) im Schnitt weniger als 2 Sekunden auf die Seiten warten müssen, ist die Lage meinem subjektiven Empfinden nach noch erträglich. Zitat:
Geht aus der Config-Zeile etwas Brauchbares hervor? Code: './configure' '--prefix=/usr/share' '--datadir=/usr/share/php' '--bindir=/usr/bin' '--libdir=/usr/share' '--includedir=/usr/include' '--with-_lib=lib' '--with-config-file-path=/etc' '--with-exec-dir=/usr/lib/php/bin' '--disable-debug' '--enable-bcmath' '--enable-calendar' '--enable-ctype' '--enable-dbase' '--enable-discard-path' '--enable-exif' '--enable-filepro' '--enable-force-cgi-redirect' '--enable-ftp' '--enable-gd-imgstrttf' '--enable-gd-native-ttf' '--enable-inline-optimization' '--enable-magic-quotes' '--enable-mbstr-enc-trans' '--enable-mbstring' '--enable-mbregex' '--enable-memory-limit' '--enable-safe-mode' '--enable-shmop' '--enable-sigchild' '--enable-sysvsem' '--enable-sysvshm' '--enable-track-vars' '--enable-trans-sid' '--enable-versioning' '--enable-wddx' '--enable-yp' '--with-bz2' '--with-dom=/usr/include/libxml2' '--with-ftp' '--with-gdbm' '--with-gettext' '--with-gmp' '--with-imap=yes' '--with-iodbc' '--with-jpeg-dir=/usr' '--with-ldap=yes' '--with-mcal=/usr' '--with-mcrypt' '--with-mysql=/usr' '--with-ndbm' '--with-pgsql=/usr' '--with-png-dir=/usr' '--with-readline' '--with-snmp' '--with-t1lib' '--with-tiff-dir=/usr' '--with-ttf' '--with-freetype-dir=yes' '--with-xml' '--with-xpm-dir=/usr/X11R6' '--with-zlib=yes' '--with-qtdom=/usr/lib/qt3' '--with-gd' '--with-openssl' '--with-curl' '--with-imap-ssl' '--enable-xslt' '--with-xslt-sablot' '--with-iconv' '--with-mm' '--with-apxs=/usr/sbin/apxs' 'i586-suse-linux' Mehr als 'www.delphipraxis.net' hat der Server nicht zu tun. Da liegen noch eine private Homepage sowie ein Rollenspiel-Forum, die aber jeweils keine nennenswerte Anzahl an Hits haben. Zitat:
|
#7
| |||
| |||
Die Load/Last gibt an, wieviele Prozesse pro Minute im Durchschnitt laufen. Eine Ein-Prozessor-Maschine kann nur einen Prozess gleichzeitig abarbeiten. Laufen mehrere Prozesse, muss der Rechner multitasken, also swappen. Das wiederum sorgt dafür, das anstehende Prozesse nach hinten verschoben werden, das führt zu noch mehr Swapping, und so weiter und so fort. Gerome, wie siehts mit Mail-Servern aus? DNS? FTP? Wenn Du kannst, poste mal die Ausgabe von 'ps -aux' - vorausgesetzt Du hast Zugang als Root zeigt dieser Befehl alle Tasks, die im System laufen. |
#8
| ||||
| ||||
Zitat:
Die Serverlast von 2,5 würde ich übrigens nicht allzu hoch bewerten, da diese nicht wirklich aussagekräftig ist. (Schwachstelle KAS.....) PS: Hast Du schon einmal über eine Speichererweiterung (512er Riegel) nachgedacht? mfg __________________ Christian Forum rund um das Thema Fußball: Fanlager.de Forum rund um das Thema Fantasy: Fantasy-Foren.de Forum rund um das Thema Alternative Musik: Alternative-Musik-Forum.de |
#9
| |||
| |||
Was hat das KAS mit der Load zu tun bzw. warum macht KAS die Last-Angabe unbrauchbar? Hast Du einen Server bei all-inkl, Christian? |
#10
| ||||
| ||||
Zitat:
mfg __________________ Christian Forum rund um das Thema Fußball: Fanlager.de Forum rund um das Thema Fantasy: Fantasy-Foren.de Forum rund um das Thema Alternative Musik: Alternative-Musik-Forum.de |
#11
| ||||
| ||||
@itst: Also mit 'ps -aux' habe ich leider kein Glück - habe ja auch keine root-Rechte auf diesem Server. Ob da DNS-Dienste etc. laufen, kann ich nicht sagen. @Silmarillion: Inwiefern hängt das KAS mit der Angabe der Server-Last zusammen? Und ja, über eine Speichererweiterung habe ich nachgedacht. Wenn ich wüsste, dass dies der Flaschenhals ist, dann würde ich sofort einen 512er-Riegel in Auftrag geben. Doch das Monitoring liefert mir keine Daten hinsichtlich des RAMs. Ich sehe halt nur die Last-Spitzen, die den Server aus den Latschen hauen (s. Attachment #1) sowie den Traffic mit seinen Spitzen (s. Attachment #2) - ich biete keine Downloads an und aus den HTTP-.Logfiles gehen diese Spitzen nicht hervor. Im Normalfall stellen 150 User auch keine unüberwindbare Herausforderung für den Server dar. Ob die EMail-Funktion des phpBB eine Last erzeugen kann, wenn z.B. wer einen Beitrag in einem Thread schreibt, den viele abonniert haben und dann die Benachrichtigungs-Mails rausgeschickt werden? G. |
#12
| |||
| |||
Versuchs mal mit 'top'. Da siehst Du auch den Speicherverbauch. Noch besser geht das mit 'free'. Sag mal, das zweite Bild, ist das die Load? Weia. Wenn die Maschine nur 256 MB RAM hat, ist das mit ziemlich hoher Sicherheit _der_ Flaschenhals. MySql ist zwar vergleichsweise klein im RAM, aber es ist ja nicht allein im Speicher. Da ist ein Apache, der nicht gerade kleinlich mit RAm umgeht, und da sind zig andere Prozesse, die auch was abhaben wollen. Ergebnis: Swapping, hohe Last, mehr Swapping, höhere Last, ... Ein Upgrade auf 512 MB ist dringend angeraten! Der nächste Flaschenhals ist wahrscheinlich die Festplatte, aber bis dahin ist noch Luft |
#13
| ||||
| ||||
@ Gérome: Woraus resultiert diese Diskrepanz zwischen den normalen und den Lastzeiten? Hast Du jeden Tag um XX uhr eine solch hohe Anzahl an Usern auf dem Board, oder liegen die Ursachen hierfür woanders? PS: Selbst wenn 100 gereggte und 100 Bots gleichzeitig unterwegs wären, sollte/dürfte die Auslastung nicht regelmäßig auf 9-10 hochgehen. Akzeptabel wären gerade noch 5 - alles andere wird kritisch. Allerdings habe ich Dir ja schon geschrieben, dass die Anzeige des KAS nicht unbedingt für bare Münze genommen werden kann. Da Du jedoch die Serverlast zu spüren bekommst, scheint es - in der Tat - diverse Probleme zu geben. Tipp: Setze Dich doch einfach einmal mit der Hotline Deines Hosters in Verbindung. Die sollten Dir exaktere Angaben/Empfehlungen geben können. Anmerkung: bei mir lädt Deine Seite überaus schnell. mfg __________________ Christian Forum rund um das Thema Fußball: Fanlager.de Forum rund um das Thema Fantasy: Fantasy-Foren.de Forum rund um das Thema Alternative Musik: Alternative-Musik-Forum.de |
#14
| |||
| |||
Zitat:
|
#15
| ||||
| ||||
Zitat:
Zitat:
Zitat:
Grüße, Gérome |
#16
| ||||
| ||||
Zitat:
Die Verantwortung und der Aufgabenbereich für den Server sind in Deinem Fall klar verteilt und liegen bei all-inkl. Schon deshalb werden und müssen sie diesem Phänomen der Lastzeiten auf die Spur kommen bzw. nachgehen. PS: Am Speicher selbst dürfte es eigentlich nicht liegen. Lasse Dir da nicht voreilig was aufschwatzen. 128 MB würden ohnehin nicht sooo viel bewirken. Wenn überhaupt, dann wären wohl 512 zusätzliche MBs angebracht. mfg __________________ Christian Forum rund um das Thema Fußball: Fanlager.de Forum rund um das Thema Fantasy: Fantasy-Foren.de Forum rund um das Thema Alternative Musik: Alternative-Musik-Forum.de |
#17
| |||
| |||
Hi Gérome, ich hab auch einen Managed Server bei all-inkl.com (aber leider nur L ) aber als ich mir den Load der DP angeschaut habe, ist mir aufgefallen, dass ich auch zu dieser Zeit einen großeren Load habe, als sonst... (siehe Anhang). Zwar nicht einen so hohen, aber er ist da Gruß Christopher |
#18
| ||||
| ||||
*huch* [Die Melodie von Akte-X spielt leise im Hintergrund] Ich habe gestern bei all-inkl.com angefragt und deren Schweigen interpretiere ich mal so, dass sie daran arbeiten. ;-) Oder es liegt einfach daran, dass Wochenende ist und solche Aufgaben nicht vom normalen Wochenend-Support übernommen werden - wie auch immer, auf ein paar Tage hin oder her kommt es mir jetzt auch nicht an, sofern die Ursache für die Lastspitzen am Ende gefunden werden kann. Grüße, Gérome |
#19
| ||||
| ||||
Sodala. 2 Emails mit dem Support später.... Zuerst waren die CronJobs im Verdacht. Diese sind im Vergleich zu normalen Scripts hinsichtlich ihrer Laufzeit weniger Restriktionen unterlegen und sind oftmals die Ursachen für Lastspitzen. Um die DP zu betreiben, sind 3 Jobs nötig und alle laufen sie nachts, können als mit den Lastspitzen tagsüber nichts zutun haben. Wir sind nun so verblieben, dass sie den Server im Auge behalten und ich anrufe, wenn die nächste Lastspitze auftritt. Dann werden sie den Server im Idealfall während der Last unter die Lupe nehmen. Zwar wäre mir eine unmittelbare Behebung des Problemes lieber gewesen, aber auch mit dieser Lösung kann (und muss :roll: ) ich leben. Es bleibt also weiter spannend. ;-) Grüße, Gérome |
#20
| ||||
| ||||
Meistens um 15-16 Uhr ist mein Datenbankserver (WebPrivat XXL und WebPrivat L) down was zu den schonmal berichteten Problemen führt.. Komisch, auf dem Bild konnte ich die Leistungsspitze bei 15:21 entdecken. Zufall?! |
#21
| |||
| |||
Klar kann man solche Aussagen nicht unbedeingt verallgemeinern, aber auf meinen Webs ist zwischen 14h und 16h wochentags am meisten los. Sozusagen Rush-Hour im deutschen Internet. Laut http://www.de-cix.net/stats/ ist zwischen 16h und 18h am meisten los, mit einer weiteren Spitze von 20h bis 21h. Diese Daten sind allerdings sehr allgemein. |
#22
| ||||
| ||||
@ Gérome: Was Du auch tun könntest, wäre die Aktualisierung der Hitzahlen (sofern dies beim phpBB möglich ist) nur noch stündlich vornehmen zu lassen. Zudem würde/könnte ein Umstieg auf ein vB3 wahre Wunder bewirken. mfg __________________ Christian Forum rund um das Thema Fußball: Fanlager.de Forum rund um das Thema Fantasy: Fantasy-Foren.de Forum rund um das Thema Alternative Musik: Alternative-Musik-Forum.de |
#23
| ||||
| ||||
Zitat:
mfg __________________ Christian Forum rund um das Thema Fußball: Fanlager.de Forum rund um das Thema Fantasy: Fantasy-Foren.de Forum rund um das Thema Alternative Musik: Alternative-Musik-Forum.de |
#24
| |||
| |||
Zitat:
|
#25
| ||||
| ||||
Zitat:
Zitat:
Ich sprach kürzlich nach einer Auszeit der DP mit dem Support von all-inkl.com. Sie boten mir an, eine Last-Kontrolle gegen hämmernde HTTP-Anfragen zu installieren. Nach der Auskunft des Support-Mitarbeiters solle nun zum Beispiel durch Site-Grabber keine Chance mehr bestehen, die Serverlast in die bekannten und gefürchteten Höhen zu treiben. Genützt hat es nichts. Heute - ich möchte sagen 'pünktlich' um 16:00 Uhr - war die Serverlast wieder jenseits der 15. :wall: Ich fürchte, ich muss deren Support so lange nerven, bis die Ursache feststeht. Grüße, Gérome |
Stichworte |
- |
Ähnliche Themen | ||||
Thema | Autor | Forum | Antworten | Letzter Beitrag |
Spezielle Schriftfarbe für Benutzergruppen? vB | Snake | Web Design und Grafik | 7 | 09.12.2004 22:37 |
Analyse von Logfiles | Gérome | Webspace, Webserver, Domains | 3 | 26.09.2003 09:28 |