Diskussion: Mod_rewrite sinnvoll??

Mod_Rewrite macht - wie schon in vielen anderen Themen hier von mir erwähnt - auf jeden Fall sind. Vorallem in Foren kann es zu enormen Besucheranstürmen führen, da Suchmaschinen die Beiträge besser indizieren. Gleiches gilt auch für normale Websites.

Ich habe gerade mit einem Kollegen von mir gesprochen.

Bei einem Forum muss man sehr aufpassen wenn man mod_rewrite verwendet.

Aus Erzählungen kann zB der Google-Bot bis zu 3 darin wüten, was den Server etwas lamm legt.

Durch das Gespräch, bin ich auf folgende Idee gekommen.
Es macht Sinn nur einzelne Sektionen über mod_rewrite zu führen.
Wobei man eine klare Grenze ziehen muss
Alles bis zum Beitrag per mod, und dann Funktionen wie "Beitrag-Melden", ... bzw auch die User-Infos nicht mehr, so endet der BOT beim Beitrag, bzw. verfolgt dann nur mehr externe Links weiter.

So ist die Belastung nicht so groß.
bzw. macht es keinen Off-Topic forum zu indizieren.

Ich persönlich finde ebenfalls, dass der Einsatz von mod_rewite aus Sicht des Admins eines Forums Sinn macht. Den wesentlichen Grund hat codemonkey hier eben geschildert.
Ein phpBB komplett auf mod_rewrite umzustellen ist meiner Ansicht nach schon ein Stückchen Arbeit ... je nachdem, wie tief man im Code drinsteckt. Es hat bei uns ca. 1 vollen Tag gekostet, diese Funktionalität einzubauen, ohne im Endeffekt einen Performce-Verlust zu haben.

Im Endeffekt hat es sich meiner Meinung nach für uns gelohnt. Wir wurden alleine in der ersten November-Hälfte weit über 30.000 mal in den Ergebnislisten von Suchmaschinen angeklickt.


Grüße,
Gérome

Wenn du auf deiner Seite nur ein Board hast, hast nicht einmal die 50% sondern nur die Start-seite.

Wie ich schon oben beschrieben habe, sollte man nicht das gesamte Board damit versehn, sondern nur Teile.

Das macht auch Sinn, so wie es Gérome beschrieben hat.

Mit der Session gebe ich dir schon recht, in der Hinsicht muss man sich was Überlegen.
Da aber Bots keine Cookies zulassen wird es etwas schwer sein etwas zu finden.

[PS]
wobei ich mir ned sicher bin, ob Google-Bots ned so gescheit sind, und die Session beim Indizieren entfallen lassen

Das mit den SIDs ist ja alles richtig. Aber jetzt kommen wir zu der Frage, welche Folge-Arbeiten dann noch nötig werden, um mit den Bots fertig zu werden.
Mein Tip sind von der Foren-Softare dynamisch generierte Meta-Tags, die in Abhängigkeit des angezeigten Inhaltes ein entsprechendes Verhalten der Bots hervorrufen.

"mod_rewrite" alleine wegen der Bots zu verteufeln halte ich für falsch.



Grüße,
Gérome

@Gérome

Was meinst du mit:
Kannst du dazu ein Beispiel bringen?

[ps]
Habe gerade bei dir auf der Seite gelesen:

Meinst du das?

Jupp, kann ich und mache ich hiermit auch. ;-)

Also: Die in diesem Zusammenhang relevanten Meta-Tags sind ja "robots" und "revisit-after".
Hier generieren wir z.B. für die Foren-Übersicht und die einzelnen Rubriken Tags wie z.B.

<meta name="revisit-after" content="7 days">
<meta name="robots" content="INDEX,FOLLOW">

Hier wollen wir ja, daß die Bots wiederkommen und sich die neusten Beiträge "reinziehen".

Gegenbeispiel wären die Seiten, die alte Thread anzeigen. Hier generieren wir z.B. die folgenden Tags:

<meta name="revisit-after" content="120 days">
<meta name="robots" content="NOFOLLOW">

Durch diese dynamischen Tags (mit denen man ein wenig herumexperimentieren muss) schaffen wir es, die Flut an Bots verblüffend gezielt zu steuern. (Und alles voll über das Admin-Panel konfigurierbar )


Grüße,
Gérome

Klingt interessant, werde ich mir überlegen

Habt ihr erfahrungen mit den Bots gemacht, ich meine in Richtung indexierung mit SID

So wie es ciruZ geschrieben hat?

Darf ich mal in die Runde die Frage schmeissen, ob jemand ein Tool kennt, das meine Seiten abgrast und aus jeder dynamischen php Datei eine HTML Datei macht und in einem extra Ordner speichert?

Um ehrlich zu sein: Nein. In den Anfangs-Zeiten, als wir auch Bots noch die SIDs präsentierten, sind wir so gut wie nicht indexiert worden. Wir hatten in einem ersten Schritt für Bots die SIDs entfernt und sich auch denn erst in nennenswertem Umfang von den Bots besucht worden.
Erst nach dem Einsatz von mod_rewrite sind dann die oben beschriebenen Änderungen mit den Meta-Tags nötig geworden.



Grüße,
Gérome

Bringe eine lokale Version Deiner Site zum Laufen und lasse einen Webgrabber darauf los. (Kannst Du natürlich auch mit Deinem Live-System machen, aber lokal dürfte es drastisch schneller gehen.)


Grüße,
Gérome

Zum Thema Bots folgendes: Bots besitzen ein Problem mit der Sessionid, weswegen nicht alle Bots in der Lage sind Foren zu indizieren. Andere dynamische Webseiten machen in der Regel keine Probleme, was zumindest für Google gilt.

Aber nicht jedes Forum ist somit unzugänglich für Bots, da beispielsweise mein Forum keine Sessionids den Gästen zuweist und so werden alle Seiten indiziert, auch "Beitrag melden" etc.

Aus diesem Grund ist der Einsatz von Mod_Rewrite nicht unbedingt nötig für die Indizierung von Foren.


Aber zur eigentlichen Frage: Ich würde es gerne sehen, wenn wirklich Expertenforen indiziert werden, da ich mir einfach sorgen mache, dass man schlussendlich auf irgendwelchen Allroundboards landet, wo das Problem dann nichr gelöst wird. Mir fällt das immer wieder mit Spotlight auf, da ich immer wieder dort lande.

Aber dies ist natürlich kaum umzusetzen

Warum den Bots überhaupt eine SID zuweisen??

Die wichtigsten Bots (Inktomi, Google usw.) lassen sich über HTTP_USER_AGENT oder der IP identifizieren. Mit den Infos kann man SID Vergabe ohne Probleme unterdrücken.

Die unwichtigen lassen sich übrigends auch erkennen

Bei mir sind teilweise auch 30 bis 40 Google Bots unterwegs, jedoch indizieren sie alle andere Bereiche der Seite. Sprich keine Seite wird zweimal aufgerufen.

Inktomi - Ist der eigentlich so wichtig? Ich sehe ihn permanent bei mir im Forum rumlungern, allerdings ohne wirkliches Resultat.

Ich denke mal mein Archiv hat genug Stoff für die Bots

Das gute an mod_rewrite ist das das Forum indexiert wird und die Benutzer nicht erst übers Archiv gehen müssen.
Sobald ich ne neue Version rausbringe werde ich mir die Sache mit mod_rewrite überlegen. Momentan sind knapp 30 Bots in meinem Forum unterwegs... Sicherlich generieren die Traffic, aber wenn auch nur 10 Besucher über Google kommen dann ist es das wert

Inktomi gehört zu Yahoo und sammelt Daten für Yahoo, Overture, MSN und anderen Suchmaschinen.

Vielen Dank für die Informationen, aber erinnere ich mich nicht richtig, dass Yahoo auf Google setzt?

Hab bis gestern noch nie was von mod_rewrite gehört.

Aber wirklich geile Sache, ich habs jetzt auch so gemacht

Yahoo hat vor einiger Zeit Overture gekauft, um wieder eigenständig zu werden und den Gewinn zu maximieren.

Overture selbst beliefert andere Suchmaschinen mit Ergebnisse und verkauft die Spitzenpositionen in den Ergebnissen.

Altavista, MSN usw. werden so beliefert.

Edit: Overture selbst bekommt die Daten von Inktomi.

Mehrere Leute haben den Traffic angesprochen.
Sicher machen BOT's wenn sie mal wüten, eine menge Traffic.

Aber wie ich schon oben beschrieben habe, sollte man nur Teile eines Forums indizieren.
d.h. bis zu einer Grenze und ned weiter.
So das das Beispiel von Reimer ned auftretten kann:
@DaddyCool
Danke für den Tip -> Den Bot keine SID zuweisen.

Meiner Meinung nach schlummer in speziellen Foren ein großes Wissen.
Nur leider kann man über Suchmaschinen ned drauf zugreifen, da diese nicht indiziert werden.

Ja, das mit dem doppelt stimmt wohl...

Sucht mal @ google nach "streetbal" ohne "
Der obere Link führt in mein Archiv, der 2. Link ins Thema.

@ vBulletin Archiv: http://www.vbulletin.com/forum/archive/index.php/

@ciruZ

Ich weiß jetzt was du meinst.

du exportiert es ned als HTML, sondern schummelst es per mod_rewrite dem Bot vor

Wobei es ein eigenes Tpl-Set ist.

die Idee is nett

so nach dem hier nun gefachsimpelt wurde, möchte ich schon mal wissen was mod_rewrite ist und wie man das nun in ein vb einbaut!?

@paridus

Mittels mod_rewrite kannst du Urls umschreiben.

d.h: http://.../artikel/124.html
wird umgewandelt und er ruft dann
artikel.php?ID=124
auf

Wobei die Url oben stehn bleibt.

Die Regeln und weiterverarbeitung kannst du selbst bestimmen.

Wobei das Modul installiert / freigeschalten sein muss, bzw der Server auch htaccess unterstützen muss.

Wie weit das jetzt im VB eingebaut ist, kann ich dir leider ned sagen.