Boardunity & Video Forum

Boardunity & Video Forum (https://boardunity.de/)
-   Webspace, Webserver, Domains (https://boardunity.de/webspace-webserver-domains-f28.html)
-   -   Diskussion: Mod_rewrite sinnvoll?? (https://boardunity.de/diskussion-mod_rewrite-sinnvoll-t964.html)

Nev 19.11.2003 15:34

Diskussion: Mod_rewrite sinnvoll??
 
Hi @ll

Ich wollte mal a bissal an Wind hier reinbringen.

Was haltet ihr von mod_rewirte

Macht es sinn, oder viel zu umständlich??

Hat es sinn es in einem Board zu verwenden, und wenn wie, damit alles Eindeutig ist.

Daniel Richter 19.11.2003 15:50

Mod_Rewrite macht - wie schon in vielen anderen Themen hier von mir erwähnt - auf jeden Fall sind. Vorallem in Foren kann es zu enormen Besucheranstürmen führen, da Suchmaschinen die Beiträge besser indizieren. Gleiches gilt auch für normale Websites.

Nev 19.11.2003 15:58

Ich habe gerade mit einem Kollegen von mir gesprochen.

Bei einem Forum muss man sehr aufpassen wenn man mod_rewrite verwendet.

Aus Erzählungen kann zB der Google-Bot bis zu 3 darin wüten, was den Server etwas lamm legt.

Durch das Gespräch, bin ich auf folgende Idee gekommen.
Es macht Sinn nur einzelne Sektionen über mod_rewrite zu führen.
Wobei man eine klare Grenze ziehen muss
Alles bis zum Beitrag per mod, und dann Funktionen wie "Beitrag-Melden", ... bzw auch die User-Infos nicht mehr, so endet der BOT beim Beitrag, bzw. verfolgt dann nur mehr externe Links weiter.

So ist die Belastung nicht so groß.
bzw. macht es keinen Off-Topic forum zu indizieren.

Gérome 19.11.2003 16:05

Ich persönlich finde ebenfalls, dass der Einsatz von mod_rewite aus Sicht des Admins eines Forums Sinn macht. Den wesentlichen Grund hat codemonkey hier eben geschildert.
Ein phpBB komplett auf mod_rewrite umzustellen ist meiner Ansicht nach schon ein Stückchen Arbeit ... je nachdem, wie tief man im Code drinsteckt. Es hat bei uns ca. 1 vollen Tag gekostet, diese Funktionalität einzubauen, ohne im Endeffekt einen Performce-Verlust zu haben.

Im Endeffekt hat es sich meiner Meinung nach für uns gelohnt. Wir wurden alleine in der ersten November-Hälfte weit über 30.000 mal in den Ergebnislisten von Suchmaschinen angeklickt.


Grüße,
Gérome

Nev 19.11.2003 16:23

Zitat:

Original geschrieben von ciruZ
modrewrite = böse. Mach lieber ein Archiv für die suchmaschienen.
Bei modrewrite kommen 30 Google Bots, alle bekommen ne andere Session und alles wird 30 mal indiziert, da jeder ne andere SID hat -> schlechteste, was dir überhaupt passieren kann. Dann lieber nur 50% indiziert.

Wenn du auf deiner Seite nur ein Board hast, hast nicht einmal die 50% sondern nur die Start-seite.

Wie ich schon oben beschrieben habe, sollte man nicht das gesamte Board damit versehn, sondern nur Teile.

Das macht auch Sinn, so wie es Gérome beschrieben hat.

Mit der Session gebe ich dir schon recht, in der Hinsicht muss man sich was Überlegen.
Da aber Bots keine Cookies zulassen wird es etwas schwer sein etwas zu finden.

[PS]
wobei ich mir ned sicher bin, ob Google-Bots ned so gescheit sind, und die Session beim Indizieren entfallen lassen

Gérome 19.11.2003 16:24

Das mit den SIDs ist ja alles richtig. Aber jetzt kommen wir zu der Frage, welche Folge-Arbeiten dann noch nötig werden, um mit den Bots fertig zu werden.
Mein Tip sind von der Foren-Softare dynamisch generierte Meta-Tags, die in Abhängigkeit des angezeigten Inhaltes ein entsprechendes Verhalten der Bots hervorrufen.

"mod_rewrite" alleine wegen der Bots zu verteufeln halte ich für falsch.



Grüße,
Gérome

Nev 19.11.2003 16:29

@Gérome

Was meinst du mit:
Zitat:

Foren-Softare dynamisch generierte Meta-Tags, die in Abhängigkeit des angezeigten Inhaltes ein entsprechendes Verhalten der Bots hervorrufen
Kannst du dazu ein Beispiel bringen?

[ps]
Habe gerade bei dir auf der Seite gelesen:

Code:

        <meta name="revisit-after" content="7 days">       
        <meta name="robots" content="NOFOLLOW">

Meinst du das?

Gérome 19.11.2003 16:39

Jupp, kann ich und mache ich hiermit auch. ;-)

Also: Die in diesem Zusammenhang relevanten Meta-Tags sind ja "robots" und "revisit-after".
Hier generieren wir z.B. für die Foren-Übersicht und die einzelnen Rubriken Tags wie z.B.

<meta name="revisit-after" content="7 days">
<meta name="robots" content="INDEX,FOLLOW">

Hier wollen wir ja, daß die Bots wiederkommen und sich die neusten Beiträge "reinziehen".

Gegenbeispiel wären die Seiten, die alte Thread anzeigen. Hier generieren wir z.B. die folgenden Tags:

<meta name="revisit-after" content="120 days">
<meta name="robots" content="NOFOLLOW">

Durch diese dynamischen Tags (mit denen man ein wenig herumexperimentieren muss) schaffen wir es, die Flut an Bots verblüffend gezielt zu steuern. (Und alles voll über das Admin-Panel konfigurierbar :D )


Grüße,
Gérome

Nev 19.11.2003 16:45

Klingt interessant, werde ich mir überlegen

Habt ihr erfahrungen mit den Bots gemacht, ich meine in Richtung indexierung mit SID

So wie es ciruZ geschrieben hat?

tapete 19.11.2003 16:55

Darf ich mal in die Runde die Frage schmeissen, ob jemand ein Tool kennt, das meine Seiten abgrast und aus jeder dynamischen php Datei eine HTML Datei macht und in einem extra Ordner speichert?

Gérome 19.11.2003 17:15

Zitat:

Original geschrieben von Nev
Habt ihr erfahrungen mit den Bots gemacht, ich meine in Richtung indexierung mit SID

So wie es ciruZ geschrieben hat?

Um ehrlich zu sein: Nein. In den Anfangs-Zeiten, als wir auch Bots noch die SIDs präsentierten, sind wir so gut wie nicht indexiert worden. Wir hatten in einem ersten Schritt für Bots die SIDs entfernt und sich auch denn erst in nennenswertem Umfang von den Bots besucht worden.
Erst nach dem Einsatz von mod_rewrite sind dann die oben beschriebenen Änderungen mit den Meta-Tags nötig geworden.



Grüße,
Gérome

Gérome 19.11.2003 17:16

Zitat:

Original geschrieben von tapete
Darf ich mal in die Runde die Frage schmeissen, ob jemand ein Tool kennt, das meine Seiten abgrast und aus jeder dynamischen php Datei eine HTML Datei macht und in einem extra Ordner speichert?
Bringe eine lokale Version Deiner Site zum Laufen und lasse einen Webgrabber darauf los. (Kannst Du natürlich auch mit Deinem Live-System machen, aber lokal dürfte es drastisch schneller gehen.)


Grüße,
Gérome

TRS 19.11.2003 17:30

Zum Thema Bots folgendes: Bots besitzen ein Problem mit der Sessionid, weswegen nicht alle Bots in der Lage sind Foren zu indizieren. Andere dynamische Webseiten machen in der Regel keine Probleme, was zumindest für Google gilt.

Aber nicht jedes Forum ist somit unzugänglich für Bots, da beispielsweise mein Forum keine Sessionids den Gästen zuweist und so werden alle Seiten indiziert, auch "Beitrag melden" etc.

Aus diesem Grund ist der Einsatz von Mod_Rewrite nicht unbedingt nötig für die Indizierung von Foren.


Aber zur eigentlichen Frage: Ich würde es gerne sehen, wenn wirklich Expertenforen indiziert werden, da ich mir einfach sorgen mache, dass man schlussendlich auf irgendwelchen Allroundboards landet, wo das Problem dann nichr gelöst wird. Mir fällt das immer wieder mit Spotlight auf, da ich immer wieder dort lande.

Aber dies ist natürlich kaum umzusetzen :rolleyes:

DaddyCool 19.11.2003 17:39

Warum den Bots überhaupt eine SID zuweisen??

Die wichtigsten Bots (Inktomi, Google usw.) lassen sich über HTTP_USER_AGENT oder der IP identifizieren. Mit den Infos kann man SID Vergabe ohne Probleme unterdrücken.

Die unwichtigen lassen sich übrigends auch erkennen ;)

Bei mir sind teilweise auch 30 bis 40 Google Bots unterwegs, jedoch indizieren sie alle andere Bereiche der Seite. Sprich keine Seite wird zweimal aufgerufen.

TRS 19.11.2003 19:46

Inktomi - Ist der eigentlich so wichtig? Ich sehe ihn permanent bei mir im Forum rumlungern, allerdings ohne wirkliches Resultat.

MrNase 20.11.2003 08:45

Ich denke mal mein Archiv hat genug Stoff für die Bots ;)

Das gute an mod_rewrite ist das das Forum indexiert wird und die Benutzer nicht erst übers Archiv gehen müssen.
Sobald ich ne neue Version rausbringe werde ich mir die Sache mit mod_rewrite überlegen. Momentan sind knapp 30 Bots in meinem Forum unterwegs... Sicherlich generieren die Traffic, aber wenn auch nur 10 Besucher über Google kommen dann ist es das wert :)

DaddyCool 20.11.2003 12:15

Zitat:

Original geschrieben von Reimer
Inktomi - Ist der eigentlich so wichtig? Ich sehe ihn permanent bei mir im Forum rumlungern, allerdings ohne wirkliches Resultat.
Inktomi gehört zu Yahoo und sammelt Daten für Yahoo, Overture, MSN und anderen Suchmaschinen.

TRS 20.11.2003 14:17

Vielen Dank für die Informationen, aber erinnere ich mich nicht richtig, dass Yahoo auf Google setzt?

tapete 20.11.2003 15:27

Hab bis gestern noch nie was von mod_rewrite gehört.

Aber wirklich geile Sache, ich habs jetzt auch so gemacht :)

DaddyCool 20.11.2003 15:31

Yahoo hat vor einiger Zeit Overture gekauft, um wieder eigenständig zu werden und den Gewinn zu maximieren.

Overture selbst beliefert andere Suchmaschinen mit Ergebnisse und verkauft die Spitzenpositionen in den Ergebnissen.

Altavista, MSN usw. werden so beliefert.

Edit: Overture selbst bekommt die Daten von Inktomi.

Nev 21.11.2003 08:33

Mehrere Leute haben den Traffic angesprochen.
Sicher machen BOT's wenn sie mal wüten, eine menge Traffic.

Aber wie ich schon oben beschrieben habe, sollte man nur Teile eines Forums indizieren.
d.h. bis zu einer Grenze und ned weiter.
So das das Beispiel von Reimer ned auftretten kann:
Zitat:

Aber nicht jedes Forum ist somit unzugänglich für Bots, da beispielsweise mein Forum keine Sessionids den Gästen zuweist und so werden alle Seiten indiziert, auch "Beitrag melden" etc.
@DaddyCool
Danke für den Tip -> Den Bot keine SID zuweisen.

Meiner Meinung nach schlummer in speziellen Foren ein großes Wissen.
Nur leider kann man über Suchmaschinen ned drauf zugreifen, da diese nicht indiziert werden.

MrNase 21.11.2003 17:51

Ja, das mit dem doppelt stimmt wohl...

Sucht mal @ google nach "streetbal" ohne " ;)
Der obere Link führt in mein Archiv, der 2. Link ins Thema.

@ vBulletin Archiv: http://www.vbulletin.com/forum/archive/index.php/

Nev 21.11.2003 19:48

@ciruZ

Ich weiß jetzt was du meinst.

du exportiert es ned als HTML, sondern schummelst es per mod_rewrite dem Bot vor

Wobei es ein eigenes Tpl-Set ist.

die Idee is nett

paridus 26.11.2003 20:14

so nach dem hier nun gefachsimpelt wurde, möchte ich schon mal wissen was mod_rewrite ist und wie man das nun in ein vb einbaut!?

Nev 27.11.2003 12:00

@paridus

Mittels mod_rewrite kannst du Urls umschreiben.

d.h: http://.../artikel/124.html
wird umgewandelt und er ruft dann
artikel.php?ID=124
auf

Wobei die Url oben stehn bleibt.

Die Regeln und weiterverarbeitung kannst du selbst bestimmen.

Wobei das Modul installiert / freigeschalten sein muss, bzw der Server auch htaccess unterstützen muss.

Wie weit das jetzt im VB eingebaut ist, kann ich dir leider ned sagen.


Alle Zeitangaben in WEZ +1. Es ist jetzt 21:04 Uhr.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25