robots.txt für Ausnahmen von SMF anpassen?

User-agent: *
Disallow: /index.php?action=login
Disallow: /index.php?action=register
Disallow: /index.php?action=recent
Disallow: /index.php?action=search
Disallow: /index.php?action=profile
Disallow: /index.php?action=printpage
Disallow: /index.php?action=.xml
Disallow: /random.php
Disallow: /attachments
Disallow: /avatars

Du hast mehrere Möglichkeiten:

• Links zu den Seiten mit rel="nofollow" ausstatten
• Mod Rewrite und dann die Verzeichnisse via robots.txt bzw. htaccess sperren
• <meta name="robots" content="noindex,nofollow"> in dern head der Seiten

So tief möchte ich in die Forensoftware nicht eingreifen

Das sperren der folgenden Angaben:

/random.php
/attachments
/avatars

funktioniert ja. Es geht um das sperren der folgenden Dokumenten aufrufe:

/index.php?action=login
/index.php?action=register
/index.php?action=recent
/index.php?action=search
/index.php?action=profile*
/index.php?action=printpage*
/index.php?action=.xml*



Den Rest sollen die Spider ja spidern


.:.geber.:.

Dann nimm halt <meta name="robots" content="noindex,follow">

Die Frage ist eher ob man das '?' nicht escapen muss damit die Spider es lesen können?!

Wildcards (also *) wird nur von Google unterstützt. Allerdings hällt sich kein Bot 100% an die robots.txt, die Seiten die dort gesperrt sind werden zwar nicht in den Index aufgenommen, aber gespidert werden sie trozdem.
Am besten blendest du so viel wie möglich an Links für Gäste aus, wobei selbst dann die Seiten vom Bot besucht werden wenn sie von einem User mit Google-Toolbar aufgerufen werden. Komplett verhindern das Google auch Seiten spidert die es eigentlich nichts angeht hab ich auch schon mehrmals versucht, aber noch nie geschafft. Hast du einen Sitemaps-Account? Wenn nicht wurde ich das einen anlegen, da bekommst du zumindest mal Informationen was Google spidert und wo es zu fehlern kommt. Die Infos bekommt man auch wenn man keine Sitemap eingereicht hat.

@MrNase:
Das ? muss in der robots.txt nicht escaped werden.