Zur Boardunity Forenstartseite

Zurück   Boardunity & Video Forum » Technik » Suchmaschinenoptimierung (SEO) & -Marketing (SEM)
Googlebot :)

Googlebot :)

Antwort
 
LinkBack Themen-Optionen Thema bewerten
  #1  
Alt 12.08.2003, 22:42
Benutzerbild von MrNase
Mitglied
  
Registriert seit: 06.2003
Ort: /
Beiträge: 2.639

Googlebot :)

Eigentlich mehr ein Sammelthema

Welche Erfahrungen habt ihr mit Bots gemacht?

Momentan sieht meine Onlineanzeige so aus:

Zitat:
Gast Aufenthaltsort unbekannt: /v2/archiv/topic/578-1.html? 22:38 crawler11.googlebot.com
Gast Aufenthaltsort unbekannt: /v2/archiv/topic/387-1.html? 22:31 crawler13.googlebot.com
Gast Aufenthaltsort unbekannt: /v2/archiv/topic/843-1.html? 22:29 crawler14.googlebot.com
Gast Aufenthaltsort unbekannt: /v2/archiv/topic/246-1.html? 22:32 crawler11.googlebot.com
Gast Aufenthaltsort unbekannt: /v2/archiv/topic/754-1.html? 22:29 crawler10.googlebot.com
Gast Aufenthaltsort unbekannt: /v2/archiv/topic/1112-1.html? 22:32 crawler10.googlebot.com
Gast Aufenthaltsort unbekannt: /v2/archiv/topic/894-1.html? 22:29 crawler13.googlebot.com
Gast Aufenthaltsort unbekannt: /v2/archiv/topic/61-1.html? 22:31 crawler12.googlebot.com
Gast Aufenthaltsort unbekannt: /v2/archiv/topic/1067-1.html? 22:30 crawler13.googlebot.com
Gast Aufenthaltsort unbekannt: /v2/archiv/topic/602-1.html? 22:31 crawler13.googlebot.com
Gast Aufenthaltsort unbekannt: /v2/archiv/topic/74-1.html? 22:32 crawler14.googlebot.com
Gast Aufenthaltsort unbekannt: /v2/archiv/topic/1096-1.html? 22:32 crawler13.googlebot.com
Gast Aufenthaltsort unbekannt: /v2/archiv/topic/382-1.html? 22:39 crawler12.googlebot.com
google mag mich
  #2  
Alt 12.08.2003, 22:45
Benutzerbild von Frederic Schneider
WoltLab Holzmichl
  
Registriert seit: 07.2003
Ort: Eschborn
Beiträge: 1.287
na ja kommt auf die seite drauf an
auf meiner einen page 26 besuche alleine vom googlebot in diesem monat.... (ganze page aber, auf der homepage ist nur ein selbstprogrammierter mini forum vom freund drauf).

__________________
 Frederic Schneider
WoltLab Team / WoltLab Wiki / GamePorts / Frederic Schneider / neuer-patriotismus.de
  #3  
Alt 12.08.2003, 22:50
Benutzerbild von MrNase
Mitglied
  
Registriert seit: 06.2003
Ort: /
Beiträge: 2.639
Ging von Foren aus
(Forenscout.de --> Foren --> Forenbesitzer -->... )

Das hier sind 13 auf einmal und das ist noch nix... Hat einer von euch schonmal den Inktomi-Bot draufgehabt? Der versucht Themen zu öffnen, registriert sich etc.

  #4  
Alt 12.08.2003, 23:15
Boardunity Team
  
Registriert seit: 12.2001
Beiträge: 1.624
Meine Robots.txt sieht jetzt so aus:

Zitat:
User-agent: TurnitinBot
Disallow: /
User-agent: Googlebot-Image
Disallow: /
User-agent: Black Hole
Disallow: /
User-agent: Titan
Disallow: /
User-agent: WebStripper
Disallow: /
User-agent: NetMechanic
Disallow: /
User-agent: CherryPicker
Disallow: /
User-agent: EmailCollector
Disallow: /
User-agent: EmailSiphon
Disallow: /
User-agent: WebBandit
Disallow: /
User-agent: EmailWolf
Disallow: /
User-agent: ExtractorPro
Disallow: /
User-agent: CopyRightCheck
Disallow: /
User-agent: Crescent
Disallow: /
User-agent: Wget
Disallow: /
User-agent: SiteSnagger
Disallow: /
User-agent: ProWebWalker
Disallow: /
User-agent: CheeseBot
Disallow: /
User-agent: ia_archiver
Disallow: /
User-agent: ia_archiver/1.6
Disallow: /
User-agent: Alexibot
Disallow: /
User-agent: Teleport
Disallow: /
User-agent: TeleportPro
Disallow: /
User-agent: MIIxpc
Disallow: /
User-agent: Telesoft
Disallow: /
User-agent: Website Quester
Disallow: /
User-agent: WebZip
Disallow: /
User-agent: moget/2.1
Disallow: /
User-agent: WebZip/4.0
Disallow: /
User-agent: WebSauger
Disallow: /
User-agent: WebCopier
Disallow: /
User-agent: NetAnts
Disallow: /
User-agent: Mister PiX
Disallow: /
User-agent: WebAuto
Disallow: /
User-agent: TheNomad
Disallow: /
User-agent: WWW-Collector-E
Disallow: /
User-agent: RMA
Disallow: /
User-agent: libWeb/clsHTTP
Disallow: /
User-agent: asterias
Disallow: /
User-agent: httplib
Disallow: /
User-agent: turingos
Disallow: /
User-agent: spanner
Disallow: /
User-agent: InfoNaviRobot
Disallow: /
User-agent: Harvest/1.5
Disallow: /
User-agent: Bullseye/1.0
Disallow: /
User-agent: Crescent Internet ToolPak HTTP OLE Control v.1.0
Disallow: /
User-agent: CherryPickerSE/1.0
Disallow: /
User-agent: CherryPickerElite/1.0
Disallow: /
User-agent: WebBandit/3.50
Disallow: /
User-agent: NICErsPRO
Disallow: /
User-agent: Microsoft URL Control - 5.01.4511
Disallow: /
User-agent: DittoSpyder
Disallow: /
User-agent: Foobot
Disallow: /
User-agent: WebmasterWorldForumBot
Disallow: /
User-agent: SpankBot
Disallow: /
User-agent: BotALot
Disallow: /
User-agent: lwp-trivial/1.34
Disallow: /
User-agent: lwp-trivial
Disallow: /
User-agent: Wget/1.6
Disallow: /
User-agent: BunnySlippers
Disallow: /
User-agent: Microsoft URL Control - 6.00.8169
Disallow: /
User-agent: URLy Warning
Disallow: /
User-agent: Wget/1.5.3
Disallow: /
User-agent: LinkWalker
Disallow: /
User-agent: cosmos
Disallow: /
User-agent: moget
Disallow: /
User-agent: hloader
Disallow: /
User-agent: humanlinks
Disallow: /
User-agent: LinkextractorPro
Disallow: /
User-agent: Offline Explorer
Disallow: /
User-agent: Mata Hari
Disallow: /
User-agent: LexiBot
Disallow: /
User-agent: Web Image Collector
Disallow: /
User-agent: The Intraformant
Disallow: /
User-agent: True_Robot/1.0
Disallow: /
User-agent: True_Robot
Disallow: /
User-agent: BlowFish/1.0
Disallow: /
User-agent: JennyBot
Disallow: /
User-agent: MIIxpc/4.2
Disallow: /
User-agent: BuiltBotTough
Disallow: /
User-agent: ProPowerBot/2.14
Disallow: /
User-agent: BackDoorBot/1.0
Disallow: /
User-agent: toCrawl/UrlDispatcher
Disallow: /
User-agent: WebEnhancer
Disallow: /
User-agent: TightTwatBot
Disallow: /
User-agent: suzuran
Disallow: /
User-agent: VCI WebViewer VCI WebViewer Win32
Disallow: /
User-agent: VCI
Disallow: /
User-agent: Szukacz/1.4
Disallow: /
User-agent: QueryN Metasearch
Disallow: /
User-agent: Openfind data gathere
Disallow: /
User-agent: Openfind
Disallow: /
User-agent: Xenu's Link Sleuth 1.1c
Disallow: /
User-agent: Xenu's
Disallow: /
User-agent: Zeus
Disallow: /
User-agent: RepoMonkey Bait & Tackle/v1.01
Disallow: /
User-agent: RepoMonkey
Disallow: /
User-agent: Zeus 32297 Webster Pro V2.9 Win32
Disallow: /
User-agent: Webster Pro
Disallow: /
User-agent: EroCrawler
Disallow: /
User-agent: LinkScan/8.1a Unix
Disallow: /
User-agent: Keyword Density/0.9
Disallow: /
User-agent: Kenjin Spider
Disallow: /
User-agent: Cegbfeieh
Disallow: /


User-agent: *
Disallow: /admin/
Disallow: /images/
Disallow: /mod/
Disallow: /attachment.php
Disallow: /avatar.php
Disallow: /editpost.php
Disallow: /member.php
Disallow: /member2.php
Disallow: /memberlist.php
Disallow: /misc.php
Disallow: /moderator.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /poll.php
Disallow: /postings.php
Disallow: /private.php
Disallow: /private2.php
Disallow: /register.php
Disallow: /report.php
Disallow: /search.php
Disallow: /sendtofriend.php
Disallow: /usercp.php
...scheint aber nicht wirklich zu helfen.

  #5  
Alt 13.08.2003, 11:58
Benutzerbild von Daniel Richter
TVBlogger
  
Registriert seit: 07.2003
Ort: Wilhelmshaven
Beiträge: 2.110
Ich sag nur monat Juli:

17236 Anfragen von Googlebot/2.1 (+http://www.googlebot.com/bot.html)

__________________
 Daniel Richter
Immer ein Besuch wert: TVBlogger.de - Aktuelle Nachrichten aus der Welt des Fernsehens
  #6  
Alt 13.08.2003, 13:52
Benutzerbild von Daniel Richter
TVBlogger
  
Registriert seit: 07.2003
Ort: Wilhelmshaven
Beiträge: 2.110
Ach 133 ist doch gar nichts.
Wenn man das ganze richtig optimiert und ein richtig großes Board hat kommt man auch locker auf 250-300 Bots

__________________
 Daniel Richter
Immer ein Besuch wert: TVBlogger.de - Aktuelle Nachrichten aus der Welt des Fernsehens
Antwort


Stichworte bearbeiten
Stichworte
-

« Foren und Suchmaschinen | index, nofollow oder follow? »

Forumregeln
Es ist dir nicht erlaubt, neue Themen zu verfassen.
Es ist dir nicht erlaubt, auf Beiträge zu antworten.
Es ist dir nicht erlaubt, Anhänge hochzuladen.
Es ist dir nicht erlaubt, deine Beiträge zu bearbeiten.
Gehe zu

Archiv - Nach oben





1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25