Nur schade, dass unseriöse Bots sich nicht an die robots.txt Datei halten und trotzdem spidern. Noch besser wäre eine .htaccess Datei

1 | Stephan Goeldi | 11.05.2005 um 10:56

Allerdings spielen die unseriösen Bots in dieser Betrachtung ohnehin keine Rolle. Denn wertvoll sind diese Links für den Spammer ja nur, wenn große Suchmaschinen-Spider wie die von Google und Co diese Links indizieren und in die Rankingberechnung mit aufnehmen. Und die halten sich alle an die robots.txt.

Darüberhinaus schafft eine .htaccess-Datei aber auch nur einen passwortgeschützen Zugriff, den man ja eigentlich nicht haben will, wenn man bislang eine öffentliche Statistik hat. Andernfalls müsstest du die Namen aller Bots (der seriösen wie der unseriösen) kennen um sie alle ausschließen aber "normalen" Besuchern den Zugang zu gewähren zu können.

2 | Jan Theofel | 11.05.2005 um 11:07

ähhhh, seit wann ist eine .htaccess-Datei zwingend gleichbedeutend mit Passwortschutz? Man kann damit auch z.B. unliebsame Spammer, die über bekannte Proxies kommen, recht leicht aussperren ;-)

Übrigens: Spammer lesen keine Weblogs, sie spammen sie nur... deshalb ist denen auch ein rel="nofollow" ziemlich schnurzpiepegal...

3 | Pepino | 11.05.2005 um 13:54

Ich schreibe ja auch nicht, dass man mit der .htaccess nur einen Passwortschutz machen kann. Ich sage nur, dass ist das einzige wie man die .htaccess in diesem Fall einsetzen kann. Denn auch wenn du die Sperre über die .htaccess vornimmst, musst du die Bots bei Ihrer Userkennung kennen um sie auszusperren. Das ist natürlich sicherer als die robots.txt aber eben auch deutlich aufwendiger. Und wie gesagt: Ich will ja nur die großen Suchmaschinenspider erwischen, die sich alle an die robots.txt halten.

Im Übrigen gehe ich davon aus, dass Google durchaus auch mit anderen Kennungen ein bischen spidert einfach um Cloaking zu erkennen. Dann hast du mit deiner .htaccess auch ein Problem, wenn Google sich dort als Mozilla ausgibt. Es sei denn sie verwenden solche Zugriffe wirklich nur um Cloaking zu Erkennen und schmeissen die so gespiderten Dateien wieder weg. Aber warum sollten sie das tun.

Zum nofollow-Tag in den Links der Statistiken: Ich denke die meisten Spammer sind sich bewusst, dass ihre Kommentare zu >99% gelöscht werden und ohnehin keinerlei Wirkung erzielen können. Aber warum liefern sie uns denn im Referrer bitte gleich ein Filtermerkmal mit? Daher meine Überlegung, dass der Spammer mir einige hundert SPAM-Kommentare mit seiner URL als Referrer sendet. Selbst wenn nun alle Kommentare gelöscht bzw. beklockt werden, taucht er damit mit hoher Wahrscheinlichkeit in den Statistiken der Top-Referrer auf. Und sobald die Statistiken frei zugänglich sind, erhält er dadurch einen Link auf seine Seite, den die Suchmaschinen berücksichtigen werden.

Er hat also keine erfolgreich verbleibenden Kommentare hinterlassen aber einige Einträge in der Webserverstatistik bekommen. Das sind zwar viel weniger Links, aber immerhin ein paar. Daher will ich den nofollow auch nicht in meinem Kommentaren oder Trackbacks einbauen sondern ich will ihn in die Statistik-Links einbauen.

4 | Jan Theofel | 11.05.2005 um 14:50