[mutex]

hm..

a co radzicie zrobic jak nagle wasze spamy BARDZO intensywnie zaczyna indeksowac np. googlebot, albo bot yahoo i wycina wam caly trafic i macie przez to load 70 na serwerku z 2 prockami ? .. pewnie radzicie czekac.. ale ja czekam juz 4 dni.. a bociki z *.ask.com lyknely juz 4miliony moich spamow.. i w tym czasie zarobki ze stronek z tego serwera spadly dwukrotnie.. czy moze jest jakas magiczna formulka ktora nalezy wstawic do robots.txt zeby bociki troche zwolnily?

[mbojan]

Wycinaj syfiaste boty
Wiem ze jeszcze sa jakies formulki ktore ustawiaja minimalny czas pomiedzmy kolejnymi zapytaniami bota (w kazdym razie wiem ze msnbot ma cos takiego).
A jak nie to poprostu dokup serwery

[xinubu]

albo zmien oprogramowanie servera ( zakladam ze uzywasz apache'a ) na cos lepszego -.- mozesz wydac 300$/rok na licencje enteprise litespeed ( dla 1 servera z 2 prockami ) lub tez dla statycznych plikow uzywac TUXa, rowniez dobry... zobaczysz jak CI sie load zmniejszy...

zgadzam sie z mbojan'em, wycinac syfiaste robociki.. jesli nie interpretuja pliku robots.txt to wywalic ruch za pomoca .htaccesow lub globalnie, dla calego servera, wywalic przy pomocy afp

[mutex]

Yahoo bot chyba nie jest syfiasty.. nie? a to wlasnie yahoo bot mnie dosuje..

generalnie chodzilo o formulki o ktorych mowi mbojan przypuszczam ze takie instnieja ale jakos nie udalo mi sie ich znalezc.. moze ktos rzuci jakis fajny link? serwerek kupowac tylko po to zeby mnie mogl robot zindeksowac..? a pozniej co zrobie z tym serwerem? normalnie ruch jest 100 razy mniejszy;)

wycinac mozna iptablesami.. a jesli chodzi o apache2 to to akurat nie jego wina.. za duzo mam zapytan do mysqla po prostu..

[mbojan]

Yahoo bot chyba nie jest syfiasty.. nie? a to wlasnie yahoo bot mnie dosuje..

Jak sobie nie mozesz poradzic to mozesz zrobic redirecta do mnie ;-)

generalnie chodzilo o formulki o ktorych mowi mbojan przypuszczam ze takie instnieja ale jakos nie udalo mi sie ich znalezc..
moze ktos rzuci jakis fajny link?

msnbot -> http://search.msn.com/docs/siteowner.aspx?...htm&FORM=WFDD#D
slurp -> http://help.yahoo.com/help/us/ysearch/slurp/slurp-03.html

[trakker]

Yahoo bot chyba nie jest syfiasty.. nie? a to
wlasnie yahoo bot mnie dosuje..

Czy to nie przypadkiem Yahoo-MMCrawler ? Jeśli tak to wytnij go natychmiast. Kilka dni temu miałem od niego po 10 requestów na sekundę, a to tylko jakiś denny multimedia crawler. Wycinaj bezpośrednio w Apache'u.