Smrt robotům, crawlerům

Jeden by řekl, že už není prostor pro zrychlení serveru a přece... odstranit všechny crawlery, kteří kradou stránky a pak z nich vytváří SPAM popř okopírované stránky. Stačí si pohlídat, kolik si stáhne stran řekněme za 5-10 minut. Pokud tisíc, není to běžný uživatel ani kdyby přes jednu IP běžela celá kolej a všichni milovali jednu doménu.

A pokud nějaký robot disponuje 50 IP adresami najednou? Tak to už je opravdu drzost.

Opět jsem upravil filtry přes které dlouhobodě vykradači obsahu neprojdou, tedy pokud jedou ve velkém. Nově jsem přidal amazonaws.com, který mi určitě k ničemu není a nechal si poslat info na mail... pár minut (vteřin) po zavedení se mi zaplavil mail.

Amazone, k čemu bys mi v Česku byl a k čemu by byly české stránky v zahraničí?