Roboti jsou zlo!

Říká se, že lidé nepřečtou tolik stran na internetu jako roboti. Většinu internetového provozu tvoří roboti. Kvůli nim pak pořizujeme drahé výkonné servery a nic nám nepřinášejí. Jen pár z nich má skutečně nějaký přínos. U nás jsou to samozřejmě Google, Seznam a trošku Bing. Tihle jsou i docela hodní a zátěž serveru umí dobře rozložit. Strany hltají celý den ale po malém množství resp malou rychlostí.

A jsou tu jiní tzv zlí. Hltají strany rychleji než 1 strana/1 vteřina. Nezastaví se ani před tím za hodinu přečíst 20.000 stran, žádný limit žádná slušnost. Proč to dělají? I kdyby jen jeden člověk z milionu chtěl mít svého vyhledávacího robota jsou to milionu robotů, kterří každý den prohledávají pokud možno všechny strany na internetu a snaží se je ve své paměti udržet aktuální. Preventivně je neustále procházejí. Nikdy to neustane, naopak jich bude spíše víc.

Po přestěhování na nový server jsem chtěl zkusit co to udělá, když vypnu filtry, které je dokáží odstřihnout od dat. První 3 dny dobrý a pak to začalo. Dokonale vytížený server, který to sice ustál, ale funěl. Normální lidé měli strany zpožděné a čekali až na ně mezi roboty přijde řada.

Možnosti jsou dvě: výkonnější server nebo dát pryč zlé roboty. První je poměrně drahé řešení zvláště pokud by to příjmy nepokryly. U druhé možnosti je potřeba dát pozor, koho odříznu od dat.

Pak jsem ještě filtr vylepšil a zapomněl na jednu chybičku. Okamžitě bylo vidět, že roboti jsou v pozoru a chybičky dokáží využít.