tehnokratt.net, kolhoos.ee ja robots.txt

Vaatamata uuele ja kiirele serverile õnnestus täna õhtupoolikul ühel otsimootori-indekseerijal meid rajalt maha võtta: mega.ee suunalt tuli päringute laviin, mis peaks kvalifitseeruma igati DoS (denial of service) rünnakuks. Nimelt: indekseerijad on reeglina konfigureeritud nii, et nad ühele saidile korraga liiga suurt survet ei avaldaks. Paraku loevad nad *.kolhoos.ee alamsaite eraldi veebideks ja võtavad julgesti korraga terve portsu sihikule. Ja kolhoos.ee alla on hulgaliselt prooviks saite loodud (kokku ligemale 900). Kui nad vaid viitsiksid kontrollida IP-aadressi ja avastaksid, et kõik need hitid lähevad ühe ja sama serveri pihta…

Sellega seoses on alates tänasest õhtupoolikust kõigil kolhoos.ee saitidel vaikimisi peal robots.txt fail, mis keelab nuuskuritel nende saitide indekseerimise.

Minule teadaolevalt reaalses kasutuses olevad saidid (nt kaluri.kolhoos.ee, kuku.kolhoos.ee, larko.kolhoos.ee, …) on muidugi indekseerimiseks vabad ning kõigil kolhoosnikutel on voli paluda oma saidilt piirangu mahavõtmist. Paraku toimub see hetkel käsitsi… Kontrolli: kui aadress kujul minu.kolhoos.ee/robots.txt annab tulemuseks vea, siis on sait vaba, muudel puhkudel suletud.

Postitatud rubriiki Arhiiv, kolhoos.ee. Talleta püsiviide. Kommenteerimine ja trackback-viidete lisamine ei ole lubatud.