tehnokratt.net, kolhoos.ee ja robots.txt

Vaatamata uuele ja kiirele serverile õnnestus täna õhtupoolikul ühel otsimootori-indekseerijal meid rajalt maha võtta: mega.ee suunalt tuli päringute laviin, mis peaks kvalifitseeruma igati DoS (denial of service) rünnakuks. Nimelt: indekseerijad on reeglina konfigureeritud nii, et nad ühele saidile korraga liiga suurt survet ei avaldaks. Paraku loevad nad *.kolhoos.ee alamsaite eraldi veebideks ja võtavad julgesti korraga terve portsu sihikule. Ja kolhoos.ee alla on hulgaliselt prooviks saite loodud (kokku ligemale 900). Kui nad vaid viitsiksid kontrollida IP-aadressi ja avastaksid, et kõik need hitid lähevad ühe ja sama serveri pihta…

Sellega seoses on alates tänasest õhtupoolikust kõigil kolhoos.ee saitidel vaikimisi peal robots.txt fail, mis keelab nuuskuritel nende saitide indekseerimise.

Minule teadaolevalt reaalses kasutuses olevad saidid (nt kaluri.kolhoos.ee, kuku.kolhoos.ee, larko.kolhoos.ee, …) on muidugi indekseerimiseks vabad ning kõigil kolhoosnikutel on voli paluda oma saidilt piirangu mahavõtmist. Paraku toimub see hetkel käsitsi… Kontrolli: kui aadress kujul minu.kolhoos.ee/robots.txt annab tulemuseks vea, siis on sait vaba, muudel puhkudel suletud.

Postitatud rubriiki Arhiiv, kolhoos.ee. Talleta püsiviide. Kommenteerimine ja trackback-viidete lisamine ei ole lubatud.
  • Viimane veerg

    Mina olen Peeter Marvet (pets@tehnokratt.net). Ei saa täielikult välistada, et see siin oli kunagi minu ajaveeb. Kirjapandu ei pruugi väljendada seisu- ega istmekohti. Seoses surutisega esilehe mahtu vähendatud 8%. Lisandub käibemaks, Tallinna elanikel ka müügi- ja paadimaks. Pakendatud gaasikeskkonda. Valmistatud arvutis milles võib leiduda väheses koguses piima- ja pähklitükke. Ei sisalda hüdrogeenitud (transarasvavabasid) taimseid rasvhappeid, sisaldab vahustatud lämmastikku.