„Web Spidering“ ir „Web Crawler“ apibrėžimas

Vorai yra programos (arba automatiniai scenarijai), kurie „nuskaito“ per internetą ir ieško duomenų. Vorai keliauja per svetainės URL ir gali ištraukti duomenis iš tinklalapių, pvz., El. Pašto adresų. Vorai taip pat naudojami informacijos, rastos interneto svetainėse, teikimui paieškos sistemoms.

Vorai, kurie taip pat vadinami „žiniatinklio nuskaitymo programomis“, ieško žiniatinklio ir ne visi yra draugiški.

Šlamšto platintojų „Spider“ svetainės, kuriose galima rinkti informaciją

„Google“, „Yahoo! ir kiti paieškos varikliai nėra vieninteliai, kurie domisi svetainių tikrinimu - taip yra ir sukčiai ir nepageidaujamo e. pašto platintojai.

Žmonės ir kiti automatiniai įrankiai yra naudojami nepageidaujamų laiškų siuntėjams, kad interneto svetainėse rastų el. Pašto adresus (dažnai tai vadinama „derliaus nuėmimu“) ir naudokite juos šlamšto sąrašams kurti.

Vorai taip pat yra įrankis, kurį paieškos sistemos naudoja, kad sužinotų daugiau informacijos apie jūsų svetainę, bet nekontroliuojama, svetainė be instrukcijų (arba „leidimų“) apie tai, kaip tikrinti svetainę, gali kelti didelę informacijos saugumo riziką. Vorai keliauja, naudodamiesi nuorodomis, ir jie yra labai linkę ieškoti nuorodų į duomenų bazes, programų failus ir kitą informaciją, kuriai jūs nenorite, kad jie turėtų prieigą.

Žiniatinklio valdytojai gali peržiūrėti žurnalus, kad sužinotų, ką vorai ir kiti robotai aplankė savo svetaines. Ši informacija padeda žiniatinklio valdytojams žinoti, kas indeksuoja savo svetainę ir kaip dažnai.

Ši informacija yra naudinga, nes ji leidžia webmasteriams sureguliuoti savo SEO ir atnaujinti roboto.txt failus, kad tam tikri robotai ateityje negalėtų nuskaityti jų svetainės.

Patarimai, kaip apsaugoti savo svetainę nuo nepageidaujamų robotų skaitytuvų

Yra gana paprastas būdas išlaikyti nepageidaujamus skaitytuvus iš jūsų svetainės. Net jei nesate susirūpinęs dėl kenkėjiškų vorų, kurie nuskaito jūsų svetainę (nesuprantamas el. Pašto adresas nesaugos nuo daugelio robotų), vis tiek turėtumėte pateikti paieškos sistemoms svarbias instrukcijas.

Visose svetainėse turi būti failas, esantis šakniniame kataloge, vadinamame robots.txt failu. Šis failas leidžia jums žinoti interneto skaitytuvus, kur norite, kad jie peržiūrėtų indeksavimo puslapius (jei konkrečiame puslapio meta duomenys nenurodomi kitaip), jei jie yra paieškos varikliai.

Kaip jūs galite pasakyti norintiems nuskaitymo programoms, kur norite juos naršyti, taip pat galite jiems pasakyti, kur jie negali eiti ir net blokuoti konkrečius robotus iš visos jūsų svetainės.

Svarbu nepamiršti, kad gerai sukomplektuotas failas robots.txt turės milžinišką vertę paieškos sistemoms ir netgi gali būti pagrindinis elementas gerinant jūsų svetainės našumą, tačiau kai kurie roboti robotai vis tiek ignoruos jūsų nurodymus. Dėl šios priežasties svarbu nuolat atnaujinti visą programinę įrangą, įskiepius ir programas.

Susiję straipsniai ir informacija

Dėl informacijos rinkimo dažnumo, skirto nešvariems (šlamšto) tikslams, 2003 m. Buvo priimti teisės aktai, kad tam tikra praktika būtų neteisėta. Šie vartotojų apsaugos įstatymai patenka į 2003 m. CAN-SPAM įstatymą.

Svarbu, kad jums būtų skirtas laikas perskaityti „CAN-SPAM“ įstatymą, jei jūsų įmonė užsiima bet kokiu masiniu paštu ar informacijos rinkimu.

Daugiau apie anti-spam įstatymus ir tai, kaip elgtis su nepageidaujamo e. Pašto siuntėjais, ir ką jūs, kaip įmonės savininkas, negalite atlikti, skaitydami šiuos straipsnius:

• „CAN-SPAM Act 2003“
• CAN-SPAM akto taisyklės nepelno siekiantiems asmenims
• 5 CAN-SPAM taisyklės Mažų įmonių savininkai turi suprasti