Mikä on robots.txt tiedosto ja miksi se on tärkeä hakukoneoptimoinnin kannalta!

 

Robots.robots.robots.robots: Jos et ole tekninen henkilö, termi "robots.txt" kuulostaa luultavasti hämmentävältä ja ehkä jopa hieman pelottavalta. Mutta ei ole syytä huoleen! Tässä blogikirjoituksessa kerromme kaiken, mitä sinun on tiedettävä robots.txt-tiedostosta - mikä se on, miksi se on tärkeä ja miten voit käyttää sitä verkkosivustosi hakukoneoptimoinnin (SEO) parantamiseen. Aloitetaan!

Mikä on robots.txt?

Lyhyesti sanottuna robots.txt on tekstitiedosto, jossa kerrotaan indeksointiroboteille (eli "boteille" tai "crawlereille"), mitkä verkkosivustosi sivut ne saavat crawlata ja indeksoida. Määrittämällä, mitä sivuja voidaan indeksoida ja mitä ei, eli voit hallita sitä, mitkä verkkosivustosi osat näkyvät hakukoneiden tulossivuilla (SERP). Tämä on tärkeää sillä et halua että kaikkia sivustosi sivuja indeksoidaan hakukoneeseen kuten ylläpitosivuja, päällekkäisiä kategoriasivuja.

Missä robots.txt sijaitsee?

Robots.txt-tiedosto sijaitsee verkkosivustosi juurihakemistossa (esimerkiksi osoitteessa www.example.com/robots.txt). Kun robotti vierailee verkkosivustolla, se lukee ensin robots.txt tiedosto ennen kuin se alkaa indeksoida sivustoa. Jos robots.txt-tiedostoa ei ole, robotti jatkaa sivuston indeksointia rajoituksetta. Jos robots.txt-tiedosto on olemassa, robotti lukee sen määrittääkseen, mitkä sivut sen pitäisi indeksoida ja mitkä ei.

Robots.txt-tiedostoa voidaan käyttää hakukoneoptimoinnin (SEO) parantamiseen monin tavoin:

1. Robots.txt voi auttaa estämään hakukonebotteja indeksoimasta tuplasisältö sivuja (eng.duplicate content), mikä voi vahingoittaa hakukoneoptimointi-pyrkimyksiä.
2. Se voi auttaa estämään hakukoneen botteja indeksoimasta ylläpitäjäsivuja tai muita sivuja, joita ei ole tarkoitettu yleisön nähtäväksi, mikä voi auttaa parantamaan verkkosivustosi turvallisuutta ja yksityisyyttä.
3. Se voi auttaa parantamaan verkkosivustosi indeksoitavuutta kertomalla hakukoneiden boteille, mitkä sivut ovat tärkeimpiä ja mitkä voidaan jättää turvallisesti huomiotta. Tämä on erityisen hyödyllistä, jos verkkosivustollasi on paljon heikkolaatuisia tai merkityksettömiä sivuja.
4. Sen avulla voit hallita sitä, kuinka usein hakukoneen botit indeksoivat verkkosivustosi sivuja, mikä voi auttaa vähentämään palvelimen kuormitusta ja säästämään kaistanleveyskustannuksia.
5. Sen avulla voit hallita, indeksoidaanko tietyntyyppisiä tiedostoja (kuten kuvia tai PDF-tiedostoja) vai ei.
6. Lopuksi robots.txt-tiedoston avulla voidaan määrittää verkkosivustosi sivukartan sijainti, mikä voi parantaa hakukoneiden hakukoneiden hakukoneiden löytämisen ja indeksoinnin helpottamiseksi.
7. Robots.txt tiedoston avulla voit säästää sivustollesi varattua Googlen Crawlaus-budjettia tärkeiden sivujen muutosten tarkasteluun.
8. Kunkin sivun indeksointisyvyys (kuinka syvälle sivustosi hakemistorakenteeseen botin sallitaan mennä)

Mitkä on yleisimmät virheet robots.txt tiedoston käyttämisessä?

On muutamia yleisiä virheitä, joita ihmiset tekevät robots.txt-tiedostoa käyttäessään.

1. Yksi niistä on tiedoston syntaksin tarkistamisen unohtaminen.
2. Toinen yleinen virhe on väärien direktiivien käyttäminen. Esimerkiksi "User-agent"-direktiivin käyttäminen "Allow"- tai "Disallow"-direktiivin sijasta.
3. Kolmas yleinen virhe on se, että robots.txt-tiedostolla yritetään estää liikaa. On tärkeää muistaa, että robots.txt-tiedosto ei ole turvatoimenpide, vaan se on vain tapa kertoa hakukoneille, mitä ne voivat ja mitä eivät voi indeksoida sivustollasi. Jos siis yrität estää arkaluonteisia tietoja, sinun on toteutettava muita toimenpiteitä niiden suojaamiseksi.

Wordpress ja robots.txt

WordPress on sisällönhallintajärjestelmä (CMS), jonka avulla voit luoda verkkosivuston tai blogin. Yksi tapa, jolla WordPress auttaa sinua hallitsemaan verkkosivustoasi, on robots.txt-tiedoston käyttö. Tämä tiedosto kertoo hakukoneille ja muille indeksoijille, mitä sivustosi sivuja ne saavat käyttää. Oletusarvoisesti WordPress asettaa robots.txt-tiedoston sallimaan kaikkien vierailijoiden pääsyn sivustollesi. Jos kuitenkin haluat hallita sitä, kuka pääsee näkemään sivustosi, voit muokata robots.txt-tiedostoa siten, että kiellät tiettyjen kävijöiden pääsyn sivustollesi. Voit esimerkiksi kieltää kaikki kävijät tietystä maasta tai kieltää kaikki kävijät, joilla on tietty käyttäjäagentti. Rajoittamalla pääsyä sivustollesi voit vähentää roskapostia ja parantaa sivustosi turvallisuutta.

Yhteenveto robots.txt tiedostosta

Nyt kun tiedät, mikä robots.txt-tiedosto on ja miksi se on tärkeä hakukoneoptimoinnin kannalta, voit alkaa käyttää sitä parantamaan sivustosi sijoitusta Googlen hakutulossivulla. Muista, että jos et ole tekninen henkilö, ei ole syytä huoleen - saatavilla on runsaasti resursseja, jotka auttavat sinua ymmärtämään ja ottamaan robots.txt-tiedoston käyttöön sivustollasi (mukaan lukien oma blogikirjoituksemme). Jos sinulla tulee kysyttävää niin ota vapaasti yhteyttä tai kirjoita kommenttisi artikkeliin.

Artikkelin kirjoittaja:

SEO konsultti

SEO Kari Nieminen

Sillanpäänpolku 8, 24130 SALO

+358400125160

kari@seokarinieminen.com