Monet verkkosivustojen ylläpitäjät ovat epävarmoja. Ilmeisesti sinulla on ehdottomasti oltava tiedosto nimeltä robots.txt. Mikä se on?
Windows + Linux / Englanti / avoin lähdekoodi. Jos sinulla on kotisivu, haluat yleensä löytää sinut. On suurta turhautumista, kun oma sivusi ei näy Googlessa. Tämä saattaa johtua robots.txt -tiedostosta. Mutta vain jos se on siellä. Tämä tiedosto voi tehdä vain yhden asian: kieltää.
Robots.txt -tiedostossa voit estää automaattisia ohjelmia, jotka selaavat Internetiä ympäri vuorokauden, pääsemästä sivuillesi. Voit julistaa kiellon yleisesti kaikille näille tai tietyille roboteille. Voit estää sivusi kokonaan tai vain tietyillä alueilla.
Jos tiedostoa ei ole olemassa, kieltoja ei ole. Sivusi ovat avoinna kaikille hakukoneille. Jos et vieläkään näy Googlessa, herää täysin eri kysymys: Oletko jo rekisteröinyt sivusi? Paras asia on tehdä se heti. Kirjoita osoite vain tähän:
https://www.google.com/webmasters/tools/submit-url
Tätä varten sinun on kirjauduttava sisään Google -tiliisi.
Jotta puuttuva robots.txt -tiedosto olisi ongelma, palvelin on myös määritettävä väärin. Sitten robotti voisi yrittää käyttää tiedostoa ja kohdata epätavallisia virheilmoituksia, jolloin prosessi keskeytyy. Mutta tämä tapaus on hyvin epätodennäköinen.
Jos haluat luoda robots.txt -tiedoston, tallenna se verkkopalvelimesi pääkansioon. Jos haluat antaa kaikkien tehdä kaiken, kirjoita siihen seuraava:
Käyttäjä agentti: *
Estä:
Rivi "User-Agent" osoittaa, ketä kielto koskee. * tarkoittaa: kaikille. Rivi "Disallow" ilmaisee kiellon. Jos mitään muuta ei ole, se tarkoittaa, että kaikki sisäänpääsyt ovat sallittuja.
Lisää aiheesta:Verho ylös, tässä tulee verkkosivustosi: Kuinka luoda verkkosivusto pienellä vaivalla
