Robots.txt fitxategia, zer da eta nola sortu
Zer da robots.txt fitxategia?
Webguneek eduki ohi duten testu fitxategi bat da. Fitxategi honek Google eta beste bilatzaileei esaten die webguneko zein eduki irakurri dezaketen eta zein ez.
Zergatik arduratu behar naiz robots.txt fitxategia dela eta?
- Gaizki erabiltzen baduzu Googleko zure posizionamendua kaltetu dezakezu.
- Zenbait arazo konpontzeko lagungarria izan daiteke.
- Bilatzaile guztiek (ez soilik Googlek) irakurtzen dute robots.txt fitxategia.
- Bilatzaileak zure webgunera sartzen direnean irakurtzen duten lehen elementua da.
Nire webguneak badauka robots.txt fitxategia?
Probatu ezazu zerorrek. Nahikoa da nabigatzailean zure webgunearen helbidea idaztea, amaieran /robots.txt gehituz. Horrela:
http://www.zuredomeinua.com/robots.txt
Adibidez, gure kasuan:
http://www.codesyntax.com/robots.txt
NotFound edo 404 errorea ematen badizu lasai, ez da ezer gertatzen. Robots.txt fitxategia ez da derrigorrezkoa, eta ez edukitzeak ez zaitu kaltetuko.
Zer esan nahi du robots.txt fitxategian jartzen duenak?
Normalean, bi agindu nagusi ekartzen ditu:
User-agent:
User-agent agindua erabiltzen da zehazteko zein bilatzaileri zuzentzen ari gatzaion. Bilatzaile zehatz jakin baten izena eman dezakegu hemen, baina normalean izarño bat jartzen da, bilatzaile guztiei zuzentzen gatzaizkielako:
User-agent: *
Disallow:
Agindu hau darabilgu bilatzaileei esateko zer ez dugun nahi haiek irakurri eta indexatzea. Direktorio jakin bat zehaztu daiteke, edota eredu zehatz bat jarraitzen duten fitxategiak.
Disallow:
Goiko hau da aukerarik ireki edo malguena, ez dugu eta ezer debekatzen, eta bilatzaileei esaten diegu libre dutela guzti-guztia. Ez badaukazu ezkutatu nahi duzun ezer, hau duzu aukerarik egokiena.
Aldiz, karpeta jakin bat ezkutatu nahi baduzu, bertara iristeko path edo bidea adierazi behar dugu, hasierako barrarekin ( / ), webgunearen erroa esan nahi duena. Beheko adibidearekin gauzazaharrak karpetara sarbidea kentzen diegu bilatzaileei.
Disallow: /gauzazaharrak/
Zergatik behar dugu robots.txt fitxategia?
- Esanguratsuak ez direnez Googlek ikustea nahi ez dituzun atalak badituzu, edo bikoiztutako edukia baldin baduzu.
- Googleren bisitek zure zerbitzaria saturatu ez dezaten. Sarri, blog batek hainbat etiketa baditu, milaka konbinazioko orriak sortu ditzakegu, eta Googleren bisitek zerbitzariaren karga handitu.
Googlen agertzea nahi ez duzun edukia badaukazu badaude aukera hobeak, pasahitzarekin babestea edota noindex etiketa erabiltzea adibidez, ezkutatzea nahi ditugun orri zehatzetan.
Nola moldatu eta gorde dezaket nire robots.txt fitxategia?
Nahikoa duzu zure ordenagailuko testu-editorean (Windowseko "Bloc de notas", kasu) edota eskura duzun tankerako aplikazioan (ez, Word-ak ez du balio) fitxategia sortu eta berau robots.txt moduan gorde eta zure webguneko erro edo karpeta nagusira igotzearekin.
Robots.txt fitxategiei buruz informazio gehiago bilatzea gomendatzen dugu, beste webgune batzuen robots.txt fitxategiak begiratzea eta gehiago ikastea. Gogoan izan nahi gabe bilatzaileei atea itxi diezaiekezula eta egun gutxiren buruan Googletik kanpo geratu zaitezkela.
