0

Importanta fisierului robots.txt

Cu toate ca fisierul robots.txt este un fisier important daca doriti sa aveti o pozitionare cat mai buna in motoarele de cautare, multe site-uri nu dau o asa de mare importanta acestui fisier. Daca nu aveti deja pe site un fisier robots.txt, puteti citi cum sa va creati unul. Iar daca veti pe site acest fisier, puteti verifica daca nu contine erori.

Ce este un robots.txt?

Cand un spider al unui motor de cautare acceseaza un site, se va uita mai intai daca exista acest fisier special in site, numit robots.txt. Acesta contine indicii pentru robotii de cautare (pentru toti sau pentru unii anume), legate de indexarea anumitor pagini din site.

Mai exact, acest fisier este formultat ca o cerere pentru robotii de cautare, pentru a indexa sau, dimpotriva, a ignora anumite pagini din site.

Robots.txt. este un simplu fisier text, nu HTML, care trebuie plasat la radacina site-ului, de forma:

http://www.numedomeniu.ro/robots.txt


Cum se creeaza un fisier robots.txt?

Robots.txt se creeaza foarte simplu: se deschide un editor text si se tasteaza acolo informatiile pentru robotii de cautare. Continutul dintr-un fisier robots.txt se numeste “records” (inregistrare).

O inregistrare de acest fel contine informatii special pentru un motor de cautare. Fiecare inregistrare are doua campuri: linia “User agent” (agent de utilizator) si linia “Disallow” (interzis), ca in exemplul de mai jos:

User-agent: googlebot

Disallow: /cgi-bin/

Acest fisier robots.txt  va permite “googlebot”, spiderul de cautare al Google, sa preia fiecare pagina din site-ul respectiv, cu exceptia fisierelor din directorul “cgi-bin”. Toate fisierele din acest director vor fi ignorate de googlebot.

Exemple de folosire a fisierului robots.txt:

  • Daca fisierul robots.txt este de forma:

User-agent: *

Disallow:

… in acest caz toti robotii de cautare vor stii ca trebuie sa indexeze toate paginile din site, fara nici o exceptie.

  • In acest caz, toti robotii de cautare vor fi respinsi:

User-agent: *

Disallow: /

  • In exemplul de mai jos, spiderilor li se solicita sa ignore anumite directoare de pe site:

User-agent: *

Disallow: /temp/

Disallow: /private/

Disallow: /imagini/

Disallow: /personal/

  • Daca in loc de * specificati un anumit robot, doar acela va ignora continutul respectivelor directoare.

Comments are closed.