Scriu pe blog din 2008 si am trecut prin multe schimbari pana sa ajung aici. Fisierul robots.txt este creat ca default cand este instalat blogul cu WordPress. Acest indica motorului de cautare (defapt crawlerului) ce ar trebui sa indexeze si ce nu. Daca vrei sa vezi starea actuala a fisierului tau intra pe http://domeniu.tld/robots.txt .
Este bine sa opresti indexarea unor anumite pagini din cauza ca poti fi penalizat pentru continut duplicat. De exemplu daca vei avea indexate pagini cu categorii sau pagini cu etichete continutul din ele va fi acelasi cu continutul indexat in articolul respectiv.
Un exemplu de robots.txt:
User-agent: Googlebot
Disallow: /wp-content/Disallow: /trackback/Disallow: /wp-admin/Disallow: /feed/Disallow: /archives/Disallow: /index.phpDisallow: /*?Disallow: /*.php$Disallow: /*.js$Disallow: /*.inc$Disallow: /*.css$Disallow: */feed/Disallow: */trackback/Disallow: /page/Disallow: /tag/Disallow: /category/Disallow: /wp-includes/Disallow: /feed/Disallow: /cgi-bin/Disallow: /*.cgi$ <–Bots will not crawl this cgi binDisallow: /*.xhtml$ <–Bots will not crawl any xhtml documentDisallow: /*?*Disallow: /z/Disallow: /*.txt$
Sitemap: http://vladgidea.ro/sitemap.xml
No related posts.
De ce nu pui acolo “User-agent: *”? Ca să fie valabil pentru toate motoarele de căutare..
Singurul motor de cautare care il recunosc e Google
, stiu e o tampenie din partea mea dar asta e adevarul 
) am sa pun cand fac redesign la blog, inca mai am treaba cu cateva proiecte pt scoala si dupa imi permit sa fac si pt mine
95% dintre oameni folosesc Google insa un 5% inca mai folosesc si altele…N-ar fi rau sa profitam si de aia 5% ca doar na..si aia sunt vizitatorii nostri.