robots.txt

[xploder]

Cum arata fisierul robots.txt?

Am citit pe google despre cum ar trebui sa arate, dar experienta isi spune cuvantul si voi ar trebui sa stiti mai bine care e varianta "ideala".E ok asa?:


User-agent: *
Disallow:


Adica sa nu blocheze nici un robotel?

E ok daca folosesc linkul acesta?

http://www.mcanerin.com/EN/search-engine/robots-txt.asp

[Agkelos]

E ok siteul. Il poti folosi linistit

[xploder]

E mai bine sa folosesc

User-agent: *
Disallow:


decat sa restrictionez accesul la anumiti roboti?(cu ajutorul siteului?)

[Agkelos]

Sunt roboti de care nu ai nevoie - crawlere cunoscute ca fiind folosite la spam sau alte chestii de genul asta. Daca vrei lasa asa cum ai spus mai sus, desi e recomandat sa blochezi unele crawlere. For example, http://www.skullbox.info/robots.txt

[xploder]

10x, exact asa o sa il fac si eu:)Ms.

[SkullAds]