Robots.txt 文件必须放在网站的根目录。放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。
例子:
http://www.yuegekeji.com/robots.txt 有效
http://www.yuegekeji.com/bbs/robots.txt 无效
如果你不能控制根目录的 robots.txt,则你可以通过在子目录网页中使用标签阻止网页被收录。
阅读本文的人还阅读
robots.txt文件有什么必要?
robots.txt
作者:@悦阁网络科技
悦阁网络科技有限公司专业为中小企业提供精致的佛山网站建设、佛山网站设计、佛山网站制作及相关网络营销等服务,是广佛地区最好的网络科技公司之一,在广佛做网站开发就找悦阁网络科技!
您对建网站有需求?请回到首页“悦阁网络”官网 查找您想建哪种类型的网站,然后联系我们客服QQ,我们将竭诚为您服务!
上一篇:robots.txt文件有什么必要?
下一篇:我的站怎么就不被收录呀?