关于robots.txt无法禁止收录的小看法_建站学-个人建站指南,网页制作,网站设计,网站制作教程

关于robots.txt无法禁止收录的小看法

时间:2011-10-15 13:28来源: 作者: 点击: 次

在网站seo优化的过程中常常需要通过一个名为robots.txt的文件与搜索引擎蜘蛛对话。通常来讲，搜索引擎蜘蛛爬行到某一个网站就会首先读取该文件，并按照文件中的规则执行接下来的行为。当一个网站中有一些网站不需要被搜索引擎收录时，往往就会通过robots.txt来限制搜索引擎

(责任编辑：admin)

顶一下

(0)

踩一下

(0)

------分隔线----------------------------

发表评论

栏目列表

推荐内容

热点内容