站长朋友都知道搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider我们俗称蜘蛛，它在访问一个网站时，会首先会检查该网站的根域下是否有一个robots.txt的纯文本文件，这个文...