Google爬虫，原来不知道这个爬虫到底有什么用，还以为是伪装成爬虫的CC攻击，在网上查找资料才发现是谷歌的feed爬虫。Feedfetcher是什么？下面是日志记录，代理字符串为FeedFetcher-Google;(+http://www.google.com/feedfetcher.html)72.14.199.89––[12/Oct/

到底什么怎么回事？经过排查发现是robots写法错误导致的，以前说过一些robots的写法《Robots.txt文件写法和使用方法》，可能说的不是很清楚导致了一些伙伴的误解。Robots.txt是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单，但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容，或者是禁止搜索引擎蜘蛛抓取网站的部

问的。例如：如果您的网站地址是https://ioozu.com/那么，该文件必须能够通过https://ioozu.com/robots.txt打开并看到里面的内容。格式：User-agent:用于描述搜索引擎蜘蛛的名字，在"Robots.txt"文件中，如果有多条User-agent记录说明有多个搜索引擎蜘蛛会受到该协议的限制，对该文件来说，至少要有一条

它的设置很简单，但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容，或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。使用方法:Robots.txt文件应该放在网站根目录下，并且该文件是可以通过互联网进行访问的。例如：如果您的网站地址是https://ioozu.com/那么，该文件必须能够通过https://ioozu.com/robots.txt