FeedFetcher-Google是什么？FeedFetcher-Google为什么不遵守robots.txt规则？

这个爬虫到底有什么用，还以为是伪装成爬虫的CC攻击，在网上查找资料才发现是谷歌的feed爬虫。Feedfetcher是什么？下面是日志记录，代理字符串为FeedFetcher-Google;(+http://www.google.com/feedfetcher.html)72.14.199.89––[12/Oct/2005:01:11:13+0800]“GET/rss.php?v=2HTTP/1.1”20061051“-”“FeedFetcher-Go

阅读全文：FeedFetcher-Google是什么？FeedFetcher-Google为什么不遵守robots.txt规则？

---