宝塔面板服务器IIS6/IIS7、Nginx、Apache屏蔽垃圾爬虫UA禁止垃圾爬虫，屏蔽指定UA

给爬取了，可以用下面方法来屏蔽不明的蜘蛛UA，可根据网站实际情况来修改要屏蔽的蜘蛛UA对付这种垃圾的蜘蛛，最好的方法就是按照访问规则，查看对应的UA，按照UA规则，进行禁止访问，那么我们应该怎么做呢？一：找到垃圾蜘蛛的UA特征我使用的是宝塔面板。通过宝塔面板上的网站监控报表，可以看到对应网站的nginx日志。如果你使用的不是宝塔面板，你可以将网站的日志下载下来。用notepad++或者其他代码编辑软件打开。二：针对特定UA进行屏蔽屏蔽UA功能，是写在对应网站的nginx的配置文件中的。如果

阅读全文：宝塔面板服务器IIS6/IIS7、Nginx、Apache屏蔽垃圾爬虫UA禁止垃圾爬虫，屏蔽指定UA

---

百度站长平台抓取诊断出现抓取失败“DNS无法解析IP”百度DNS无法解析IP怎么解决？

这是为什么？难道蜘蛛无法抓取我们网站么？其实这对蜘蛛抓取网站的确存在着一定的影响，下面就教大家解决这个问题！以前本站就遇到过这个情况，《引起DNS无法解析IP原因》最近几个月全部都上不收录，我一直以为是我网站的结构问题导致的，有持续的更新也有外部的引流，7月份等到8月份，8月份等到9月份，一直等了这么几个月都没有收录，今天我用百度站长检测了下，发现站点都是显示解决抓取总是出现失败的方法！抓取诊断工具，可以让站长从百度蜘蛛的视角查看抓取内容，自助诊断百

阅读全文：百度站长平台抓取诊断出现抓取失败“DNS无法解析IP”百度DNS无法解析IP怎么解决？

---

爱站SEO工具包分析网站日志，YisouSpider[神马搜索]这是在 CC 攻击还是在抓取网站？

，抓取的蜘蛛里面有一个Yisouspider（一搜蜘蛛）进行了大量的抓取，如下图可以看到一搜蜘蛛、谷歌、搜狗蜘蛛、微软必应分别占了抓取蜘蛛的80%差不多。今天搜索了下一搜蜘蛛到底是什么蜘蛛。Yisouspider-百度百科神马搜索根据网站规模、服务能力、页面质量、更新速度等因素决定对网站的访问频率。通常更新快、质量高的网站Yisouspider访问频率相对较高。如果您发现Yisouspider非正常抓取您的网站，请反馈给神马搜索，并请尽量给

阅读全文：爱站SEO工具包分析网站日志，YisouSpider[神马搜索]这是在 CC 攻击还是在抓取网站？

---

grapeshot爬虫有什么用？www.grapeshot.co.uk/crawler.php是什么蜘蛛？Oracle蜘蛛介绍及用处！

下148.64.56.118--[29/Jan/2020:12:40:32+0800]"GET/tags-1560.htmlHTTP/1.1"301178"-""Mozilla/5.0(compatible;GrapeshotCrawler/2.0;+http://www.grapeshot.co.uk/crawler.php)"148.64.56.118--

阅读全文：grapeshot爬虫有什么用？www.grapeshot.co.uk/crawler.php是什么蜘蛛？Oracle蜘蛛介绍及用处！

---

什么是“OPTIONS”请求？关于options请求的理解,HTTP协议中的OPTIONS方法是什么?有什么用

TIONS”请求查阅相关的资料之后发现,这是浏览器对复杂跨域请求的一种处理方式,在真正发送请求之前,会先进行一次预请求,就是我们刚刚说到的参数为OPTIONS的第一次请求,他的作用是用于试探性的服务器响应是否正确,即是否能接受真正的请求,如果在options请求之后获取到的响应是拒绝性质的,例如500等http状态,那么它就会停止第二次的真正请求的访问下面是一部分请求日志"POST/zb_system/cmd.php?act=ajax&am

阅读全文：什么是“OPTIONS”请求？关于options请求的理解,HTTP协议中的OPTIONS方法是什么?有什么用

---

FeedFetcher-Google是什么？FeedFetcher-Google为什么不遵守robots.txt规则？

，原来不知道这个爬虫到底有什么用，还以为是伪装成爬虫的CC攻击，在网上查找资料才发现是谷歌的feed爬虫。Feedfetcher是什么？下面是日志记录，代理字符串为FeedFetcher-Google;(+http://www.google.com/feedfetcher.html)72.14.199.89––[12/Oct/2005:01:11:13+0800]“GET/rss.php?v=2HTTP/1.1”20061051“-”“Fe

阅读全文：FeedFetcher-Google是什么？FeedFetcher-Google为什么不遵守robots.txt规则？

---

robots中#符号特别说明！robots中#符号正确用法

？经过排查发现是robots写法错误导致的，以前说过一些robots的写法《Robots.txt文件写法和使用方法》，可能说的不是很清楚导致了一些伙伴的误解。Robots.txt是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单，但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容，或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。Robots.txt使用方法Robots.txt文件应该放在网站根目录下，并且该文件是可以通过互联网进行访问的。例如：

阅读全文：robots中#符号特别说明！robots中#符号正确用法

---

robots.txt禁止收录协议的写法，网站Robots.txt文件有什么作用

s.txt文件应该放在网站根目录下，并且该文件是可以通过互联网进行访问的。例如：如果您的网站地址是http://ioozu.com/那么，该文件必须能够通过http://ioozu.com/robots.txt打开并看到里面的内容。格式：User-agent:用于描述搜索引擎蜘蛛的名字，在"Robots.txt"文件中，如果有多条User-agent记录说明有多个搜索引擎蜘蛛会受到该协

阅读全文：robots.txt禁止收录协议的写法，网站Robots.txt文件有什么作用

---

Robots.txt文件写法和使用方法，网站Robots.txt文件有什么作用

目录下的一个纯文本文件。虽然它的设置很简单，但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容，或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。使用方法:Robots.txt文件应该放在网站根目录下，并且该文件是可以通过互联网进行访问的。例如：如果您的网站地址是http://ioozu.com/那么，该文件必须能够通过http://ioozu.com/robots.txt打开并看到里面的内容。格式：User-agent

阅读全文：Robots.txt文件写法和使用方法，网站Robots.txt文件有什么作用

---

百度蜘蛛抓取/*&%5E%25$和/*&^%$造成404错误的应急临时解决方案

个问题，如下图就像上面这样，蜘蛛抓取的时候会在正常地址后面加上*&%5E%25$导致提示500状态码错误，抓取不成功。自动在URL后添加参数/*&%5E%25$，转码后/*&^%$的造成抓取404。但模拟百度蜘蛛UA抓取并不会出现该问题。该问题导致网站收录量下降，影响网站流量。而网站流量是网站运营的命根。在网上找到了下面这个说法，我感觉可能性比较大。可能引起的原因这不是百度蜘蛛，这是模拟的假的user-agent，我之前也被这样玩过，这是编码过的中文，发的

阅读全文：百度蜘蛛抓取/*&%5E%25$和/*&^%$造成404错误的应急临时解决方案

---

百度熊掌号搜索结果出图通不过审核原因及解决方法！使用七牛云导致百度搜索结果出图通不过审核

直没成功过，以前不知道是什么原因，最登录百度的移动专区平台发现百度更新了可以查看审核未通过原因这个功能，看下图，以前都是只能下载一个文件查看不通过的原因，我想说鬼看得懂啊，表格都挤到一块根本看不懂啊。这不开不知道，一看吓一跳啊。竟然是因为直接把百度给屏蔽了，因为我的图片是放在七牛云空间里面的。有可能不小心开启了七牛的robots.txt配置文件功能了。导致把百度直接给屏蔽了。这是七牛的自己说明为什么要开启robots.txt配置文件功能设置镜像存储，源

阅读全文：百度熊掌号搜索结果出图通不过审核原因及解决方法！使用七牛云导致百度搜索结果出图通不过审核

---

免费搜索引擎提交(登录)入口大全

aidu查找网站登录口：http://www.baidu.com/search/url_submit.htmlGoogle网站登录口：http://www.谷歌.com/addurl/?hl=zh-CN&continue=/addurlGoogle新闻网站内容http://www.谷歌.com/support/news_pub/bin/request.py?contact_type=suggest_content&

阅读全文：免费搜索引擎提交(登录)入口大全

---