grapeshot爬虫有什么用？www.grapeshot.co.uk/crawler.php是什么蜘蛛？Oracle蜘蛛介绍及用处！

2020-01-29

0评论

阅读

爱搜啊

grapeshot爬虫有什么用？www.grapeshot.co.uk/crawler.php是什么蜘蛛？

近期查看网站的访问记录发现了一个非常稀有的蜘蛛，日志如下

148.64.56.118 - - [29/Jan/2020:12:40:32 +0800] "GET /tags-1560.html HTTP/1.1" 301 178 "-" "Mozilla/5.0 (compatible; GrapeshotCrawler/2.0; +http://www.grapeshot.co.uk/crawler.php)"

148.64.56.118 - - [29/Jan/2020:12:40:35 +0800] "GET /tags-1560.html HTTP/1.1" 200 5668 "-" "Mozilla/5.0 (compatible; GrapeshotCrawler/2.0; +http://www.grapeshot.co.uk/crawler.php)"

关键词技术供应商 grapeshot爬虫

Oracle数据云爬网程序

什么是Oracle Data Cloud Crawler？

Oracle Data Cloud Crawler是一个自动机器人，可访问网页以检查和分析内容。从这个意义上讲，它类似于搜索引擎公司使用的机器人。

Oracle Data Cloud Crawler由以下用户代理之一标识：

Mozilla / 5.0（兼容； GrapeshotCrawler / 2.0； + http：//www.grapeshot.co.uk/crawler.php）

Mozilla / 5.0（iPhone； CPU iPhone OS 8_3，如Mac OS X）AppleWebKit / 600.1.4（KHTML，如Gecko）版本/8.0 Mobile / 12F70 Safari / 600.1。4（兼容； GrapeshotCrawler / 2.0； + http：//www.grapeshot.co.uk/crawler.php）

可以通过来自Oracle拥有的IP地址范围的请求来识别Oracle Data Cloud Crawler。如果您怀疑请求被欺骗，请使用适当的whois工具或查找服务对照适当的RIPE数据库检查请求的IP地址。通常，您应该看到的唯一有效地址在以下地址范围内：148.64.56.0至148.64.56.255（148.64.56.0/24）。在撰写本文时，唯一用于Oracle Data Cloud Crawler的地址是148.64.56.64至148.64.56.80和148.64.56.112至148.64.56.128。

为什么Oracle Data Cloud Crawler爬行我的网站？

Oracle数据云可帮助广告客户在网页上放置上下文广告。为此，有必要检查或爬网页面以确定哪个类别最匹配。

仅按需访问页面。如果Oracle Data Cloud Crawler访问过您的站点，则意味着最近在一个页面上放置了一个广告，该页面上的信息要么不可用，要么需要刷新。因此，您经常会在用户访问页面后不久看到来自Oracle Data Cloud Crawler的请求。履带系统设计为尽可能友好。它们将请求速率限制为任何特定站点，并在站点出现故障或速度缓慢或反复返回非200（OK）响应时自动退回。

大量的系统链可能导致Oracle Data Cloud分析您的站点。Oracle Data Cloud Crawler为许多实时出价（RTB）系统（例如Rubicon，AppNexus等）提供实时上下文信息。这些RTB系统通常被第三方广告服务器系统用作其广告投放策略的一部分。