robots中#符号特别说明!robots中#符号正确用法
今天有人我问网站突然收录骤降,而且一直不收录。到底什么怎么回事?
经过排查发现是robots写法错误导致的,以前说过一些robots的写法《Robots.txt文件写法和使用方法》,可能说的不是很清楚导致了一些伙伴的误解。
Robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单,但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容,或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。
Robots.txt使用方法
Robots.txt文件应该放在网站根目录下,并且该文件是可以通过互联网进行访问的。
例如:如果您的网站地址是 https://ioozu.com/那么,该文件必须能够通过 https://ioozu.com/robots.txt打开并看到里面的内容。
最近通过邮箱和QQ,我仍然收到了多个因为robots写错,导致收录下降的问题反馈!
一些人仍然会在robots中写入类似这样四种语法:
User-agent: *
Disallow: /*#*
或者
User-agent: *
Disallow: /#
或者
User-agent: *
Disallow: /#*
或者
User-agent: *
Disallow: /*#
robots中#符号正确用法
注意,由于搜索引擎使用的robots规则,会按照通用的流程,将#作为注释符
即:/# 等同于 / ,结尾的通配符会被忽略。
因此,各位朋友务必不要在robots中写入上面的几种robots语法。
写这篇文章主要是为了让大家更好的了解robots文件的写法和用法,robots是非常重要的,切记不要写错了。
点击链接加入群聊三群:751529538
点击链接加入群聊二群:376877156
点击链接加入群聊【路由器交流群:622891808已满】
本站附件分享,如果附件失效,可以去找找看
饿了么红包