wordpress 安装的时候禁用了蜘蛛,网站上线后怎么允许蜘蛛抓取

wordpress 安装的时候由于网站还没有正式的上线,然后后禁用了蜘蛛, 导致蜘蛛被屏蔽。网站上线后需要解除屏蔽。解决的方法有两种,第一种方法 在根目录添加一个robots.txt文件 。 第二种方法在wordpress后台进行设置

首先在wordpress后台进行设置 后台->设置->阅读->建议搜索引擎...

wordpress seo 设置
安装图示就可以完成操作, 把对号去掉,就表示允许蜘蛛的访问。

在网站的根目录添加一个 robots.txt

Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。(百度百科)

内容可以填写 文件名字(robots.txt)

User-agent: * 
Allow: /

这个表示网站接接收任何蜘蛛的抓取。

通常这样设置以后 在wordpress中再进行设置就不起作用了 ,因为这个优先级高点,web服务器可以直接访问。

了解更多

上面说到robots.txt 文件的优先级高点,其实多数wordpress 都开启了伪静态。 这样即使网站的根目录没有文件 robots.txt ,依然可以通过 https://www.wordpresszhan.com/robots.txt 进行访问。具体的实现可以看数据库中有个表wp_options对应的 rewrite_rules里有关于robots 的路由。
文件robots.txt 被路由到index.php?robots=1

如果文件 robots.txt 存在了, 就不会被路由了。