wordpress 安装的时候由于网站还没有正式的上线，然后后禁用了蜘蛛， 导致蜘蛛被屏蔽。网站上线后需要解除屏蔽。解决的方法有两种，一种方法 在根目录添加一个robots.txt文件 。 二种方法在wordpress后台进行设置

首先在wordpress后台进行设置 后台->设置->阅读->建议搜索引擎...

安装图示就可以完成操作， 把对号去掉，就表示允许蜘蛛的访问。

在网站的根目录添加一个 robots.txt

Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。(百度百科)

内容可以填写 文件名字(robots.txt)

User-agent: * 
Allow: /

这个表示网站接接收任何蜘蛛的抓取。

通常这样设置以后 在wordpress中再进行设置就不起作用了 ,因为这个优先级高点,web服务器可以直接访问。

了解更多

上面说到robots.txt 文件的优先级高点，其实多数wordpress 都开启了伪静态。 这样即使网站的根目录没有文件 robots.txt ,依然可以通过 https://www.wordpresszhan.com/robots.txt 进行访问。具体的实现可以看数据库中有个表wp_options对应的 rewrite_rules里有关于robots 的路由。
文件robots.txt 被路由到index.php?robots=1

如果文件 robots.txt 存在了， 就不会被路由了。