又拍云 robots.txt 指定方法 又拍云边缘规则巧用之一

又拍云 robots.txt 指定方法 又拍云边缘规则巧用之一

  • A+
所属分类:网络建站

由于本站的图片基本上都是自检图床外链,为了方便搜索引擎抓取,考虑还是设置一下robots.txt规则为好。本次域名使用的是又拍云的云存储,又拍云是实用cdn起家,当家产品是cdn和云处理。相比隔壁的七牛云,人家的云存储默认是有机器人规则设置的。
不过嘛,既然是高级的cdn,总不会连定制一个小小的/robots.txt这么个uri的功能都没有的。我们先看看我们看到的网上的介绍

关于robots.txt的bug,访问又拍云robots时依然返回的是源站的robots
我已经关闭了源站资源迁移功能,并且在ftp里为又拍云特别上传了一份robots.txt,然而访问
【robots.txt时】,返回的还是源站的robots

这个问题很严重,该域名已经被搜索引擎抓取,希望技术人员帮忙看一下

一、设置相应robots.txt文件并放置于响应位置

遇到这种情况的话,我们先以使用的是又拍云为前提

云存储的情况

云存储则ftp上传一个robots-{识别码}.txt形式的文件

cdn的情况

如果是cdn的话,那就更加方便了,在网站文件下加一个这样的文件。

然后,让我们进入到又拍云边缘规则的设置地址。

二、又拍云规则设置

步骤1 添加一条规则

又拍云 robots.txt 指定方法 又拍云边缘规则巧用之一

步骤2 设置规则为url重写

又拍云 robots.txt 指定方法 又拍云边缘规则巧用之一

重写的方法/robots.txt

指向地址云存储一般是根目录下的txt文件

比如wordpress的镜像cdn的话类似/wp-content/uploads/robots-{xxx}.txt 这样的位置应该是不会出问题的。

步骤3 设置状态为测试,访问url进行测试

步骤4 确认设置无误后将状态设置为启用

关于附加选项 -优先级和break

又拍云 robots.txt 指定方法 又拍云边缘规则巧用之一

因为是静态规则。所以优先级设置为较小的值。数值越大越不优先处理,即优先处理优先级小的规则。

没有其他规则可以break

多条规则时,加了条件 uri地址等于/robots.txt后可以break

 

weinxin
我的微信公众号
我的微信公众号扫一扫

发表评论

:?::razz::sad::evil::!::smile::oops::grin::eek::shock::???::cool::lol::mad::twisted::roll::wink::idea::arrow::neutral::cry::mrgreen: