网站如何设置robots文件规则,WordPress设置robots教程!

76次阅读
没有评论

对于各位站长来说,无论你建立的什么类型的网站,都要与搜索引擎来互动抓取,而robots.txt文件相当于站长与搜索引擎之间的一个公约,所有搜索引擎一般抓取内容都会按照你robots文件设置的规则来抓取!robots.txt是一个十分重要的文件,它一般都存在于我们网站的根目录,如果没有可以手动创建一个。里面规则我们可以告诉搜索引擎,哪些目录可以抓取,哪些目录禁止抓取,也可以禁止某个搜索引擎抓取你的网站!

以下是两个设置样板,如果看完不知道怎么设置的可以直接复制样板到你网站即可,记得修改下里面的网址!以下规则不止WordPress使用,任何类型的网站都可以使用这个模版,但是需要修改下里面禁止抓取的目录以及网站地址即可!

WordPress设置robots.txt规则样板!

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /?s=
Disallow: /author/
Sitemap: https://www.jzbk.net/wp-sitemap.xml

Disallow: /wp-admin/ 比如这个,意思就是禁止所有搜索引擎抓取特定的目录,/wp-admin/ 下面的一些都是禁止抓取的一些敏感目录,不适合展示给公众看的,所以我们直接禁止引擎抓取展示!

Disallow: /?s= 意思禁止抓取网站本地搜索记录

Disallow: /author/ 禁止抓取登录页面以及用户内容

Sitemap: https://www.jzbk.net/wp-sitemap.xml 意思允许所有搜索引擎抓取的内容,以及引导搜索引擎网站可抓取地区位置!

以上就是一个大概的简易WordPress robots.txt规则,复制到你网站,记得把网址修改为你自己的。

允许所有搜索引擎抓取所有内容,不限制任何内容!

User-agent: *
Disallow:

如何禁止所有搜索引擎抓取网站!

User-agent: *
Disallow: /

其他程序网站如何设置,你可以按照上面WordPress的robots.txt规则进行修改即可,把需要禁止的目录添加进去即可,还有网站地图选项,以上规则任何网站通用的!写法其实很多种,具体根据你的需要来即可!百科老王手打原创,希望能帮到更多迷茫的小伙伴!

正文完
 0
飞驰人生
版权声明:本站原创文章,由 飞驰人生 于2024-10-12发表,共计977字。
转载说明:建站百科文章全部由百科老王亲手整理发布,如未特殊说明皆为原创文章.老王提醒海外网站付款尽量使用pp付款,以防被骗!
评论(没有评论)
验证码