Barkrowler蜘蛛是什么?如何屏蔽Barkrowler爬虫?

Barkrowler蜘蛛是什么？Barkrowler蜘蛛主要做什么的？是否可以屏蔽？关于 Babbar 的机器人：Barkrowler

- 机器人类型：爬虫（识别自己）

- 版本：0.9

- 关注 robots.txt

- 跟随爬行延迟

- Barkrowler 没有固定的 ip 范围

- 反向 DNS 后缀：babbar.eu

爬虫地址：https://babbar.tech/crawler

Barkrowler蜘蛛主要做什么的？

Babbar.tech 正在运营一个名为 Barkrowler 的爬虫服务，它为我们的万维网图形表示提供动力和更新。该数据库和我们计算的所有指标用于为 SEO 社区提供一组在线营销和参考工具。

# Barkrowler 在您的网站上做什么？

Barkrowler 会抓取在公共页面上找到的 url，因此可能会访问已在某处公开引用的每个页面。

Barkrowler蜘蛛特征如下：

154.54.249.204 - - [21/Jan/2022:09:26:25 +0800] "GET /tags-2601.html HTTP/1.1" 301 162 "-" "Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)"

154.54.249.204 - - [21/Jan/2022:09:26:38 +0800] "GET /yuanma/8681.html HTTP/1.1" 301 162 "-" "Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)"

154.54.249.204 - - [21/Jan/2022:09:26:52 +0800] "GET /tags-2607.html HTTP/1.1" 301 162 "-" "Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)"

51.222.253.11 - - [21/Jan/2022:09:26:52 +0800] "GET /adgame/xiuxianyizhi/854.html HTTP/2.0" 200 7152 "-" "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)"

154.54.249.204 - - [21/Jan/2022:09:27:05 +0800] "GET /yuanma/868.html HTTP/1.1" 301 162 "-" "Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)"

154.54.249.204 - - [21/Jan/2022:09:27:18 +0800] "GET /tags-2606.html HTTP/1.1" 301 162 "-" "Mozilla/5.0 (compatible; Barkrowler/0.9; +https://babbar.tech/crawler)"

114.119.152.34 - - [21/Jan/2022:09:27:20 +0800] "GET /yuanma/2390.html HTTP/1.1" 404 146 "-" "Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.com/site/petalbot)"

屏蔽seo优化分析蜘蛛barkrowler

User-agent: barkrowler

Disallow: /

barkrowler爬虫ip:

154.54.249.204 

deny 154.54.249.204; #nginx屏蔽User-agent: barkrowler的ip

屏蔽seo优化分析蜘蛛AhrefsBot

User-agent: AhrefsBot

Disallow: /

AhrefsBot爬虫ip:

51.222.253.2

51.222.253.11

51.222.253.14 

51.222.253.4 

51.222.253.13

51.222.253.16 

nginx屏蔽AhrefsBo爬虫ip

deny 51.222.253.2; #User-agent: AhrefsBot

deny 51.222.253.14; #User-agent: AhrefsBot

deny 51.222.253.4 ; #User-agent: AhrefsBot

deny 51.222.253.13; #User-agent: AhrefsBot

deny 51.222.253.16 ; #User-agent: AhrefsBot

deny 117.23.248.247; #压缩包扫描

AhrefsBot爬虫ip段

deny 51.222.253.0/24