详情页

屏蔽恶意爬虫的User-Agent serpstatbot/2.1

时间:2023年11月05日

编辑:佚名

发现一个攻击ip和攻击样本,防火墙拦击的日志如下
时间    2023-11-04 08:36:57    攻击IP    148.251.168.205
类型    GET    过滤器    cc
URI地址   /about.html
累计超过10次验证失败,封锁18000秒
User-Agent
serpstatbot/2.1 (advanced backlink tracking bot; https://serpstatbot.com/; abuse@serpstatbot.com)
根据字面就是高级黑链接跟踪爬虫,影响网站正常运行,属于cc过滤器。
serpstatbot这是一家国外的网络爬虫工具,会抓取我们网站的SEO信息。
网站为:https://serpstatbot.com/
ip地址:5.9.55.228
官方介绍说,如果不想被serpstatbot抓取,可以在根目录下创建robots.txt 文件。在文件中填写。
User-agent: serpstatbot
Disallow: /
第二种方法:屏蔽ip地址 5.9.55.228和148.251.168.205
那么这个爬虫就不会再访问我们的网站了。
相关文章
猜你需要