MJ12bot是什么 蜘蛛爬虫 如何屏蔽垃圾SEO蜘蛛

MJ12bot是什么 蜘蛛爬虫 如何屏蔽垃圾SEO蜘蛛
近期网站发现大量来自于(compatible; MJ12bot/v1.4.8; http://mj12bot.com/)的爬虫，后面搜索发现这个是国外的搜索引擎爬虫，对我网站来说基本没用，而且他是大量的疯狂的爬取我网站，所以还是封了比较好，下面是方法

爬取 User-Agent

Mozilla/5.0 (compatible; MJ12bot/v1.4.8; http://mj12bot.com/)

robots.txt 拦截

User-agent: MJ12bot
Disallow: /

如何降低MJ12bot的速度?

您可以通过将以下内容添加到robots.txt文件中来轻松降低bot的速度：

User-Agent: MJ12bot
Crawl-Delay: 5

抓取延迟应为整数，表示两次请求之间等待的秒数。MJ12bot将在两次向您的站点发出请求之间最多延迟20秒-但是请注意，尽管这不太可能，但您的站点仍可能同时从多个MJ12bot爬网。进行较高的抓取延迟可以最大程度地减少对您的网站的影响。如果将此抓取延迟参数用于*通配符，则该参数也将处于活动状态。 如果我们的机器人检测到您对任何其他机器人都使用了抓取延迟，则即使没有特别要求MJ12bot，它也会自动缓慢爬行。