小白今天清理了一下,发现这个serpstatbot蜘蛛爬取了很多页面。造成资源浪费。百度了一下,是国外的SEO蜘蛛爬虫,国内没用。可以屏蔽。
具体的UA是:
serpstatbot/1.0 (advanced backlink tracking bot; curl/7.58.0; http://serpstatbot.com/; abuse@serpstatbot.com)
可以使用宝塔防火墙屏蔽“serpstatbot”。如果不是宝塔,建议搜索一下如何屏蔽你的程序。