网站nginx拦截爬虫的方法
智启佳工作室
做你喜爱的网站

网站nginx拦截爬虫的方法

刚加入淘客的小伙伴一般都会买个低配的服务器,比如花几十块钱买个腾讯云、阿里云的1核2G1M的云服务器。

价格便宜当然配置低服务器处理并发能力就比较差了,当我们网站遇到搜索引擎爬虫过度爬取、或者被CC攻击时,就出现服务器资源被占满,

网站打开就会比较慢甚至打不开。在不升级服务器的情况下,可以尝试屏蔽掉一些不需要的爬虫。

今天教大家如何分析和拦截不需要的爬虫抓取我们网站的数据。我们还是以宝塔面板为例。

第一步:打开web日志

1605234657112.jpg


第二步:找到使用的网站域名点后面的编辑

1605234767083.jpg

第三步:分析日志 

主要是找出爬虫的特征,根据特征拦截

如下图 

1605235186376.jpg

第四步:设置拦截规则 

1605235250531.jpg
if ($http_user_agent ~ semrush.com) {
return  403 ;
}
1605428768554.jpg
赞(0) 打赏
未经允许不得转载:梦想未来 » 网站nginx拦截爬虫的方法
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

--