全球主机交流论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

CeraNetworks网络延迟测速工具IP归属甄别会员请立即修改密码
查看: 698|回复: 13
打印 上一主题 下一主题

nginx禁止某些User Agent抓取网站

[复制链接]
跳转到指定楼层
1#
发表于 2020-5-9 17:23:39 | 只看该作者 回帖奖励 |正序浏览 |阅读模式
提示: 作者被禁止或删除 内容自动屏蔽
14#
发表于 2020-5-9 20:41:43 | 只看该作者
上面这段,放到
  1.     #ERROR-PAGE-START  错误页配置,可以注释、删除或修改
  2.     #error_page 404 /404.html;
  3.     #error_page 502 /502.html;
  4.     #ERROR-PAGE-END
复制代码

这段的前面
13#
发表于 2020-5-9 20:37:35 | 只看该作者
  1. #MALICIOUS ACTIVITY DENY
  2. if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
  3.     return 403;
  4. }
  5. if ($http_user_agent ~ "FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|^$" ) {
  6.     return 403;
  7. }
  8. if ($request_method !~ ^(GET|HEAD|POST)$) {
  9.     return 403;
  10. }
复制代码
12#
发表于 2020-5-9 20:34:55 | 只看该作者
gnocuil 发表于 2020-5-9 20:17
还是不行,好像说是nginx不支持if嵌套
  1. if ($http_user_agent ~* "example1|example\s2")
  2.     {
  3.     return 403;
  4.     }
复制代码

所有包含但不限于 example1 和 example 2 的UA均返403

11#
 楼主| 发表于 2020-5-9 20:17:00 | 只看该作者
提示: 作者被禁止或删除 内容自动屏蔽
10#
发表于 2020-5-9 20:05:31 | 只看该作者
本帖最后由 iks 于 2020-5-9 20:08 编辑
gnocuil 发表于 2020-5-9 20:02
大佬,你说的是哪个地方啊?


Microsoft URL
改为
  1. Microsoft\sURL
复制代码

在 | 间的用 \s 代替空格

9#
发表于 2020-5-9 20:05:28 | 只看该作者
不错,非常6+1
8#
 楼主| 发表于 2020-5-9 20:03:50 | 只看该作者
提示: 作者被禁止或删除 内容自动屏蔽
7#
 楼主| 发表于 2020-5-9 20:02:27 | 只看该作者
提示: 作者被禁止或删除 内容自动屏蔽
6#
发表于 2020-5-9 17:40:50 来自手机 | 只看该作者
宝塔那个nginx防火墙不错。。
您需要登录后才可以回帖 登录 | 注册

本版积分规则

Archiver|手机版|小黑屋|全球主机交流论坛

GMT+8, 2025-11-13 22:18 , Processed in 0.191787 second(s), 9 queries , Gzip On, MemCache On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表