全球主机交流论坛

标题: nginx禁止某些User Agent抓取网站 [打印本页]
作者: gnocuil    时间: 2020-5-9 17:23
提示: 作者被禁止或删除 内容自动屏蔽
作者: hanada    时间: 2020-5-9 17:25
你试试放在location / 里头

作者: gnocuil    时间: 2020-5-9 17:28
提示: 作者被禁止或删除 内容自动屏蔽
作者: iks    时间: 2020-5-9 17:29
中间有空格，得用 /s 代替
作者: tir    时间: 2020-5-9 17:30
多谢分享，不过百度有
作者: GoogleCloud    时间: 2020-5-9 17:40
宝塔那个nginx防火墙不错。。
作者: gnocuil    时间: 2020-5-9 20:02
提示: 作者被禁止或删除 内容自动屏蔽
作者: gnocuil    时间: 2020-5-9 20:03
提示: 作者被禁止或删除 内容自动屏蔽
作者: yidaomm    时间: 2020-5-9 20:05
不错，非常6+1
作者: iks    时间: 2020-5-9 20:05
本帖最后由 iks 于 2020-5-9 20:08 编辑
gnocuil 发表于 2020-5-9 20:02
大佬，你说的是哪个地方啊？


Microsoft URL
改为
  1. Microsoft\sURL
复制代码

在 | 间的用 \s 代替空格

作者: gnocuil    时间: 2020-5-9 20:17
提示: 作者被禁止或删除 内容自动屏蔽
作者: iks    时间: 2020-5-9 20:34
gnocuil 发表于 2020-5-9 20:17
还是不行，好像说是nginx不支持if嵌套
  1. if ($http_user_agent ~* "example1|example\s2")
  2.     {
  3.     return 403;
  4.     }
复制代码

所有包含但不限于 example1 和 example 2 的UA均返403

作者: 搬瓦工    时间: 2020-5-9 20:37
  1. #MALICIOUS ACTIVITY DENY
  2. if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) {
  3.     return 403;
  4. }
  5. if ($http_user_agent ~ "FeedDemon|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|^$" ) {
  6.     return 403;
  7. }
  8. if ($request_method !~ ^(GET|HEAD|POST)$) {
  9.     return 403;
  10. }
复制代码
作者: 搬瓦工    时间: 2020-5-9 20:41
上面这段，放到
  1.     #ERROR-PAGE-START  错误页配置，可以注释、删除或修改
  2.     #error_page 404 /404.html;
  3.     #error_page 502 /502.html;
  4.     #ERROR-PAGE-END
复制代码

这段的前面



欢迎光临 全球主机交流论坛 (https://lilynana.eu.org/) Powered by Discuz! X3.4