网站怎样才能不被搜索引擎收录

yumijie · 发表于 2017-7-19 17:53:34

用robot.txt最好的结果也会被收录首页,想禁止一切搜索引擎收录,连首页也不能,怎么才能做到?

搭建暗网的话普通浏览器又不能访问,有什么好方法,请高手能赐教!!!

shazhumaiyou · 发表于 2017-7-19 22:37:37

   if ($http_user_agent ~* (baiduspider|soso|sogou|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)) {
      return 403;
      }

我是人 · 发表于 2017-7-19 23:11:49

fansfan 发表于 2017-7-19 22:57
首先360 搜狗就极度不要脸各种禁止和屏蔽还是会不要脸的来抓取投诉也没什么用 ...

不要脸的只能用不要脸的处理方法了。。。

各种规则各种屏蔽各种防火墙。

wtycn · 发表于 2017-7-19 23:02:01

meta 和 robots 都是防君子的。

解决方法：屏蔽UA，屏蔽搜索引擎所在AS号的所有网段。

fansfan · 发表于 2017-7-19 22:57:52

我是人发表于 2017-7-19 20:07
谷歌有个这个。。。每页加上。

首先360 搜狗就极度不要脸各种禁止和屏蔽还是会不要脸的来抓取投诉也没什么用

图王 · 发表于 2017-7-19 22:06:23

授权访问IP

秋风下的落叶 · 发表于 2017-7-19 21:20:50

用robot不就可以了吗？

sora · 发表于 2017-7-19 20:19:58

判断蜘蛛ua试试.

njav · 发表于 2017-7-19 20:16:54

robots屏蔽bot是一點用都沒有...如果有我早已經不用給google k站了
還是有其他有效方法吧...有了告訴我,成功給100元你作為心意

我是人 · 发表于 2017-7-19 20:07:16

谷歌有个这个。。。每页加上。

复制代码

其他的就看蜘蛛听不听话了。

		自动登录	找回密码
密码			注册