全球主机交流论坛

标题: 网站怎样才能不被搜索引擎收录 [打印本页]

作者: yumijie 时间: 2017-7-19 17:53
标题: 网站怎样才能不被搜索引擎收录
用robot.txt最好的结果也会被收录首页,想禁止一切搜索引擎收录,连首页也不能,怎么才能做到?

搭建暗网的话普通浏览器又不能访问,有什么好方法,请高手能赐教!!!

作者: 萌䒤萌 时间: 2017-7-19 17:54
不用域名啊，ip 默认网站弄成404，用本地hosts访问

作者: yumijie 时间: 2017-7-19 17:57

萌䒤萌发表于 2017-7-19 17:54
不用域名啊，ip 默认网站弄成404，用本地hosts访问

能具体点吗?貌似这样也会收录首页吧

作者: 萌䒤萌 时间: 2017-7-19 18:02

yumijie 发表于 2017-7-19 17:57
能具体点吗?貌似这样也会收录首页吧

比如用lnmp的话，默认打开Ip 是一个网站，这里不管，直接添加虚拟主机，域名可以随便弄，比如baidu.com
你本机上修改Hosts文件，把baidu.com 指向你的IP就可以访问，而别人不知道你的域名是什么，也不会去修改Hosts

作者: zdszf 时间: 2017-7-19 18:14
VPS搭建基于zeronet的网站，会不会被收录

作者: 萌䒤萌 时间: 2017-7-19 18:18

zdszf 发表于 2017-7-19 18:14
VPS搭建基于zeronet的网站，会不会被收录

zeronet就无所谓搭建在哪了吧

作者: hmy111 时间: 2017-7-19 18:18
关注这个马克一下

作者: 醉里耍大刀 时间: 2017-7-19 18:20
nginx设置需要登录访问就可以了

作者: oskey 时间: 2017-7-19 18:20
屏蔽蜘蛛，截取蜘蛛转发出去。我瞎说的

作者: malaohu 时间: 2017-7-19 18:21
将搜索引擎解析到 127。0。0。1
不知道行不行。

作者: zdszf 时间: 2017-7-19 18:25
本帖最后由 zdszf 于 2017-7-19 18:27 编辑

萌䒤萌发表于 2017-7-19 18:18
zeronet就无所谓搭建在哪了吧

恩，是的哈。。
我想成方便人让别个浏览器能直接访问了。
http://zeronet.daoapp.io

作者: 莫桑比特 时间: 2017-7-19 19:00
封IP段

作者: 魔尊 时间: 2017-7-19 19:01

malaohu 发表于 2017-7-19 18:21
将搜索引擎解析到 127。0。0。1
不知道行不行。

应该可以

作者: 我是人 时间: 2017-7-19 20:07
谷歌有个这个。。。每页加上。

<meta name="robots" content="noindex">

复制代码

其他的就看蜘蛛听不听话了。

作者: njav 时间: 2017-7-19 20:16
robots屏蔽bot是一點用都沒有...如果有我早已經不用給google k站了
還是有其他有效方法吧...有了告訴我,成功給100元你作為心意

作者: sora 时间: 2017-7-19 20:19
判断蜘蛛ua试试.

作者: 秋风下的落叶 时间: 2017-7-19 21:20
用robot不就可以了吗？

作者: 图王 时间: 2017-7-19 22:06
授权访问IP

作者: shazhumaiyou 时间: 2017-7-19 22:37
   if ($http_user_agent ~* (baiduspider|soso|sogou|sohu-search|yodao|YoudaoBot|robozilla|msnbot|MJ12bot|NHN|Twiceler)) {
      return 403;
      }

作者: fansfan 时间: 2017-7-19 22:57

我是人发表于 2017-7-19 20:07
谷歌有个这个。。。每页加上。

首先360 搜狗就极度不要脸各种禁止和屏蔽还是会不要脸的来抓取投诉也没什么用

作者: wtycn 时间: 2017-7-19 23:02
meta 和 robots 都是防君子的。

解决方法：屏蔽UA，屏蔽搜索引擎所在AS号的所有网段。

作者: 我是人 时间: 2017-7-19 23:11

fansfan 发表于 2017-7-19 22:57
首先360 搜狗就极度不要脸各种禁止和屏蔽还是会不要脸的来抓取投诉也没什么用 ...

不要脸的只能用不要脸的处理方法了。。。

各种规则各种屏蔽各种防火墙。

欢迎光临全球主机交流论坛 (https://lilynana.eu.org/)