技术帝进 怎么更准确的判断访客和蜘蛛 ，人民币求购

sese88

怎么更准确的判断访客和蜘蛛.能弄的短信PM我
只会带蜘蛛标识的Baiduspider 请不要PM我，这个方法我也会，但是不准确

wmfy808

采集？？？？

wzwen

供参考

                                "TencentTraveler",
                                "Baiduspider+",
                                "BaiduGame",
                                "Googlebot",
                                "msnbot",
                                "Sosospider+",
                                "Sogou web spider",
                                "ia_archiver",
                                "Yahoo! Slurp",
                                "YoudaoBot",
                                "Yahoo Slurp",
                                "MSNBot",
                                "Java (Often spam bot)",
                                "BaiDuSpider",
                                "Voila",
                                "Yandex bot",
                                "BSpider",
                                "twiceler",
                                "Sogou Spider",
                                "Speedy Spider",
                                "Google AdSense",
                                "Heritrix",
                                "Python-urllib",
                                "Alexa (IA Archiver)",
                                "Ask",
                                "Exabot",
                                "Custo",
                                "OutfoxBot/YodaoBot",
                                "yacy",
                                "SurveyBot",
                                "legs",
                                "lwp-trivial",
                                "Nutch",
                                "StackRambler",
                                "The web archive (IA Archiver)",
                                "Perl tool",
                                "MJ12bot",
                                "Netcraft",
                                "MSIECrawler",
                                "WGet tools",
                                "larbin",
                                "Fish search",

永盛

用GA

wdlth

rdns whois

sese88

wzwen 发表于 2012-10-14 12:30
供参考

这个方法不对，有时候蜘蛛来访问不带标识的

gongyiyi

wzwen 发表于 2012-10-14 12:30
供参考

http://www.niumowang.org/program/php-robots/

sese88

永盛 发表于 2012-10-14 12:32
用GA

GA是什么 方法

gongyiyi

+20分吧

百度蜘蛛IP
220.181.19.* 百度蜘蛛
159.226.50.* 百度蜘蛛
202.108.11.* 百度蜘蛛
202.108.22.* 百度蜘蛛
202.108.23.* 百度蜘蛛
202.108.249.* 百度蜘蛛
202.108.250.* 百度蜘蛛
61.135.145.* 百度蜘蛛
61.135.146.* 百度蜘蛛

谷歌蜘蛛IP
216.239.33.* google蜘蛛
216.239.35.* google蜘蛛
216.239.37.* google蜘蛛
216.239.39.* google蜘蛛
216.239.51.* google蜘蛛
216.239.53.* google蜘蛛
216.239.55.* google蜘蛛
216.239.57.* google蜘蛛
216.239.59.* google蜘蛛
64.233.161.* google蜘蛛
64.233.189.* google蜘蛛
66.102.11.* google蜘蛛
66.102.7.* google蜘蛛
66.102.9.* google蜘蛛
66.249.64.* google蜘蛛
66.249.65.* google蜘蛛
66.249.66.* google蜘蛛
66.249.71.* google蜘蛛
66.249.72.* google蜘蛛
72.14.207.* google蜘蛛

搜搜蜘蛛IP
219.133.40.* 搜搜蜘蛛
202.96.170.* 搜搜蜘蛛
202.104.129.* 搜搜蜘蛛
61.135.157.* 搜搜蜘蛛

网易蜘蛛IP
202.106.186.* 网易蜘蛛
202.108.36.* 网易蜘蛛
202.108.44.* 网易蜘蛛
202.108.45.* 网易蜘蛛
202.108.5.* 网易蜘蛛
202.108.9.* 网易蜘蛛
220.181.12.* 网易蜘蛛
220.181.13.* 网易蜘蛛
220.181.14.* 网易蜘蛛
220.181.15.* 网易蜘蛛
220.181.28.* 网易蜘蛛
220.181.31.* 网易蜘蛛
222.185.245.* 网易蜘蛛
202.165.100.* 3721蜘蛛

雅虎蜘蛛IP
66.196.90.* yahoo蜘蛛
66.196.91.* yahoo蜘蛛
68.142.249.* yahoo蜘蛛
68.142.250.* yahoo蜘蛛
68.142.251.* yahoo蜘蛛
202.165.102.* yahoo中国蜘蛛
202.160.178.* yahoo中国蜘蛛
202.160.179.* yahoo中国蜘蛛
202.160.180.* yahoo中国蜘蛛
202.160.181.* yahoo中国蜘蛛
202.160.183.* yahoo中国蜘蛛
72.30.101.* yahoo蜘蛛
72.30.102.* yahoo蜘蛛
72.30.103.* yahoo蜘蛛
72.30.104.* yahoo蜘蛛
72.30.107.* yahoo蜘蛛
72.30.110.* yahoo蜘蛛
72.30.111.* yahoo蜘蛛
72.30.128.* yahoo蜘蛛
72.30.129.* yahoo蜘蛛
72.30.131.* yahoo蜘蛛
72.30.133.* yahoo蜘蛛
72.30.134.* yahoo蜘蛛
72.30.135.* yahoo蜘蛛
72.30.216.* yahoo蜘蛛
72.30.226.* yahoo蜘蛛
72.30.252.* yahoo蜘蛛
72.30.97.* yahoo蜘蛛
72.30.98.* yahoo蜘蛛
72.30.99.* yahoo蜘蛛
74.6.74.* yahoo蜘蛛

219.142.118.* 新浪蜘蛛
219.142.78.* 新浪蜘蛛

61.135.132.* sohu蜘蛛
220.181.26.* sohu蜘蛛