首页新闻找找看学习计划

对于一个网站怎么限制或者屏蔽蜘蛛和采集,不是业务上的需求只是想了解一下原理和对策

0
[已解决问题] 解决于 2014-12-05 18:44

对于一个网站怎么限制或者屏蔽蜘蛛和采集,不是业务上的需求只是想了解一下原理和对策。

最好能分别说一下防蜘蛛和防采集

北在北方的主页 北在北方 | 菜鸟二级 | 园豆:206
提问于:2014-12-04 22:52
< >
分享
最佳答案
1

看你是对付君子还是对付流氓。

对付君子的话,只要一个Robots.txt,上面写着,“谢绝推销员”就行了。

对付流氓的话,最终极的方法是网站不对外开放,内联网,或者找一下中国防火墙之父,

咨询一下,哈哈。

你要知道中国花了多少钱,搞了个巨牛的防火墙,可是为了实现四个现代化,

我们程序员需要访问Google,所以我们还是练就了一身的穿墙术。

奖励园豆:5
爱编程的大叔 | 高人七级 |园豆:30247 | 2014-12-05 09:45

上google, 不用学穿墙术, 直接用www.gaomn.com.  哈哈。 

回到楼主的问题:

防蜘蛛一般写Robots.txt。不过它们流氓不一定遵守或响应很慢。  

防采集这问题就大了, 正如大叔所说, 我可以看到, 我就能写程序采集到。。。 

防采集常用的一些方法

1:判断这IP访问了多少个页面, 否则让它滚蛋。

2:在内容里面加一些隐藏的版权标记。 PS:这个也不能真正防采集。。。

3:要登陆才能浏览; PS:不过这个也能模拟登陆上。

 

 

问天何必 | 园豆:3301 (老鸟四级) | 2014-12-05 13:17
其他回答(1)
0

http://www.im286.com/thread-8139723-1-1.html,相关文章太多,你去看看

Halower | 园豆:1723 (小虾三级) | 2014-12-05 00:51
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册