怎样不让百度或者是谷歌等搜索引擎抓取到自己网站上的信息？
0
悬赏园豆：30
[已解决问题]
解决于 2013-01-28 11:13
前些日子，客户的一个网站，是一个内网。客户反映说是，自己网站上的信息泄漏到了网上。客户发过来关键词，我在谷歌里面检索，确实搜到了信息。可前几天我在网站中做了设置，加了robots文件，做了这样的设置：
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
User-agent: Googlespider
Disallow: /
User-agent: googlespider
Disallow: /
可还是能在谷歌上通过检索搜到本网站的信息。谷歌进行搜索时，
求各位大神，想想办法。
还有就是，通过网址，人们就可以直接下载，但是网站不想这样，因为本网站是一个内网，必须通过验证登陆，我应该怎样设置，才能在通过网址下载时，先进行登陆操作。
求大神指点！
最佳答案
0
一般来说，你设置了robots后，可能要过段时间搜索结果才会消失吧。
另外下载的问题，你可以用IHttpHandler拦截下载的请求，并验证登录，如果没有登录则跳转到登录页面，如果有登录，则输出下载的内容。
收获园豆：30
其他回答(4)
1
google应该还好，你加上robot之后过段时间就不会收录，不过国内一些搜索引擎很不遵守robot，即时你有robot他也强行收录，所以最好的办法是给全站加上身份验证。。。。或者判断是seo的spider 就返回404
这方法不错，我可以试试
类似于这样路径中的文件夹和文件却不受程序中身份验证的控制。我想在进入uploader文件夹时就必须经过身份验证。
0
最简单的办法，在ihttpmodule里面加上判断，如果没有登录导向到登录页面
或是使用form身份验证，把你需要验证的目录设为需要登录才可访问
怎样把需要验证的目录设为需要登录才可访问？求解!
@KissAngels:
百度form身份验证
0
加上访问限制，只能登录用户才可以访问。
这是问题的关键，我就是想知道怎样加访问限制。
0
这个网站应该是公司内部的门户网站一类性质的把？因而不需要登录吧？姑且认为它不需登录。
（1）既然是内网，（我姑且理解为是局域网），为什么外网能够访问？是不是网关设置出了错。另外，既然是内网的话，应该可以设置访问IP段吧。
（2）你指的内网是挂在网络中，但是只希望内部人士能访问？如果是这种意义上的内网，还是建议你加访问限制吧，需要登录才能访问。
我所说的内网就指的是内网挂在网络中，只希望内部人士通过账户名和密码进行访问。其他人却可以直接点击连接下载，我想实现必须登录才能下载的功能，哪怕是点击类似于这样的路径。
