用户有这么一个需求
C#开发的网站上有PDF文件,但是这些PDF文件不能让任何搜索引擎(Google,Bing等)搜索到.
只能通过URL链接发给客户
请问有解决方案吗
谢谢了
编辑robots.txt文件,禁止百度、谷歌、必应这些搜索引擎抓取网站内容
我们用Umbraco CMS系统来上传PDF,也就是说可能上传一个新的PDF就会有一个新的链接,除非动态写入robots.txt,但有些难度
有其他方法吗
@新西兰程序员: 1、你开启整站屏蔽就可以了,就跟天猫一样,不让百度爬虫抓取;
2、你上传一个新的pdf也只是在相应的数据库中有记录,百度这些搜索引擎是抓取你程序的页面,怎么可能会需要动态写入robots.txt文件了。
PDF文件加密更好
怎么加密? 我需要URL链接能访问到该网站
我们用Umbraco CMS系统来上传PDF,也就是说可能上传一个新的PDF就会有一个新的链接,除非动态写入robots.txt,但有些难度
有其他方法吗
@新西兰程序员: 内网
你在网站内没有任何链接到PDF文件的话,搜索引擎应该找不到的。
robots.txt 可以指定某个目录,不让搜索引擎收录的
Disallow: /bin
不让搜索引擎收录bin目录