如何屏蔽百度蜘蛛 Baiduspider-render

悬赏园豆：30 [已解决问题] 解决于 2025-11-03 19:06

今天发现一个用于 ajax 请求的域名被 Baiduspider-render 大量请求，请求的 url 仅仅返回一个状态码，但也占用了不少带宽，请问如何通过 robots.txt 屏蔽？

Mozilla/5.0 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

dudu | 高人七级 | 园豆：24593
提问于：2025-11-03 18:33

< >

最佳答案

原来是这个 web 应用中的 robots.txt 写错了，漏写了冒号

User-Agent *
Disallow /

改为

User-Agent: *
Disallow: /

就可以了

dudu | 高人七级 |园豆：24593 | 2025-11-03 19:05

清除回答草稿

您需要登录以后才能回答，未注册用户请先注册。

欢迎，请先 登录 或者 注册 。