首页 新闻 搜索 专区 学院

scrapy 异常状态码使用代理只有第一个请求生效?

0
[已关闭问题] 关闭于 2019-10-23 09:33

下载中间件的部分代码:

    def process_response(self, request, response, spider):
        status_code = [403]
        if response.status in status_code:
            spider.logger.debug('Error ======= %s %s , 开始使用 Proxy 代理' % (response.status, request.url))
            import importlib
            proxy = ProxyMiddleware(settings=settings)
            request.meta['proxy'] = proxy.proxy_server
            request.headers['Proxy-Authorization'] = proxy.proxy_authorization
            return request
        else:
            return response

按理说,只要是状态码是403的,都会使用这个代理,直到不是403为止。

事实上运行截图:

会发光的主页 会发光 | 菜鸟二级 | 园豆:266
提问于:2019-10-21 17:06
< >
分享
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册