下载中间件的部分代码:
def process_response(self, request, response, spider):
status_code = [403]
if response.status in status_code:
spider.logger.debug('Error ======= %s %s , 开始使用 Proxy 代理' % (response.status, request.url))
import importlib
proxy = ProxyMiddleware(settings=settings)
request.meta['proxy'] = proxy.proxy_server
request.headers['Proxy-Authorization'] = proxy.proxy_authorization
return request
else:
return response
按理说,只要是状态码是403
的,都会使用这个代理,直到不是403
为止。
事实上运行截图: