查了各方文档,最后定位在DOWNLOAD_HANDLERS_BASE
这里。
{
'file': 'scrapy.core.downloader.handlers.file.FileDownloadHandler',
'http': 'scrapy.core.downloader.handlers.http.HttpDownloadHandler',
'https': 'scrapy.core.downloader.handlers.http.HttpDownloadHandler',
's3': 'scrapy.core.downloader.handlers.s3.S3DownloadHandler',
}
默认的DOWNLOAD_HANDLERS
是上面这样的,好像要自己定义https
的实现,现在问题是,我不知道原本的https是怎么写的,所以我也不知道咋定义...有没有改过这个的,源码在哪个文件,我需要参考一下默认的是怎么写的...
另外scrapy 忽略证书还有其他简单点的方法么...
request倒是有忽略证书的参数...