我的pycharm好像有问题 朋友电脑上能执行下载图片 拷贝到我电脑上就不能了
from scrapy.pipelines.images import ImagesPipeline
import scrapy
class ImgspiderdemoPipeline(ImagesPipeline):
def get_media_requests(self, item, info):
print( 'get_media_requests执行了')
lists=len(item["image_urls"])
for index in lists:
url=item["image_urls"][index]
name=item["imagename"][index]
yield scrapy.Request(url=url,meta={"name":name})
def file_path(self, request, response=None, info=None):
print( 'file_path执行了')
print(response.meta["name"])
return response.meta["name"]+".jpg"
def process_item(self, item, spider):
print(item["imagename"][0])
return item
ITEM_PIPELINES = {
'imgspiderdemo.pipelines.ImgspiderdemoPipeline': 300,
}
IMAGES_STORE = './meize' # 指定图片存储的目录
重写了插件,没报错但好像没效果没有执行,图片没下载谁知道怎么回事
你这个是你的爬虫文件,你去在你的爬虫文件 打印你的item看看,看看有数据不
试试不指定路径,或者路径写绝对路径试试
下载文件、图片需要安装 Pillow
python -m pip install --upgrade pip
python -m pip install --upgrade Pillow