首页 新闻 搜索 专区 学院
当前位置: 博问标签 /webmagic/未解决/ 已解决
0
回答数

在爬取只支持SSL v1.2的网站会有SSL的异常抛出。,解决

希望大佬教一下 注意: 0.7.3 版本对SSL的并不完全,如果是直接从Maven中央仓库下载依赖, 在爬取只支持SSL v1.2的网站会有SSL的异常抛出。 解决方案:。 1.等作者的 0.7.4的
0
回答数

webmagic 获取所有详情数据,目前只获取一页的数据

package cn.g4b.qhc.micro.service.webmagic; import us.codecraft.webmagic.Page; import us.codecraft.we
1
回答数

10 webmagic github里的官方例子报错了javax.net.ssl.SSLException: Received fatal alert: protocol_version

import us.codecraft.webmagic.Page; import us.codecraft.webmagic.Site; import us.codecraft.webmagic.S
1
回答数

5 Java webMagic 如何爬取知乎回答?

用webmagic抓取知乎某个问题下的所有回答时候,每次只能获取前两条回答。 查了各种博客,试了各种方法,总是只返回2条回答,或者直接401。 o.a.h.impl.execchain.MainCli
1
回答数

20 通过Heritrix或者webmagic如何爬去指定url里的内容?

现在我有host和url,如何爬取这个url对应的内容呢?求大神指教,用heritrix或者webmagic