最近在采集海关数据,发现网站有反爬机制,一旦F12进入就会debugger,没办法分析,
最主要的是请求的地址还莫名的加上了一个很长的参数,
网址:http://43.248.49.97/queryData/queryDataList
在展示数据的页面看到了
var url="/queryData/getQueryDataListByWhere";
$("#div1").load(url,param,function () {
$("#div1").show();
$("#test").hide();
});
可是在network中发现请求中加上了一个很长的参数,而且也不知道是怎么加的
懂前端发爬的朋友麻烦给分析分析,不吝赐教!!!
Chrome的話 Ctrl + F8 可以停用中斷點
试过,这样不能根本解决问题,主要是后面的请求url中的参数是如何加上的
@kakaok:
你的url我這沒辦法開,顯示404錯誤,有地區限制?
@RosonJ: http://43.248.49.97 这样就可以了,里面有个iframe
@kakaok:
http://43.248.49.97/1tds8YZ9Yr1l/LfOZQRheblja.5780574.js
關鍵在這個 js,做了混淆得花點時間
看起來url後那段字串,是將參數先做escape再加密,但目前只找到escape,加密還在找
@RosonJ: 你还能找到线索,我还是一头雾水,js反爬真是太厉害了
钱到位我可以帮你爬-.-,debug而已反debug就可以了
这样就不会反复跳了
不仅仅是debug的问题,如果你这可以解决我们可以谈一谈
@kakaok: 你要爬取的最终的内容是什么,大概能出多少钱,时间多久说下
这种东西...思路有问题。
也主要是不少新手把能写一个http就当作会代码会爬虫了。
只提示一下可以改变思路做,其他的就不多说了。
这种东西既有一定的技术门槛,还有法律边界,且行且留心~~我现在是如抢歌这些都算了,不小心说不定就进去了,这年头这事很多~~
可否提示下思路方向,现在已经陷入死循环了
@kakaok: 别人的程序就是完整过程,俗称外挂
哥们问题解决了吗?遇到同样问题了