我在抓google数据, google现在改成ajax填充内容页,我抓http包后发现。有一个地址,是请求之后,服务端返回的,然后再次请求
我发现通过httpwebrequest 不能得到这个真实的地址
譬如我请求的是,http://www.google.com.hk/#q=win7&fp=ae043db99f22329b
但是其实我抓包发现,请求的是 http://www.google.com.hk/search?q=win7&fp=ae043db99f22329b&tch=1&ech=4&psi=CwR4TvybFqbmiAK-mtnYCg.1316488207048.1
这个地址。我知道如何通过程序,能得到这个真实的地址呢?
hi 那你为什么不直接用 http://www.google.com.hk/search?q=win7&fp=ae043db99f22329b&tch=1&ech=4&psi=CwR4TvybFqbmiAK-mtnYCg.1316488207048.1
我觉得是Redirect到了这。
抓包分析的路径,根本不可行,google这样做,1是为了加快速,2就是为了防止抓取