我遇到了一个奇怪的问题。我用HttpWebRequest 抓取网页信息,所有页面都可以抓到,但 唯独有URLREWRITE的页面抓不到。下面是我的代码
如果本地写死HOST能抓取到,但换成WebProxy就不成了,请高人指点,感谢
可能叙述的不清楚,是这样,我服务器上用IIRF做的URLREWRITE,然后用代理程序访问站点。但我在IIRF的日志里发现所有请求到站点的URL都是带域名的,
类似这样
而不通过代理请求过去的是
这样的
所以想请教一下为什么!
“本地写死HOST” 是什么意思
“URLREWRITE”是指目标页面做了地址重写?
URLREWRITE的页面应该分两次得到页面,
第一次先得到重定向的URL
然后第二次再次访问重定向以后的URL得到最终的页面HTMLSource