首页新闻找找看学习计划

Asp.net Core程序百度站长工具PC抓取正常,移动抓取400错误:参数错误

0
悬赏园豆:10 [已解决问题] 解决于 2017-01-24 07:11

1.做了一个简单页面index.html,放在wwwroot下:

<!DOCTYPE html>
<html>
<head>
<meta charset="UTF-8">
<title>Bootstrap b6test</title>


</head>
<body>
ok
</body>
</html>

2百度站长工具抓取测试情况

(1)PC抓取情况

ok

返回HTTP头:

HTTP/1.1 200 OK
Server: nginx/1.11.1
Date: Fri, 13 Jan 2017 09:03:41 GMT
Content-Type: text/html
Content-Length: 627
Connection: close
Last-Modified: Fri, 13 Jan 2017 09:01:47 GMT
Accept-Ranges: bytes
ETag: "1d26d7bab544df3"
X-Powered-By: ASP.NET

抓取网页内容(只展现前200K):

<!DOCTYPE html>
<html>
<head>
    <meta charset="UTF-8">
    <title>Bootstrap b6test</title>
    <link rel="stylesheet" href="https://maxcdn.bootstrapcdn.com/bootstrap/4.0.0-alpha.6/css/bootstrap.min.css" integrity="sha384-rwoIResjU2yc3z8GV/NPeZWAv56rSmLldC3R/AZzGRnGxQQKnKkoFVhFQhNUwEyJ" crossorigin="anonymous">

<!-- Latest compiled and minified JavaScript -->
<script src="https://maxcdn.bootstrapcdn.com/bootstrap/4.0.0-alpha.6/js/bootstrap.min.js" integrity="sha384-vBWWzlZJ8ea9aCX4pEW3rVHjgjt7zpkNpZk+02D9phzyeVkE+jo0ieGizqPLForn" crossorigin="anonymous"></script>
  
</head>
<body>
ok
</body>
</html>

(2) 移动抓取测试情况

抓取异常信息: 访问参数错误  查看帮助 

返回HTTP头:

HTTP/1.1 400 Bad Request
Server: nginx/1.11.1
Date: Fri, 13 Jan 2017 10:00:37 GMT
Content-Length: 0
Connection: close
X-Powered-By: ASP.NET

3.用asp .net mvc 5.2网站移动抓取 测试情况
OK

所以排除了被测试页面有问题,只能是asp .net core 网站的问题。

有谁知道这是什么原因没有?

freewzx2005的主页 freewzx2005 | 初学一级 | 园豆:8
提问于:2017-01-16 20:51
< >
分享
最佳答案
0

400 Bad Request

Server: nginx/1.11.1

看日志把请求报文完整的记录下来看看就知道了

收获园豆:10
吴瑞祥 | 高人七级 |园豆:28675 | 2017-01-16 22:33
其他回答(3)
0

建议看一下ASP.NET Core的日志中对应的错误

dudu | 园豆:41066 (高人七级) | 2017-01-16 21:23
0

有个参数是否允许爬虫的


James.Ying | 园豆:1472 (小虾三级) | 2017-01-17 08:45

求教详细情况

支持(0) 反对(0) freewzx2005 | 园豆:8 (初学一级) | 2017-01-18 08:35
0

问题有解决吗?我也遇到了这个情况,似乎是ua中含有特殊字符。我测试了下cookies如果放些特殊字符也会直接报400。楼主是怎么解决的 方便分享下吗?

yuabd | 园豆:202 (菜鸟二级) | 2019-07-21 22:32
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册