首页 新闻 会员 周边 捐助

求助,python爬取的数据和页面显示的不一致

0
[待解决问题]

import requests
from bs4 import BeautifulSoup
import csv
import json

https://www.numbers.link/data-list/EOSYGSG313

url = "https://www.numbers.link/nl-dataplan-management-service/proxy-public/data-round/list"
headers = { "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36" }
data = {"page":1,"limit":10,"planId":2}
data = json.dumps(data)
resp = requests.post(url=url,data=data,headers=headers)
dic =resp.json() # print(resp.text)

print("获取的访问地址:" + resp.url)# print("开奖期数" + dic['data']['items']['roundId'])# print("获取到的参数:" , resp.json()['data']['items'])
print(dic['data']['meta'])
for i in dic['data']['items'] : print( i["roundId"],i["compositeResult"] ) # print(i)
print("END=")

菜鸟要飞翔的主页 菜鸟要飞翔 | 菜鸟二级 | 园豆:202
提问于:2022-12-28 15:39
< >
分享
所有回答(2)
0

还需要解决吗?需要的话评论我一下

KikN | 园豆:38 (初学一级) | 2023-03-23 10:56
0

可能的原因:网站是前后端分离的,那个url其实不是数据API;API的数据,不一定是直接在页面上展示的,可能通过了某些js的函数二次计算了;可能是其他特殊的反爬虫手段;
解决办法:要不要试试 无头浏览器来采集下数据? 确定那个URL是不是数据API? 确认下是不是二次计算了? 不行就换个网站,天涯何处无芳草~

人人从众 | 园豆:204 (菜鸟二级) | 2023-04-16 22:31
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册