首页 新闻 搜索 专区 学院

PHP处理大数据

0
悬赏园豆:5 [待解决问题]

我从接口中请求用户的信息,用户信息量太多,有上万条。

每请求一次,它会返回50条数据,一个 has_next来判断有没有下一条数据,和一个last_fans_id用来下一次查询的参数。

如果直接循环读取的话,会很卡。

请问有没有别高效率的方法来读取数据,并将数据存进数据库。

php
阿鸠的主页 阿鸠 | 初学一级 | 园豆:2
提问于:2017-07-20 17:03
< >
分享
所有回答(6)
0

好大的数据,居然都上万条了,需要Apache Hotdog才能处理了。:<

爱编程的大叔 | 园豆:30743 (高人七级) | 2017-07-20 17:06

上万也不算多吧

支持(0) 反对(0) 阿鸠 | 园豆:2 (初学一级) | 2017-07-20 17:09

@阿鸠: 给你个赞~\(≧▽≦)/~

支持(0) 反对(0) 与阳光握手言和 | 园豆:373 (菜鸟二级) | 2017-07-20 17:13

@与阳光握手言和: 什么意思啊?伙计

支持(0) 反对(0) 阿鸠 | 园豆:2 (初学一级) | 2017-07-20 17:14

大叔,Apache Hotdog?我也百度不出是什么啊

支持(0) 反对(0) 阿鸠 | 园豆:2 (初学一级) | 2017-07-20 17:30
0

如果是第三方接口,不能一次性读取全部数据,就缓存数据

TCG2008 | 园豆:1145 (小虾三级) | 2017-07-20 20:12

每次最多就读取50条嘛,用循环去读取很卡,是不是要用多线程的方法去读取数据

支持(0) 反对(0) 阿鸠 | 园豆:2 (初学一级) | 2017-07-20 22:50
0

建议采用缓存和多线程技术结合解决!

云鹤wang | 园豆:204 (菜鸟二级) | 2017-07-21 11:09

php支持多线程吗

支持(0) 反对(0) 阿鸠 | 园豆:2 (初学一级) | 2017-07-24 11:39
0

会很卡的意思是你请求的接口太慢吗,那就没办法了,如果不是接口慢可以每次读完存库然后再去读在存库就好啦。mysql每次存50条不会有压力的。

半个懒惰的热情开发 | 园豆:206 (菜鸟二级) | 2017-07-21 11:27

如果我不使用sleep()的话,就卡住了。使用sleep的话就很慢

支持(0) 反对(0) 阿鸠 | 园豆:2 (初学一级) | 2017-07-22 09:30
0

不太明白你问题的意思,是查询数据库慢吗?加索引

KingMi | 园豆:1098 (小虾三级) | 2017-07-21 17:36

不是啊    我是从接口请求回来的数据

支持(0) 反对(0) 阿鸠 | 园豆:2 (初学一级) | 2017-07-22 09:15
0

接口的问题,非 php 问题 

mechnaic | 园豆:225 (菜鸟二级) | 2017-11-03 11:47
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册