PHP处理大数据

悬赏园豆：5 [待解决问题]

我从接口中请求用户的信息，用户信息量太多，有上万条。

每请求一次，它会返回50条数据，一个 has_next来判断有没有下一条数据，和一个last_fans_id用来下一次查询的参数。

如果直接循环读取的话，会很卡。

请问有没有别高效率的方法来读取数据，并将数据存进数据库。

php

阿鸠 | 初学一级 | 园豆：2
提问于：2017-07-20 17:03

< >

所有回答(6)

好大的数据，居然都上万条了，需要Apache Hotdog才能处理了。：<

爱编程的大叔 | 园豆：30839 (高人七级) | 2017-07-20 17:06

上万也不算多吧

支持(0) 反对(0) 阿鸠 | 园豆：2 (初学一级) | 2017-07-20 17:09

@阿鸠: 给你个赞~\(≧▽≦)/~

支持(0) 反对(0) 与阳光握手言和 | 园豆：373 (菜鸟二级) | 2017-07-20 17:13

@与阳光握手言和: 什么意思啊？伙计

支持(0) 反对(0) 阿鸠 | 园豆：2 (初学一级) | 2017-07-20 17:14

大叔，Apache Hotdog？我也百度不出是什么啊

支持(0) 反对(0) 阿鸠 | 园豆：2 (初学一级) | 2017-07-20 17:30

如果是第三方接口，不能一次性读取全部数据，就缓存数据

TCG2008 | 园豆：1150 (小虾三级) | 2017-07-20 20:12

每次最多就读取50条嘛，用循环去读取很卡，是不是要用多线程的方法去读取数据

支持(0) 反对(0) 阿鸠 | 园豆：2 (初学一级) | 2017-07-20 22:50

建议采用缓存和多线程技术结合解决！

云鹤wang | 园豆：204 (菜鸟二级) | 2017-07-21 11:09

php支持多线程吗

支持(0) 反对(0) 阿鸠 | 园豆：2 (初学一级) | 2017-07-24 11:39

会很卡的意思是你请求的接口太慢吗，那就没办法了，如果不是接口慢可以每次读完存库然后再去读在存库就好啦。mysql每次存50条不会有压力的。

半个懒惰的热情开发 | 园豆：206 (菜鸟二级) | 2017-07-21 11:27

如果我不使用sleep（）的话，就卡住了。使用sleep的话就很慢

支持(0) 反对(0) 阿鸠 | 园豆：2 (初学一级) | 2017-07-22 09:30

不太明白你问题的意思，是查询数据库慢吗？加索引

KingMi | 园豆：1344 (小虾三级) | 2017-07-21 17:36

不是啊我是从接口请求回来的数据

支持(0) 反对(0) 阿鸠 | 园豆：2 (初学一级) | 2017-07-22 09:15

接口的问题，非 php 问题

mechnaic | 园豆：225 (菜鸟二级) | 2017-11-03 11:47

清除回答草稿

您需要登录以后才能回答，未注册用户请先注册。

欢迎，请先 登录 或者 注册 。