首页 新闻 搜索 专区 学院

关于大数据量的处理

0
悬赏园豆:5 [待解决问题]

情况如下:

   要获取机房所有交换机、服务器的流量数据,可以从两个数据源接口获得,但是两个接口采集的数据都不是太稳定,两个接口的数据都是两分钟采集一次,现在想做一个备份,定时同步两个接口的数据,并比较分析两个接口的数据,如果都正常选择其中之一,如果一个接口有,一个没有,则选取有的作为此刻的流量,如果都没有则这一时刻的流量为空,存入本地数据库,获取流量的时候直接从本地数据库获取即可。

 遇到的问题:

1. 我们要求获取的数据具有相对的准确性,由于交换机,服务器较多,获取的流量数据也很多,用何种方法快速读取两个接口这么多的数据?

2. 读到数据以后如何高效的比对,并存入数据库?

Thinking in study的主页 Thinking in study | 初学一级 | 园豆:2
提问于:2015-12-10 16:09
< >
分享
所有回答(1)
0

要求实时么?用Haddoop试试

早起Abc | 园豆:279 (菜鸟二级) | 2015-12-11 15:02

要求啊,大神,求赐教!

支持(0) 反对(0) Thinking in study | 园豆:2 (初学一级) | 2015-12-11 15:14

@Thinking in study:  对应你们的第二个问题:要求高效对比,用Hadoop是可以的。 第一个问题要实时把数据拿下来,为什么只有两个接口可以拿数据?不可以多个么?还有你们后台用的什么语言?

支持(0) 反对(0) 早起Abc | 园豆:279 (菜鸟二级) | 2015-12-11 15:51

@开天opensky: 就给我开了两个接口,用来读取网络流量的,只是每个接口返回的数据都不是太稳定,所以要分别读取出来,并在二者数据在本地汇总,后台用的是php。

支持(0) 反对(0) Thinking in study | 园豆:2 (初学一级) | 2015-12-11 16:37

@Thinking in study: 这个接口不太稳定,得找他们提供接口的第三方把,让他们搞稳定了?搞了半天,还以为你们自己写的接口拿数据呢?

支持(0) 反对(0) 早起Abc | 园豆:279 (菜鸟二级) | 2015-12-11 17:25
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册