关于大数据量的处理
0
悬赏园豆：5
[待解决问题]
情况如下：
要获取机房所有交换机、服务器的流量数据，可以从两个数据源接口获得，但是两个接口采集的数据都不是太稳定，两个接口的数据都是两分钟采集一次，现在想做一个备份，定时同步两个接口的数据，并比较分析两个接口的数据，如果都正常选择其中之一，如果一个接口有，一个没有，则选取有的作为此刻的流量，如果都没有则这一时刻的流量为空，存入本地数据库，获取流量的时候直接从本地数据库获取即可。
遇到的问题：
1. 我们要求获取的数据具有相对的准确性，由于交换机，服务器较多，获取的流量数据也很多，用何种方法快速读取两个接口这么多的数据？
2. 读到数据以后如何高效的比对，并存入数据库？
所有回答(1)
0
要求实时么？用Haddoop试试
要求啊，大神，求赐教！
@Thinking in study: 对应你们的第二个问题：要求高效对比，用Hadoop是可以的。 第一个问题要实时把数据拿下来，为什么只有两个接口可以拿数据？不可以多个么？还有你们后台用的什么语言？
@开天opensky: 就给我开了两个接口，用来读取网络流量的，只是每个接口返回的数据都不是太稳定，所以要分别读取出来，并在二者数据在本地汇总，后台用的是php。
@Thinking in study: 这个接口不太稳定，得找他们提供接口的第三方把，让他们搞稳定了？搞了半天，还以为你们自己写的接口拿数据呢？
