目前数据量上百亿级,搜索数据太难,我网上找了很久,用ELK来实现,但是需要导数据到es中,数据量太大,而且需要服务器来存储,想就目前的数据实现快速检索,有时哪么好的思路嘛?
是某个表慢吗?你说的百亿级是说单表就有百亿级数据?如果这样的话估计索引都没什么卵用了,试试分表、读写分离等措施吧
不是某个表,有mysql数据库,也有hbase数据库,HDFS这三个数据库合起来有那么多数据,我要弄一个智能检索,能快速秒级查询的功能....
@polluente: 哦,hbase不了解,不过这个数据库是建立在分布式文件系统之上的吧,专门用来处理大数据的,本身就是分布式的,应该好解决。mysql的话如果索引效果不好,只能是分库分表了。
@会长: 你可能没理解我的意思,比如我要搜索一个事件,数据库里面所有关于该事件的关联信息都会快速查找出来,不管怎么分库分表,全盘扫描都不是最优解啊。。。