es聚合查询结果可以直接存到另一个索引中吗

悬赏园豆：30 [已解决问题] 解决于 2022-12-28 09:49

es的聚合查询查出来一个数据量很大的结果, 需要能高效的分页(类似scroll查询)或者能够插入到另一个索引中然后再查询; 有大佬有好的想法能够怎么处理聚合出来的结果欢迎提出想法万分感谢

es elasticsearch aggregate DSL java

Hugiee | 初学一级 | 园豆：182
提问于：2022-11-07 18:57

< >

最佳答案

没办法... 只能自己通过减少数据宽度然后保存进新的索引里面了, 最后走多次查询吧

Hugiee | 初学一级 |园豆：182 | 2022-12-28 09:47

其他回答(1)

elastic search有管道聚合，可以对前面的聚合结果进一步聚合。先看看管道聚合能不能解决你的需求。

收获园豆：30

天方 | 园豆：5432 (大侠五级) | 2022-11-08 02:20

不大行... 聚合拿到数据会时间比较长, 拿到数据之后如果再用bucket_sort来分页的话会很慢, 而且目前没有找到除了from-size浅分页之外的分页方法(from-size的话每次都是重新查询,太慢了);直接拿回来的聚合数据可能数量级是几千或者几万可能造成OOM;

支持(0) 反对(0) Hugiee | 园豆：182 (初学一级) | 2022-11-08 08:40

@Hugiee: 要更高效点的可以试下clickhouse之类的olap数据库。

支持(0) 反对(0) 天方 | 园豆：5432 (大侠五级) | 2022-12-28 00:08

清除回答草稿

您需要登录以后才能回答，未注册用户请先注册。

欢迎，请先 登录 或者 注册 。