首页 新闻 赞助 找找看

C#删除Mongdb字段中重复的字段

0
悬赏园豆:15 [已解决问题] 解决于 2019-05-24 16:29

我写了个脚本文件,但不知如何用if 筛选 并去除 ,求大神解答,救急救急

Forestchen的主页 Forestchen | 初学一级 | 园豆:96
提问于:2019-05-24 08:40
< >
分享
最佳答案
0

StartDateTime是相同的没毛病啊,就这批数据而言,id不同说明数据本身不是重复的,只是每个数据的时间相同;
任务1 24号开始
任务2 24号开始
任务3 24号开始
这里的任务对应你截图里面的ID,每个任务都是24号开始,你去重是准备留下任务几?

收获园豆:15
顾星河 | 大侠五级 |园豆:7169 | 2019-05-24 09:06

这是小部分,数据是收集过来的,有几百万条,因为程序的错误,收集不准确,需要StartDateTime中相同的删除

Forestchen | 园豆:96 (初学一级) | 2019-05-24 09:09

就是不需要数据的时间相同,要把数据时间删除的删除

Forestchen | 园豆:96 (初学一级) | 2019-05-24 09:10

@Forestchen: 可以用C#写个逻辑:根据时间字段分组,得出这样的数据:
ID1 时间1
ID2 时间2
因为用到了group by,所以select里面的列要放在聚合函数里,你只是要求去重没别的限制的话,id这个列用聚合函数Max,或者min包起来,得出上面格式的数据以后,根据ID查出所有完整的数据,再批量insert到新表,原表就不要了,新表数据就是新的,无重复的。你试试或者借鉴一下这个思路

顾星河 | 园豆:7169 (大侠五级) | 2019-05-24 09:19

@默卿:我现在写的是脚本文件,不知道怎么筛选

Forestchen | 园豆:96 (初学一级) | 2019-05-24 09:23

@Forestchen: 我对mongdb不熟,你搜一下mongodb删除重复数据吧,语法有区别,但原理大同小异

顾星河 | 园豆:7169 (大侠五级) | 2019-05-24 09:29

@默卿: 好的 ,非常谢谢你给你建议

Forestchen | 园豆:96 (初学一级) | 2019-05-24 09:31

@默卿: 朋友 利用你说的方法真的很简便,写的脚本比较繁琐,利用mongodb中的聚合可以解决这种问题

Forestchen | 园豆:96 (初学一级) | 2019-05-24 16:29
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册