我写了个脚本文件,但不知如何用if 筛选 并去除 ,求大神解答,救急救急
StartDateTime是相同的没毛病啊,就这批数据而言,id不同说明数据本身不是重复的,只是每个数据的时间相同;
任务1 24号开始
任务2 24号开始
任务3 24号开始
这里的任务对应你截图里面的ID,每个任务都是24号开始,你去重是准备留下任务几?
这是小部分,数据是收集过来的,有几百万条,因为程序的错误,收集不准确,需要StartDateTime中相同的删除
就是不需要数据的时间相同,要把数据时间删除的删除
@Forestchen: 可以用C#写个逻辑:根据时间字段分组,得出这样的数据:
ID1 时间1
ID2 时间2
因为用到了group by,所以select里面的列要放在聚合函数里,你只是要求去重没别的限制的话,id这个列用聚合函数Max,或者min包起来,得出上面格式的数据以后,根据ID查出所有完整的数据,再批量insert到新表,原表就不要了,新表数据就是新的,无重复的。你试试或者借鉴一下这个思路
@默卿:我现在写的是脚本文件,不知道怎么筛选
@Forestchen: 我对mongdb不熟,你搜一下mongodb删除重复数据吧,语法有区别,但原理大同小异
@默卿: 好的 ,非常谢谢你给你建议
@默卿: 朋友 利用你说的方法真的很简便,写的脚本比较繁琐,利用mongodb中的聚合可以解决这种问题