现在有需求,每次会爬取网页上面的信息入库,会有很多字段,但是已经手动修改过的字段就不需要爬取后更新数据,请问怎么来标记比较好?
1.手动修改字段的时候顺便打下标记呗 2.写触发器,更新的时候打标记 3.备份原表,每天定时跑,使用md5作比较,可以检查数据是否更新
弄个表记录手动修改后的字段,爬虫更新时排除
如果是我操作我会把两个结果分两个表保存,这样以后处理起来方便,要是标记的话还有查表以后处理起来麻烦