首页 新闻 搜索 专区 学院

Sqoop 增量导MySQL数据 至Hive

0
[待解决问题]

通过Sqoop 增量导数据到Hive, 命令如下:
./sqoop-job
--meta-connect jdbc:hsqldb:hsql://127.0.0.1:16000/sqoop
--create t_order_increment_job
-- import --connect jdbc:mysql://127.0.0.1:3306/kevin?serverTimezone=Asia/Shanghai
--username root --password 123456
--append
--table t_order_increment
--columns "id,name,my_time"
--incremental lastmodified
--check-column my_time
--last-value '2019-08-30 21:36:16'
--as-textfile
--target-dir /user/hive/warehouse/t_order_increment

如果同一条记录,被修改后,导入Hive,会出现两条id相同的记录。有什么好办法可以去掉重复的记录?

试过用sqoop-merge命令,但是这个命令需要用新的路径,不能用原来Hive默认的表路径,这样每次都得修改Hive表的location属性,感觉不是个好办法。

怪侠Kevin的主页 怪侠Kevin | 初学一级 | 园豆:194
提问于:2020-08-17 18:07
< >
分享
清除回答草稿
   您需要登录以后才能回答,未注册用户请先注册