企业数据应用集成开发技术难题
0
悬赏园豆：20
[已解决问题]
解决于 2009-05-26 16:43
做一个跨系统的数据集成的功能模块，从多个系统中采用ADO技术获取了不同的基础数据，存放在内存中，用DATATABLE。
想要用这些数据做一些联合统计，就跟普通SQL语句中的多表联合统计一样，发现要实现挺难的，最后找到了一个MS提供的通用方式，
还是不太理想，主要是效率问题以及一系列的限制问题，它不象SQL的实现那样灵活、方便、高效率。
在此向各位前辈问问，是否有另外的方式可以实现这样统计功能？在网络上也见过一些同类的产品功能，但不知道具体是如何实现的，
最佳答案
0
如果可以直接访问各个数据库，可以采用跨数据库联结查询！
其他回答(1)
0
第一步：通过kettle、Sqoop从镜像数据库抽取历史数据到Haoop（Hive）。
关系型数据库数据（Oracle、SqlServer）迁移至非关系型数据库（HDFS、Hbase、Hive），推荐使用Sqoop工具。如果是将不同种类的关系型数据库（Oracle、MySQL、SQL server）整合到同一个关系型数据库中，如MySQL。推荐使用Kettle，有GUI界面操作简单。
第二步：业务系统镜像数据库启动CDC功能，并实时同步数据到Haoop（Hive）。
该技术通过读取镜像数据库日志文件，解析回放数据库操作方式，实现业务数据变更捕获。通过flume实时监控CDC记录表下沉kafka，应用程序订阅服务，解析数据到Hadoop。日志读取、解析、回放等操作都是在镜像数据库上进行，业务数据库只会产生少量的I/O开销，以最大限度地降低对业务系统的影响。
第三步：使用颐东数仓配置数据目录映射关系，自动生成Hive视图HiveSql。
通过以上三步完成数据仓库建设，仓库数据跟随业务数据改变而改变。
第四步：数据中台
数据仓库提供数据中台服务，根据业务活动，自定义勾选数据集市所需字段，生成ElasticSearch索引，并自动生成数据接口。
