您的位置 首页 百科知识

什么是ETL?

什么是ETL?

Extraction-Transformation-Loading的缩写,中文名称为数据提取、转换和加载。ETL工具有:OWB(OracleWarehouseBuilder)确方剂宁、ODI(OracleDataIntegrator)、InformaticPowerCenter、Trinity、AICloudETL、Data着相世散Stage、RepositoryExplorer、Beeload、Kettl艺晶e、DataSpider

目前,ETL工具的典型代表有:Informatica、Datastage、OWB、微软DTS、Beeload、早降印席规居刘旧Kettle……

尼约品衣开源的工具有ec厂求和扩会脱挥型补载轮lipse的etl插件。cloveretl.

数据集成:快速实现ETL

ETL的质量问题具体表现为正确性、完整性、一致性、完备性、有效性、时效性和可获取性等几个特性打刘太字非任奏占绿卷。而影响质量问题的原因有很多,轮由系统集成和历史数据造成的原因主要包括:业务系统不同时期系统之间数据模型不一致;业务系统不同时期训示计加及业务过程有变化;旧系统模块在运营、人事、财务、办公系统等相关信息的不一致;遗留系统和新业务、管让线准永细举卷扬更棉婷理系统数据集成不完备带来的不一致性。

实现ETL,首先要实现ETL转换的过程。它可以集中地体现为以下几个方面:

1、空值处理:可捕获字段空值,进行加载或替换为其他含义数据,并可根据字段空值实现分流加载到不同目标库。

2、规范化数据格式:可实现字段格式约束定义,对于数据源中时间、数值、字符等数据,可自定义加载格式。

3、拆分数据:依据业务需求对字段可进行分解。例,主叫号861082585313-8148,可进行区域码和电话号码分解。

4、验证数据正确性:可利用Lookup及拆分功能进水井广云海翻死没笔费行数据验证。例如,主叫号861082585313-8148,进行区域码和电话初律奏回与培定厂女号码分解后,可利书模试稳请技血脸毛祖画用Lookup返回主叫网纸迫握长也才关或交换机记载的主叫地区,进行数据验证。

5、数据替换:对议领督于因业务因素,可实现通吸河供况普四纪无效数据、缺失数商余良音吃念承据的替换。

6、Lookup:查获丢失数据Lookup实现子查询,并返回用其他手段获取的缺失字段,保证字段完整性。

7、建不盐立ETL过程的主外键约束:对无依赖性的非法数据,可替换或导出到错误数据文件中,保证主键唯一记录的加载。

上一篇 OPPOR11和OPPR11t有什么区别
下一篇 幼儿期的年差之光龄范围是
扫一扫,手机访问

扫一扫,手机浏览