ETL—数据抽取/传输/加载引擎简介

tkyj

太肯易杰数据抽取/传输/加载系统软件也是太肯易杰数据采集三剑客之一。通过系统配置在数据源头自动、定时地抽取所需要的相关数据，同时通过邮件等传输方式定时发送到数据中心，然后再自动加载到数据中心的数据库中。

(1)全自动化过程的数据抽取、传输以及数据加载；
(2)高频度的数据采集能力；
(3)完善的数据抽取/传输/加载机制确保数据的完整性；
(4)动态加密技术保障数据安全性。

客户面临的问题：

     随着企业管理水平的不断提高，企业对数据的需求会越来越多，并且对数据采集效率和质量方面的要求也越来越高。

     对于企业外部的数据而言，由于不是自有的信息系统，很难采集到跟企业息息相关的数据。

     对于集团性企业内部的分布式存储的数据，多信息系统，数据分布的地域也广阔，由于很多客观的网络原因，企业也很难实时采集这些分布式数据。

     即使我们通过各种手段拿到了这些数据，我们还面临着数据的质量问题和数据采集的效率问题，而这些您又是如何应对的呢？

(1)通过做一个足够大的信息系统，供应链相关企业都可以通过信息系统来提交我们所需要的数据？
(2)定制一些模板，通过人工方式做数据的汇总和上报，与此同时把外部的数据做成统一的标准的。
（这个方法目前是大多数企业都在应用，确实也拿到了他们想要的数据！但时间和人力成本被忽略了！）
即使我们通过定制的方式拿到了数据，但是接踵而来的问题也出现了，如下：
(1)我们花了多长时间用来采集数据？
(2)我们到底投入了多少费用？
(3)我们发现拿到的数据有多少是不完整的？
(4)每月的人力成本怎么这么高？
(5)每次统计的数据为什么还是不准确？
(6)为什么数据统计的工作总有延误的情况？

ETL—数据抽取/传输/加载引擎应用架构：

太肯易杰数据抽取/传输/加载系统完全结合企业目前的数据采集状况，形成一套规范的统一的高频度/异构/分布式数据采集体系。
(1)企业可根据自身情况定义抓取的频度和所需数据源；
(2)对于采集的数据完全是自动化完成没有人工的干预；
(3)系统的日志功能完全保证了企业对于数据完整性考虑。
从下图中我们看到，外部数据我们通过数据抽取系统自动抽取所需的数据，经过系统自动加密和压缩，以邮件的方式定时发送到服务端。然后服务端对接收到的数据自动的解压并加载到目标数据库中。


数据抓取系统功能的特点和价值：

(1)其支持用户自定义数据源功能，可以通过数据库服务器的地址、用户名、密码等信息来新增或修改数据源；
(2)支持对Sql Server和Oracle等数据库的数据抽取；
(3)数据抽取方式是执行标准SQL语句，只要是熟悉SQL语句的人员都可以使用该工具；
(4)自动发送和接收邮件功能，并支持轮询方式以及定时方式接收邮件；
(5)通过指定发送邮件的目录以及目录下文件掩码，来定时、定期发送目录中的指定文件；
(6)向导模式、普通模式建立任务；
(7)支持在源数据字段与目标数据字段类型不一致时，进行强制转换；
(8)自动数据加载功能，并且加载方式支持轮询方式以及定时方式。
(9)系统注册服务后只要计算机启动后，系统就会自动启动服务。这样保证系统自动运行，而不会被遗忘造成数据抓取/传送/接收/加载的不完整性；
(10)客户端以及服务端均为服务方式运行；
(11)由于外部数据信息系统的来源不同，我们可以支持多种数据源的抽取SQL Server、 Oracle、ODBC等 ；
(12)由于都是执行sql语句进行抽取，也保证了数据的统一性和标准性；
(13)支持抽取前的预处理存储过程的运行。
邮件发送工具和邮件接收工具是保证数据传输重要手段：
由于采集的方式是用邮件进行发送和接收，这样在C/S系统下和网络条件恶劣的情况下，也可以保证数据把高频度采集的数据进行发送，同时也保证了数据接收的高频度。

ETL—数据抽取/传输/加载引擎的平台化能力：

(1)采集端支持多种数据库，包括Oracle\Sql Server，以及其他ODBC可以连接的数据库；
(2)采集端支持自定义SQL语句的编写，以及前置存储过程的编写，易于实现自动化数据采集的商务逻辑；
(3)采集端支持自定义邮件定时发送机制，对网络要求低，易于普及；
(4)采集端支持自动化加密压缩机制，确保数据安全；
(5)接收端支持自定义邮件定时或轮询方式接收；
(6)接收端支持多数据库包括Oracle\Sql Server，以及其他ODBC可以连接的数据库。

ETL—数据抽取/传输/加载引擎价值分析：

(1)完全自动化的数据采集，确保数据的有效性和高效性，企业可以很轻松的拿到与自己相关的数据进行绩效的分析；
(2)采集方式很灵活，根据要求定期定时的循环采集和支持手动采集；
(3)只需要在系统中写SQL语句去读取外部数据库中所需要采集的数据；
(4)数据的加密型保证了数据在传输过程中的安全性，数据的安全性永远都是关注的焦点；
(5)将数据处理人员从繁重的数据汇总整理工作中解放出来，去更好的完成更有价值的绩效分析工作