数据集成发展趋势
由于历史或其它原因,许多企业已拥有多种业务系统,导致企业内信息孤岛现象越来越严重,据IDC 2001年的报告,在全球最大的Fortune 1000家企业中,平均都有14个数据库和48个应用系统,而且随着市场的变化、客户需求的变化,企业还在不断地增加它的应用。出于降低建设维护成本和提高企业竞争力的考虑,对于如此之多应用系统的集成已变得迫在眉睫,各大电信企业纷纷开始这方面的建设。然而,目前的建设过于注重各类应用的集成,而与之紧密相关的另一问题-数据集成则往往被忽视,导致在企业应用集成项目的实施过程中才发现还需要解决数据集成问题,而由于前期的设计未充分考虑到数据集成的需求,因而分布在各个应用系统中的数据对数据的统一访问和使用构成了很大的挑战。
数据的规范化和标准化是数据集成的基础。数据集成的发展趋势是采用符合标准且容易扩展的XML技术作为不同系统之间交换信息的标准,各大企业纷纷投入数以千万计的 IT 预算,努力使自己企业的数据实现XML兼容。
数据集成是企业信息系统的核心部分之一,它向其他的功能模块提供数据支撑。旧的流程架构中每种业务都有自己的数据库,这些数据一般是不完整的、不一致的。为整合数据,一般需要有数据建模、统一数据系统设计开发、原有系统数据的抽取清洁转换等工作。其中数据信息模型是基础,应该依据业务流程确定数据的要求,建立完整的信息模型。
然而,目前传统的数据集成解决方案往往具有以下缺点:
·数据转换和整合的规则都融合在定制代码中,发生变化难以灵活地适应;
·许多解决方案提供的都是过时的信息,难以实时地获取准确信息;
·各个系统只能通过形成中间库、或者集中库的方式来解决数据集成,然而这样的做法往往又形成了新的数据孤岛;
·所有现有的解决方案都很脆弱 - 它们要想适应变化的业务需求或数据源,都要付出高昂的代价。
解决方案--使用Liquid Data作为数据集成平台
以BEA Liquid Data为代表的新一代数据集成平台正是为了克服以上缺陷而开发的,采用它作为数据集成平台具有以下优点:
·支持采用XML格式作为统一的数据交换标准,为数据访问提供简便、 统一的模式;
·数据转换和整合的规则可灵活定义,独立于应用集成和业务逻辑;
·可实时地从来自于多个应用系统的数据源抽取和过滤信息;
·采用符合规范的XQuery技术,基于久经考验的应用服务器WebLogic Server实现,在性能和可靠性等诸多方面得到后者的强大支持。
对于 VP 或 CIO 的业务部署而言,Liquid Data 能够提高集成的价值,因为它能根据客户现有的数据轻松、经济有效地定制其业务信息。Liquid Data 并不会取代客户现有的 EAI 解决方案,相反,它会以该方案为基础提供 XML 数据集成,使客户加快使用解决方案的速度。对于负责技术的副总或技术总监而言,Liquid Data 能使开发人员轻而易举地充分利用来自不同数据源的应用数据,就如同目前从单一数据库获取信息一样方便。
BEA Liquid Data为客户交互提供一个集成的多渠道视图。例如,CRM系统支持客户与在电信运营支撑系统的交互的多种渠道中可以随便选择一种同电信运营系统的接触点。电信运营支撑系统包括计费、市场、销售、服务、支持等多个应用系统都包含有关客户的数据,这样多个接触点有可能造成客户交互的不一致。从系统架构和数据管理的角度看建立一个单一的客户数据库是当然是一个理想的解决方案,但是在实际的实施过程中这存在很大的难度,每个应用系统都有自己的数据库及其相关规则。而在CRM系统中建立一个集成的跨功能部门的、多渠道的客户视图-统一客户视图是我们的努力方向。客户是同CRM系统打交道的,但对CRM系统而言它要同整个运营支撑系统的其它系统打交道,这就需要数据集成、应用集成、流程集成中间件,通过这些中间件集成了多个独立的应用系统,每一个都管理着整个统一数据库的一部分。BEA Weblogic Integration提供了应用集成和流程集成的功能,BEA Liquid Data for Weblogic提供了数据集成功能。

BEA Liquid Data 使IT部门可以非常容易地、实时地聚合企业内外的数据源,并可以针对不同的业务用户进行裁剪,提供企业的数据视图。
Liquid Data是一个非常容易使用的产品,它简化了应用开发,返回的是XML以便于Web应用使用。它提供了一个灵活的、可重用的数据,而不象其它公司的产品那样需要查询和数据转换的客户化编码。开发人员将Liquid Data看成一个简单的业务数据服务来访问。另外还可以充分利用XQuery(在XML中以标准的类似于SQL的查询语言)来直接访问分布的数据源(这些数据源在Liquid Data里被表示成集成的逻辑视图)。XQuery将以前传统使用大量客户化程序、点对点的复杂程序开发用一种大家熟悉的数据库查询语句写的高级数据访问、过滤、转换和传递能力代替。
BEA Liquid Data for WebLogic建立在现有的IT基础架构层上并充分借助XML标准来处理异构数据,可以非常简便、安全的部署到企业IT环境中。
Liquid Data体系结构
Liquid data组件
Liquid Data体系结构如下图所示,由DataSources、Developer API(包括EJBs和Tag Libraries)和Query Processor等组件共同组成。

Liquid Data体系结构
Liquid Data的核心是XQuery Engine, 包括EJBs,Tag Libraries、Developer API和Query Processor等组件,负责执行XQuery语句,为JSP提供标记库等。XQuery Engine的查询引擎由Stateless SessioBeans实现,它将查询语句转化为优化的分布式查询,通过不同数据源的接口执行各个分支查询。
多种数据塬支持
Liquid Data支持以下五种不同的数据源:
·JDBC
Liquid Data可通过BEA WebLogic Server配置的JDBC Data Source直接访问业务系统的数据库,这也是Liquid Data获取信息最常用的方式之一。
· Application Views (J2EE CA)
Liquid Data也支持采用应用视图方式,通过JCA适配器访问其它非Java的遗留系统。
·Web Services
Liquid Data支持通过Web Services的松耦合方式访问其它系统,尤其是企业外部的系统,例如合作伙伴的业务系统
·XML 文件
Liquid Data也可访问含有 XML 数据的文本文件
·Data Views
Liquid Data支持使用存储的查询,好像它就是另一个 XML 数据源
·Custom DataSource
除以上四种方式外,Liquid Data还支持定制的数据源,可提供查询参数并调用对应的静态 Java 方法来获取XML 文档。
Data View Builder
Data View Builder是一个GUI工具,用于开发供客户和数据视图使用的查询。使用该工具,用户可用Drag and Drop方式直观创建贯穿所有 Data Sources(映射到 View Schema )的一个 XQuery。
Data View Builder可从 Liquid Data Server 获取 Data Source 定义,并能动态检查 Data Sources,以定义当服务器启动时各数据源中可用的计划。
创建XQuery语句的界面如下图所示。

由图中可见,Data View Builder将用户选择要访问的数据源以XML格式显示在源模式视图中,用户可以拖拽鼠标选择要访问的XML元素到目标模式视图中,并可以在下面的视图中编辑和优化生成的XQuery查询。
用户同样可以在Data View Builder中测试生成的查询。如下图所示:

可见,采用Data View Builder可大大简化对多种数据源的复杂查询,用户无须精通复杂的XQuery语句,减少了出错的可能,并提高了开发效率。
Liquid Data功能
BEA Liquid Data for WebLogic 是一个可以提供数据可视化的数据访问和聚合产品,它可以生成实时的离散数据的统一视图。它提供了一个高度优化的、实时的数据访问和企业内外的数据处理,而不管数据的位置、格式和类型。
BEA Liquid Data for WebLogic 提供一种标准途径来快速地聚合并展现来自多种异构数据源的逻辑视图(包括 Web services, 数据库, 文件、XML文件、应用及Web站点等) 。这种跨越多个数据源的集成可以被发布为业务数据服务。它使的开发人员可以重用跨应用的数据,将这种逻辑视图看成是一个虚拟数据库,而不必关心底层数据的复杂性。
BEA Liquid Data 是一个基于XML的实时数据集成解决方案,和BEA WebLogic Integration (WLI)结合,可提供完整的企业应用集成方案。
Liquid Data为各种操作系统中的数据提供了实时和安全访问方式,而无需修改现有的系统和应用。Liquid Data采用可视化工具描述异种环境下分布数据的访问逻辑,具有很好的可重用性和灵活性。对于开发人员,Liquid Data提供了简单的、类似SQL的标准接口XQuery。另一方面,Liquid Data能够按需集成共享数据,如分布在多个操作系统和数据源的客户资料,按照应用和用户的需要进行裁剪。
在诸如CRM这类系统的解决方案中,Liquid Data占有重要的地位。事实上,在CRM中面对360度统一客户视图,需要集成分布在企业中的各种用户数据。这种数据集成称为客户数据集成(CDI,Customer Data Integration)。Liquid Data适用于客户360度统一视图、价值链的透明度、企业门户等。其代表性应用领域包括呼叫中心、客户自服务等。
Liquid Data具有以下功能:
·实时数据访问
全局数据视图--使用XML翻译器和优化的XML查询机制,BEA Liquid Data for WebLogic可以从多种不同的数据源获取数据,包括旧的、Client/Server应用、企业应用、关系数据库、Web Servies、Web站点、文件、XML文件及其它数据源,而不论是在企业防火墙内部还是外部。它返回的是XML数据。
抽象数据视图--一个虚的抽象层将分布的数据源聚合成一个集成的逻辑视图。这个逻辑视图可以被看成是一个单一的、虚拟的数据库。可将物理上分散的数据变换成逻辑上集中的数据,从而使得业务数据库的地域分布差异对于业务层透明,业务层各功能模块访问各子系统数据时无须考虑数据的存储位置。
·基于标准
BEA Liquid Data 充分利用BEA WebLogic Server的优势,借助J2EE、XML、XQuery和XPath标准可以充分保护电信企业以往的投资。
·分享公司资产
可重用的视图-关于客户、订单、库存的数据会被电信企业内的许多系统使用,而Liquid Data可以将这些数据的视图表示为一种可被客户化和重用的服务,当新的数据源要加入时很容易地就可以修改视图。
·提高开发效率-图形化开发工具
可以被展现为Web Services--数据视图可被展现为Web Services,这样可以被其它应用很方便的使用。
动态地减少代码--给开发人员提供了一个高级查询语言和可视化开发工具。
客户评价
·"与数据仓库相比,Liquid Data 的费用要便宜 60% 之多"。
·"Liquid Data 将为我们的虚拟数据访问层(Virtual Data Access Layer) 起到基石的作用"。
·"在采用该技术之后,我们每天能够节约数以百万磅的纸张"。
·"有了 Liquid Data,我们现在终于可以去开发以前根本无法立项的应用"。
|