OracleDataIntegrator符合高性能、灵活性、高生产率、模块化的集成平台的需求。根据高校异构数据的特点,本文提出基于ODI的高校异构数据集成平台的设计方案。
3.2关键技术
1、EL-T
E-LT体系结构结合了手工编码和ETL方法的最佳特性于一个解决方案中。
2、轻量级增量日志
对少量的实时性要求高的数据(比如学生基本表的学籍状态)进行高效捕获,而不对整张表的所有数据进行捕获的一种方法。
3、差异比对
差异比对指的是对于源和目标,需要进行差异化的区分,以便决定是否进行更新。这种情况是在无法通过其他手段获取数据差异的情况下产生的,而又需要进行快速的数据集成处理,因为最基本的全量数据集成也可以达到集成的效果。
4、集成中心库设计
对于集成中心库的设计,也是数据集成平台较为核心的一块内容。
鉴于高校大多选择复制模式,那么对于高校这种相对松散的数据管理模式,数据源的多变和不确定性,就需要数据能够通过临时存储解决一定的问题。
另外,对于数据的使用上,各个系统的数据要求又是不一致的,例如对于学生信息的删除操作,会存在订阅者不同的处理和消费方式。因而需要设置临时的数据存储来解决这种差异使用,因而需要集成中心来存储这些内容以便进行处理。
数据集成中心库的模式设计,需要考虑以下几个方面的内容:
首先,需要参考高校的信息化标准模型,因为集成的对象基本上覆盖了高校核心的数据内容,另外,数据也需要在集成中心库进行统一的格式化处理,保证数据的统一,一方面是元数据的统一,另一方面是数据标准的统一。
其次,数据模型要留有扩展性的考虑,那么表现在模式设计上采用“松散设计”、“面向对象设计”的原则。“松散设计”保证对象与对象之间尽可能进行拆分,这样对于新增的对象可以很容易通过新增的方法进行扩展,而不必调整原有内容。“面向对象设计”使得设计不按照当前业务处理的规则,这样对于以后可能存在的管理模式或者业务变化,都可以保证原有的设计内容不做调整,增强可适应性。
最后,对于数据集成的考虑,需要在传统的数据模式上扩展用于集成的字段,用于数据集成过程的特别应用。
3.3需求分析
在高校数据集成实施之前,首先要做的就是对集成需求的搜集和分析。对需求进行详细地分析是进行数据集成十分重要的一点,能极大提高实施中的效率。高校数据集成的需求主要包括以下几点:
(1)集成中心库、各业务子系统数据库的环境信息。包括这些数据库所在主机操作系统、数据库的类型及版本、数据库用户名/密码、数据库用户的访问权限、数据库访问端口。
(2)各业务系统与集成中心库的集成总体需求信息。对每个需要集成的业务系统的数据库,都需要形成这样一份需求文档。这份文档里描述了业务系统提供哪些数据给集成中心库(数据上行),以及业务系统需要从集成中心库中获取哪些数据(数据下行),并且要描述数据在集成到其他系统后的应用场景。
(3)需要集成的数据详细信息。对需要数据集成每一个子系统的数据库,都要形成一份需求文档,这份文档里详细记录了集成中源表和目标表的表结构、字段映射关系、字段详细信息(包括字段名、说明、类型、长度、是否主键)、源与目标字段的转换关系(字段类型转换、代码转换)、集成方式、数据集成周期等。
3.4确立集成总体架构
对高校数据集成架构采用集线型的架构,即引入集成中心数据库,各业务系统与集成中心数据库做数据交互。如图3-1所示,不同的业务系统之间进行数据集成,并非直接两两系统直接互连做集成,而是其中一个系统首先将数据集成到集成中心数据库,再通过集成中心库下行到另一个系统。这样做的优点主要有:降低各业务系统的耦合度、增加项目的可扩展性、保证了数据质量、并且能够有效地控制对各业务系统的访问权限控制。再者,有了集成中心库,对更好地实现全局信息集成和上层应用。
在这样的集成架构下,例如系统A需要系统B的数据,首先将系统B的数据上行至集成中心库,再由集成中心库下行到系统A,通过这样的方式实现系统B到系统A的集成。图中,各业务系统与集成中心库之间通过集成工具互连,在集成工具的作用下,实现业务库与中心库的数据集成。
3.5数据集成平台的安装
完成需求分析和总体架构设计后,现在可以安装数据集成平台来完成数据集成的项目设计了。数据集成平台的开发环境要求是Windows2000(2003)server系统。
集成平台的安装步骤是:
(1)首先安装JDK1.5,这是为了满足集成工具ODI的安装需求。
(2)接着安装Oracle10g数据库,ODI运行时需要有两个存储库——主存储库和工作存储库,所以需要安装Oracle数据库来创建这两个存储库。
(3)安装ODI集成工具。
3.6集成开发
安装了数据集成平台并正确的配置后,就可以进行数据集成项目的开发了。
4结束语
本文提出基于ODI的校园异构数据库数据集成的解决方案,并对异构数据集成平台进行了设计,提供了一种数字化校园异构数据源数据集成的有效方法,该方法能够有效解决校园数共享和交换的问题,实现校园数据的互联互通。
参考文献
1 林建宇,张国俊.一种异构数据库集成的方法[J].南京理工大学学报,2002, 26(5):522-525.
2 陈跃国,王京春.数据集成综述[J].计算机科学,2004,31(5):48-51.
3 李征.MDI在“数字校园”信息集成中的研究与实现[D].江苏省镇江市:江苏大学,2005-05.17-43.
8 月底之前联系地址:徐州市东方美地二期26幢二单元101) 3/3 首页 上一页 1 2 3 |