| 还有就是数据操作过程的完整性，如果存在异常的数据，那么必须保证异常数据能够进行有效处理，例如写入独立的错误记录表，或者定义为完整事务来进行处理。
（2）数据约束的完整性，一般都是在进行特别内容处理下体现出来的。例如父子表、外键关联的联动表以及带有字典字段的数据表。如果存在这种情况，那么集成数据的时候，必须考虑这些内容的一致和完整，否则集成的数据就存在差异，导致不可用或者数据无效。
1.3异构数据集成的方法
对于数据集成，就技术发展的过程来看，分为以下几个方面：
◆ETL(包含E-LT)方法：就是传统的数据仓库建设基础，主要是基于SQL的操作。
◆EAI方法：这里主要指的是在应用集成角度，对数据集成进行解决的方法。
◆SOA方法：新一代的集成方式，主要是在架构和策略上，体现总线的方式、概念以及松散耦合的策略。
1、ETL（含EL-T技术）
ETL中三个字母分别代表的是Extract、Transform、Load，即抽取、转换、加载。
传统的ETL工具的运行方式是，首先从多种数据源抽取数据，然后在一个专有的、中间层的ETL引擎转换数据，最后装载转换后的数据到数据仓库或集成服务器中。
E-LT体系结构结合了手工编码和ETL方法的最佳特性于一个解决方案中。E-LT方法改变了数据转换发生在哪里和怎样处理，事实上，E-LT方法重新部署数据转换步骤在目标数据库系统，改变了操作顺序为：从数据源表抽取数据，装载表到目标服务器，然后使用数据库管理系统特有的SQL（nativeSQL）操作在数据库系统上转换数据。
E-LT体系结构不需要额外的服务器、技术和技能来完成操作，提供最优的性能和可伸缩性，并且容易管理整个集成系统的基础架构。
2、EAI
EAI则能提供基于应用级的数据集成。首先EAI是应用集成，数据集成只是EAI的一部分，它是在应用集成的基础上进行的数据集成，也就是在不同的应用程序之间交换数据。所以它最擅长的是少量数据的频繁交换，在数据迁移能力方面明显不如ETL。它的优势在于可以进行实时操作，其核心部分是面向工作流的，主要工作在传送层。
EAI技术因为是应用集成角度，因而在数据集成的处理上，沿用了应用集成的策略和机制，所以都是通过事件或者消息的机制和中介来进行处理的，那么在处理过程中，这种转换必然会损失一定的性能，在效率上要比ETL方法相差很多。
3、SOA
SOA方法主要体现在数据接口和数据架构上。一方面，对于传统的数据接口，无论是ETL还是EAI，都是数据库接口，或者是基于数据库的适配器做为数据接口。而SOA方法则是对数据进行封装，暴露WebService接口进行数据集成。这是SOA的一大特点。另一方面在数据架构上，SOA方式先天就带有松耦合和总线策略，松耦合使得系统的接入与退出更加容易和方便，便于日后的集成扩展和调整。对于总线型架构，也使得数据能够一处获取，多处使用。
2高校异构数据集成
2.1高校异构数据集成的需求
1、信息孤岛（没有交换）
各业务系统独立建设，数据难以共享。现有的系统无法提供相互数据集成的功能，当某些数据需要跨部门使用时，还依赖于手工的传递或通过电子邮件等方式半手工的传递。这种低效率的信息共享方式无法满足各部门及时获取所需其他部门信息的需求。
2、数据标准与规范（各部门都不统一）
无校级统一数据标准，无法形成有效数据积累，给领导辅助决策分析造成障碍。各个系统提供的统计数据不完全准确，由于重复录入、录入时缺少差错审计和统计标准不统一，无法通过现有的系统获取学校真实的教学、科研等重要的统计数据。
2.2高校异构数据集成的特点
1、数据源多样
2、数据质量差
3、标准不统一
4、异常产生频繁
5、非严格同步
3高校异构数据集成平台的设计
3.1平台的设计方案
整合整个高校的数据和应用，并将它们在一个统一的视图中进行展现是一个复杂的任务。大量的不一致性不仅仅体现在技术、数据结构和应用功能上，而且在整体的体系结构上也存在着基本的差距。有一些集成需求是面向数据的，尤其是那些对大数据量的需求。还有一些其它的集成项目是基于事件驱动的体系架构（EDA）或者面向服务的体系架构（SOA），如异步或同步的集成。许多组织针对这些多样化需求采用了广阔的工具和技术，结果就会造成杂乱的集成项目而无法将它们进行综合利用和统一起来。这些工具不符合整体的性能、灵活性和模块化的需求。
新一代的数据集成工具OracleDataIntegrator提供了一个集成平台包括的所有数据集成的功能：基于数据的、基于事件的和基于服务的。通过高效地转换大数据量的能力、用先进的变化数据捕获（CDC）在实时环境中处理事件。它还提供了强大的数据完整性控制能力，确保数据的一致性和正确性。采用不同于传统工具的独特核心特性—异构E-LT、声明设计和知识模块等。 2/3 首页 上一页 1 2 3 下一页 尾页 |
