没有找到合适的产品?
联系客服协助选型:023-68661681
提供3000多款全球软件/控件产品
针对软件研发的各个阶段提供专业培训与技术咨询
根据客户需求提供定制化的软件开发服务
全球知名设计软件,显著提升设计质量
打造以经营为中心,实现生产过程透明化管理
帮助企业合理产能分配,提高资源利用率
快速打造数字化生产线,实现全流程追溯
生产过程精准追溯,满足企业合规要求
以六西格玛为理论基础,实现产品质量全数字化管理
通过大屏电子看板,实现车间透明化管理
对设备进行全生命周期管理,提高设备综合利用率
实现设备数据的实时采集与监控
利用数字化技术提升油气勘探的效率和成功率
钻井计划优化、实时监控和风险评估
提供业务洞察与决策支持实现数据驱动决策
原创|行业资讯|编辑:陈俊吉|2016-09-07 09:40:31.000|阅读 1571 次
概述:随着计算机技术和信息技术的不断发展,海量数据的不断涌现,企业迫切需要对数据进行高效、准确、及时地分析。传统 BI分析系统(例如:数据仓库)一般是按天、周或者月作为数据的更新周期,可以提供对历史数据的分析与查询,能够帮助决策者制定企业运营战略,但却不能实时地反映企业商业信息的变化。然而当前在电子商务、金融证券等领域中,需要及时的将数据发送到决策者手中,为企业提供更有价值的战术型决策支持,因此实时BI分析系统需求和建设应运而生。
# 界面/图表报表/文档/IDE等千款热门软控件火热销售中 >>
相关链接:
随着计算机技术和信息技术的不断发展,海量数据的不断涌现,企业迫切需要对数据进行高效、准确、及时地分析。传统 BI分析系统(例如:数据仓库)一般是按天、周或者月作为数据的更新周期,可以提供对历史数据的分析与查询,能够帮助决策者制定企业运营战略,但却不能实时地反映企业商业信息的变化。然而当前在电子商务、金融证券等领域中,需要及时的将数据发送到决策者手中,为企业提供更有价值的战术型决策支持,因此实时BI分析系统需求和建设应运而生。
数据的实时性和查询的频繁性是实时BI分析系统的两个重要特性,它成为了实时BI分析系统设计中的难点。 而对于实时数据仓库领域的研究,最具有代表性的是以下两个方面:
大家所熟悉的IBM InfoSphere Change DataCapture (CDC)是一种准确而高效的数据复制工具,可以帮助我们轻松地获取业务生产系统的增量数据;而IBM InfoSphere DataStage 则是企业数据集成领域另一个专业而强大的ETL工具,可以高效批量处理海量数据。将CDC与DataStage进行集成,就能实现快速地把业务增量数据,实时地按业务规则进行数据转换和集成处理,把最终处理结果更新到目标的分析系统中。IBM CDC 与 DataStage 集成的方式有四种可选项,具体描述如下:
1、数据库中转
CDC从源数据库系统捕获增量交易数据,复制到目标的数据库表。然后,通过DataStage 抽取这些数据表数据,进行转换处理并加载到目标数据库。
2、IBM MQ集成
CDC从源数据库系统捕获交易数据增量,并交送到 IBM MQ消息队列中;MQ传送这些数据到 DataStage作为它的数据输入,然后进行转换处理,最后把数据处理结果加载到目标数据库。
3、基于文件
CDC从源数据库系统捕获交易数据增量,生成数据文件。DataStage读取这些数据文件,然后进行数据转换处理,并加载到目标数据库。
4、直接连接
CDC从源数据库系统捕获交易数据增量,并传送到目标端的DataStage服务器内存,DataStage直接读取这些数据文件,然后进行数据转换处理,并加载到目标数据库。
在上述的四种集成选项中,第3和第4种是被客户使用得最多和最广泛的选项,特别是针对需要对大量数据进行复杂逻辑转换处理的系统实施(例如:实时数据仓库系统)。下面,我们给关心技术实施细节的朋友们作些说明。
在上图中, CDC从源系统捕获到增量数据后,经过TCP/IP网络传送到目标 CDC for DataStage Agent,并产生数据文本文件(FlatFile);DataStage ETL工具抽取这些数据文件,进行 ETL处理,并加载到 ETL信息集成平台系统的目标端。这种技术架构的优势很明显:
上图采用的 CDC 与 DataStage 连接方式,是把来源于 CDC捕获的增量数据,在DataStage ETL 服务器内存中直接交付给DataStage进行后续的数据转换处理,其特点是:
CDC 与 DataStage 集成的安装和配置如下:
1、CDC 与 DataStage 基于文件方式集成
产生的数据文件格式有两种,如果选择“Single Record”,那么对于 Update 交易操作,每一笔交易只产生一条记录,把BeforeImage和AfterImage 信息合在一条记录显示;如果选择“MultipleRecords”,那么对于Update 交易操作,每一笔交易会产生两条记录,分别记录BeforeImage和AfterImage信息。
产生的数据文件大小,可在配置 CDC预订过程中,指定合适的“Numberof Rows”和“Time(seconds)”。当记录数达到“Numberof Rows”时,生成一个新的数据文件,如果记录数没达到指定数值,时间超过了指定数值,同样也会触发一个新的数据文件生成。这就实现了对数据文件大小的控制。
2、CDC 与 DataStage 基于直连方式集成
对于 CDC与 DataStage直接连接,DataStage ETL作业由 CDC预订配置完成后自动生成,无需额外开发,该作业配置上需要注意CDC_Transaction 和目标数据库Stage的配置,涉及部分如下图所描述:
总结:
1、与传统的 ETL、批量装载、查询或基于消息的系统不同,InfoSphereCDC 最初的设计目的就是提供可伸缩的高性能实时数据集成,尽可能降低延迟。InfoSphere CDC 独特的变化数据捕捉技术能够大大降低对运营性应用程序性能的影响,这确保源系统上运行的重要应用程序的性能不会受到严重影响。通过使用基于日志的CDC,就不需要修改数据库、应用程序、中间件、硬件或操作系统。
2、CDC 与 DataStage ETL工具无缝集成,可以轻松地处理大量企业数据,同时保持事务的完整性和一致性。
3、IBM 有国内有大型商业银行、电信公司和龙头制造业等客户已使用该方案和技术,并取得成功经验。
更多大数据与分析相关行业资讯、解决方案、案例、教程等请点击查看>>>
详情请咨询在线客服!
客服热线:023-66090381
本站文章除注明转载外,均为本站原创或翻译。欢迎任何形式的转载,但请务必注明出处、不得修改原文相关链接,如果存在内容上的异议请邮件反馈至chenjj@evget.com
Java 开发团队常常面临测试覆盖率与开发效率的双重挑战。通过引入 AI 与自动化工具,团队不仅能减轻静态分析与单元测试的负担,还能在保障代码质量的同时提升开发节奏。本文以 Parasoft Jtest 为案例,深入探讨了当前主流的 AI 测试实践如何帮助企业实现代码级测试的优化与落地。
Sparx Systems Enterprise Architect(EA)作为一款领先的企业级建模工具,凭借其强大的四大引擎——BPSim、DMN、Open Modelica/SysML和可执行代码生成,为企业提供了从流程优化到智能决策的全方位支持。本文将深入解析这四大核心引擎如何显著提升企业建模的智能化水平和实用价值。
UI自动化测试中,团队常因语言偏好不同而协作困难,脚本复用也麻烦。从简单的录制测试升级到灵活脚本,或者搭建稳定框架,往往费时费力。TestComplete用自动化UI测试直接解决这些问题:它支持多种语言并行开发(Python, C#, C++等),让每个人用顺手的工具;还能轻松把录制脚本转换成代码,省去重写麻烦;并且自带实用框架和项目示例,开箱即用,大大加快搭建速度。
CodeRush 25.1 新推 AI 双引擎 AiGen(语音/文字生成与修改代码)和 AiFind(智能代码搜索),直接在 Visual Studio 环境中响应,免除窗口切换与手动操作,让开发者更专注核心问题。
工业4.0优选产品 | 商业智能和绩效管理软件领导者,帮助企业成为业绩最佳的分析驱动型企业
SPSS Modeler工业4.0优选产品 | 在历史数据中发现规律以预测未来事件,做出更好的决策,实现更好的成效
IBM BigInsights for Apache Hadoop经济高效地存储、管理和分析大数据
IBM InfoSphere Streams高效捕获和分析动态数据的软件平台
InfoSphere DataStage助您发现、充实、集成和管理数据的整个生命周期
服务电话
重庆/ 023-68661681
华东/ 13452821722
华南/ 18100878085
华北/ 17347785263
客户支持
技术支持咨询服务
服务热线:400-700-1020
邮箱:sales@evget.com
关注我们
地址 : 重庆市九龙坡区火炬大道69号6幢
慧都科技 版权所有 Copyright 2003-
2025 渝ICP备12000582号-13 渝公网安备
50010702500608号