IBM Streams v4.2 轻松实现快速大数据处理-控件新闻-慧都网

IBM Streams v4.2 轻松实现快速大数据处理

原创|行业资讯|编辑：陈俊吉|2016-10-24 15:06:39.000|阅读 383 次

概述：很多的大型企业客户需要Streams在部署的关键应用中发挥极限性能。Streams v4.2在性能方面取得了重大的突破。

相关链接：

很多的大型企业客户需要Streams在部署的关键应用中发挥极限性能。Streams v4.2在性能方面取得了重大的突破。

下面我们一起看看改善Streams性能的关键技术：

自动融合和动态线程

在性能增强和应用程序部署方面最大的变化是引入自动融合和动态线程。融合的概念就是将操作符组合为PE。在 V4.2 之前融合确定是在编译时决定的，默认值为每 PE一个操作符。对融合的更改需要重新编译或者程序中的线程定义。 V4.2 可以根据资源状况自动确定融合。手动配置约束依然优先，用户还可以指定PE的总数量，或者要求1比1。默认情况下线程是自动的，其大小是在运行时确定，并且根据吞吐量和应用负载的变化动态调整。这可以大大减少 PE过程和系统负载，同时提高了性能。

并行区域增强功能

从3.2版Streams通过并行区域（@parallel ）允许开发人员复制区域中的应用程序，从而提升处理性能。V4.2 添加嵌套并行区域的支持和将某个流的所有元组发送到所有渠道的能力。

调度程序和配置增强功能

改进的调度程序，可以针对不同规模的集群提供更好的资源利用率。允许为特定应用程序保留资源。

在提交任务时允许通过一个单独的配置文件提供应用程序的配置和参数，这样可以使用不同的配置文件，不需要任何代码更改或重新编译即可在不同环境下运行相同的应用程序。比如从测试完成上线时，只需更换相应的配置文件就可以匹配生产环境中的资源了。

一致区域增强功能

V4.0 开始通过一致区域来支持流数据处理一次和最多处理一次。一致区域中的操作符使用Chandy Lamport算法生成检查点来建立全局一致的状态。 V4.2已作出若干改善以提高性能和减少延迟。这包括异步非阻塞检查点，增加建立和恢复检查点的并发能力，另外可以通过 Hyperstate 加速器(一个硬件加速的存储)用于检查点。

请访问Streams文档（http://www.ibm.com/support/knowledgecenter/zh/SSCRJU_4.2.0/com.ibm.streams.welcome.doc/doc/ibminfospherestreams-whats-new.html），了解以上的改进或新特性的更多内容。

如果你想进一步提升Streams应用或流计算的性能，不妨马上试用Streams v4.2。