Apache NiFi1.1.0 中文免费版

Apache NiFi是很多的编程的人员都是经常的使用到的一款数据处理和分发系统，专业的处理大量的数据问题的，可以提供指示图的数据路由、转换和系统中介逻辑。

apache nifi使用教程

组件一般来说分为service 和processor  咱们先来说以下新建一个processor 

总的来说分两步  1.组件功能开发，2组件声明（向外暴露）

组件功能开发，在xxx--xxx-processors 新建工程类xxxx.Java

功能组件总的来说 也分为三个部分

a. 外界参数声明   2，输出关系声明   3，数据流触发操作

a.外界参数说明

如果我们的组件需要和外界做交互，需要外部传入参数那么就需要做参数声明

通过这种方式声明一个参数，nifi 自身提供了比较多的验证器 可以对参数做约束验证 大家自己看着玩

参数定义之后需要向外部暴露，需要重写getSupportedPropertyDescriptors 方法

nifi 还支持动态增加属性

Apache NiFi版本更新内容

核心框架的改进

集群管理逻辑已经稳定和改进,以更好地支持zero-master集群。例如,恢复时间快现在我们不用总是等一些人工的时间长度是否将加入新的节点,因此我们应该重新考虑流是金色的副本。

表达式语言能力现在支持小数,base64和十六进制编码值,和数学函数。

flowfile、起源和内容存储库支持回滚已经修改了。我们一直小心以确保升级将工作做好,现有流动状态会尊敬但困难的是支持回滚状态在哪里写的能力通过一个新版本的NiFi但是用户决定回滚到一个旧版本。这是现在支持。这个强大的功能也为未来的工作奠定了基础使滚动升级和自动回滚!

启动时间的流动,有大量积压应该更快的交换文件已经修改了提供完整总结,避免需要扫描。

对于开发人员来说,他们现在可以说明他们的处理器应该给孤立的类加载器实例。一些库,比如Hadoop客户机和脚本引擎作为一个例子,使用静态变量上的处理器可以污染实例图。该特性允许这种情况下很容易克服,使隔离每一个处理器的实例。这也使得它很容易让用户自定义类加载器扩展jar。

对于开发人员来说,现在的能力动态过程会话状态迁移到另一个进程。这将产生更高的效率,使得更容易编程模型见MergeContent聚合类型模式,例如。

用户体验改进

我们现在提供的视觉指示队列增长相对于背压背压时设置和参与。这将使交通堵塞和背压的概念更直观和坦率地说这只是有趣的看到在UI中。看看这个。

1.0.0版本后,社区的一些成员表示,他们有多爱新外观和感觉,但希望我们保持一些颜色。更好、更直观的色彩对比又回来了。

验证组件现在有限的发生只有组件不计划执行。这将导致更快的用户体验行为尽可能多的操作可以通过UI和REST API将导致不必要的昂贵的验证操作。

用户现在可以出口的图像来源图表。

用户现在可以使用cron调度组件甚至只在主节点上的任务。

更新版本的依赖关系

我们现在利用Azure事件中心0.9.0客户端库。

我们现在使用2.0.1库与Apache火花。

我们现在与使用Apache Hadoop的HDFS 2.7.3库。

新的或改进的处理器

新拿,把处理器与ElasticSearch 5.0和新的处理器对ElasticSearch执行查询和滚动操作。

新的处理器解析欧共体语言教学大纲的格式的日志

提取电子邮件现在处理器支持TNEF格式的附件。

新的处理器验证CSV文件。

Apache Solr处理器已经更新,以支持SSL和Kerberos。

新的处理器为尚作为客户机和服务器。

新工具

在升级从0。x 1。x我们提供很多的简易化和自动功能。然而,我们没有考虑从动物园管理员的嵌入式使用迁移到一个外部实例。我们已经提供了一个实用工具可以帮助您迁移NiFi从一个集群管理员到另一个状态。

以前很难改变敏感属性密钥用于加密所有敏感属性包含在一个实际的流配置。一个实用程序现在存在容易从旧键转换为一个新的密钥是一块宝贵的一个总体安全的过程。

安全改进

NiFi现在支持限制组件的概念。这些处理器、控制器服务报告的任务,允许授权用户执行unsanitized代码或访问和修改文件访问NiFi NiFi用户系统正在运行。因此,这些组件是由开发人员标记为受限制,当运行在安全模式下NiFi只有管理员必须给予每个用户访问策略允许访问限制组件。

站点现在提高很有帮助,即使使用端口转发。非常有用的情况下,管理员可能运行NiFi权限较低但希望外部交互使用众所周知的特权端口。

策略管理的用户体验已经改进,使之更直观的在某些情况下发生了什么。

加密的配置功能现在已经扩展到覆盖登录身份提供商的能力。这真的很有用,例如你可以只有LDAP密码以加密形式存储在登录提供者配置文件。额外的工作计划在这些加密的配置提供与硬件安全模块交互。