Apache Nifi在Windows环境下搭建伪群集及证书登录

发表于： 2017年10月26日分类于：技术锦囊/大数据玩家

字数： 2148 阅读：≈ 5分钟浏览：评论：

温馨提醒

前些时间做了关于Apache Nifi分布式集群的搭建分享，但很多时候要搭建分布式集群机器资源是个问题，而现在的单机的配置还是相当不错的，故现在就做个关于Windows上搭建个伪分布式集群的分享，同时通过另外一种方式实现Apache Nifi的授权认证。

系统环境及软件版本

Windows8.1
JDK1.8.0_131
Nifi-1.4.0

Nifi安装目录	WEB端口
xxx\nifi-ncm	9443
xxx\nifi-cluster01	9444
xxx\nifi-cluster02	9445

(其它版本可参考此篇文章) 另在测试中发个问题，使用Apache Nifi内嵌的Zookeeper搭建伪集群里启动总是提示端口占用的问题，故放弃只采用了单结点启动。

Nifi的服务证书

生成本地Nifi服务证书

解压nifi-toolkit-1.4.0-bin.tar.gz文件后，通过CMD进入bin目录，执行以下的命令：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
D:\DevelopTools\nifi-toolkit-1.4.0\bin>tls-toolkit.bat standalone -n "localhost(
3)" -C "CN=Admin, OU=ApacheNIFI" -o "..\target"
2017/10/26 18:21:32 INFO [main] org.apache.nifi.toolkit.tls.standalone.TlsToolki
tStandaloneCommandLine: No nifiPropertiesFile specified, using embedded one.
2017/10/26 18:21:32 INFO [main] org.apache.nifi.toolkit.tls.standalone.TlsToolki
tStandalone: Running standalone certificate generation with output directory ..\
target
******************************************************************************
2017/10/26 18:21:34 INFO [main] org.apache.nifi.toolkit.tls.standalone.TlsToolki
tStandalone: Successfully generated client certificate ..\target\CN=Admin_OU=Apa
cheNIFI.p12
2017/10/26 18:21:34 INFO [main] org.apache.nifi.toolkit.tls.standalone.TlsToolki
tStandalone: tls-toolkit standalone completed successfully

生成后的目录结构如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
Folder PATH listing for volume senhui.li
Volume serial number is 000000F0 FA46:A0EB
D:.
│  CN=Admin_OU=ApacheNIFI.p12
│  CN=Admin_OU=ApacheNIFI.password
│  nifi-cert.pem
│  nifi-key.key
│
├─localhost
│      keystore.jks
│      nifi.properties
│      truststore.jks
│
├─localhost_2
│      keystore.jks
│      nifi.properties
│      truststore.jks
│
└─localhost_3
        keystore.jks
        nifi.properties
        truststore.jks

特意注意： -C “CN=Admin, OU=ApacheNIFI” 中间的空格必须保留

拷贝Nifi服务证书

将localhost目录下的文件拷贝到nifi-ncm目录下替换所有的文件
将localhost_2目录下的文件拷贝到nifi-cluster01目录下替换所有的文件
将localhost_3目录下的文件拷贝到nifi-cluster02目录下替换所有的文件
将CN=Admin_OU=ApacheNIFI.p12和CN=Admin_OU=ApacheNIFI.password拷贝到桌面备用，后续登录需要使用

配置单点Zookeeper相关

创建目录及id

进入nifi-ncm的目录，创建woker目录，并把server id写到文件中，命令如下：

1
2
D:\DevelopTools\nifi-ncm>mkdir -p state\zookeeper
D:\DevelopTools\nifi-ncm>echo -n '1' > state/zookeeper/myid

更新ZK配置

进入nifi-ncm的conf目录，打开zookeeper.properties文件，内容更新参考如下：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
clientPort=2181
initLimit=10
autopurge.purgeInterval=24
syncLimit=5
tickTime=2000
dataDir=./state/zookeeper
autopurge.snapRetainCount=30

# 只需要配置端口服务
server.1=localhost:2181

更新Nifi配置

进入nifi-ncm的conf目录，打开nifi.properties文件，更新如下的配置属性：

1
2
3
4
5
nifi.state.management.embedded.zookeeper.start=true

# zookeeper properties, used for cluster management #
# 另外两个节点，只要编辑此字段即可
nifi.zookeeper.connect.string=localhost:2181

更新State配置

进入nifi-ncm的conf目录，打开state-management.xml文件，更新zookeeper配置，如下：

1
2
3
4
5
6
7
8
9

<cluster-provider>
    <id>zk-provider</id>
    <class>org.apache.nifi.controller.state.providers.zookeeper.ZooKeeperStateProvider</class>
    <property name="Connect String">localhost:2181</property>
    <property name="Root Node">/nifi</property>
    <property name="Session Timeout">10 seconds</property>
    <property name="Access Control">Open</property>
</cluster-provider>

然后把此文件拷贝到nifi-cluster01和nifi-cluster02相同的目录下

配置Nifi Admin

添加Admin用户

进入nifi-ncm的conf目录，打开authorizers.xml文件，找到file-provider添加如下配置：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
<authorizer>
    <identifier>file-provider</identifier>
    <class>org.apache.nifi.authorization.FileAuthorizer</class>
    <property name="Authorizations File">./conf/authorizations.xml</property>
    <property name="Users File">./conf/users.xml</property>
    <property name="Initial Admin Identity">CN=Admin, OU=ApacheNifi</property>
    <property name="Legacy Authorized Users File"></property>

    <property name="Node Identity 1">CN=localhost, OU=NIFI</property>
    <property name="Node Identity 2">CN=localhost_2, OU=NIFI</property>
    <property name="Node Identity 3">CN=localhost_3, OU=NIFI</property>
</authorizer>

然后把此文件同时拷贝到别外两个节点目录。

注：在Node Identity x中的OU要写成NIFI，尝试过用别的名称好像不成功，具体的原因未知，感兴趣的可以自行探究一二。

安装证书

打开谷歌浏览器，在设置中找到安全选项中找到管理证书，点击Import开始导入上面生成的证书：CN=Admin_OU=ApacheNIFI.p12，密码在后缀名为.password的文件中，如下图所示：

启动Nifi服务

进入到Nifi安装目录，然后在bin目录中找到run-nifi.bat文件并双击运行，注意启动的顺序： nifi-ncm–>nifi-cluster01/2，等待片刻后（可能会有点久，需要一个选举的过程）打开浏览器输入"https://localhost:9443/nifi"，选择刚刚导入的证书，如看到下面的画面表示启动成功：