搭建flink集群
ben 2020-03-08
flink
# 单机模式
# 下载flink
wget http://mirrors.hust.edu.cn/apache/flink/flink-1.9.3/flink-1.9.3-bin-scala_2.11.tgz
1
# 解压到/data
# 启动
/data/flink-1.9.3/bin/start-cluster.sh
1
# 访问页面
http://192.168.1.129:8081/
1
# 关闭
通过jps查看java进程
TaskManagerRunner
StandaloneSessionClusterEntrypoint
kill即可
1
2
3
4
5
2
3
4
5
# 集群模式
wget http://mirrors.hust.edu.cn/apache/flink/flink-1.9.3/flink-1.9.3-bin-scala_2.11.tgz
1
# 解压到/data
# 修改配置文件
假设有两部机器 129和132，必须设置root账户，而且允许root密码登陆；
cd /data/flink-1.9.3/conf
1
vim flink-conf.yaml
jobmanager.rpc.address: 192.168.1.129
jobmanager.rpc.port: 6123
jobmanager.heap.size: 1024m
taskmanager.heap.size: 1024m
taskmanager.numberOfTaskSlots: 3
1
2
3
4
5
6
7
2
3
4
5
6
7
vim masters
192.168.1.129:8081
1
2
2
vim slaves
#192.168.1.129
192.168.1.132
1
2
3
2
3
# 集群内的机器都要如上配置，保持一致，不用修改，必须!然后在master节点启动集群；
/data/flink-1.9.3/bin/start-cluster.sh
1
# 高可用模式
假设有三部机器，129，132，134，其中，129master，132、134slave，132备用master
# 修改配置文件
cd /data/flink-1.9.3/conf
1
vim flink-conf.yaml
high-availability: zookeeper
# 这里应该配置为 hdfs ，但我们没有装，所以暂时配置为本地，不然没法启动集群
high-availability.storageDir: /data/flink-1.9.3/dataDir/
high-availability.zookeeper.quorum: 192.168.1.129:2181
1
2
3
4
5
6
2
3
4
5
6
vim masters
# 当前一部机器master，另一部备用master，具体哪部机器先为master，看在哪一部启动集群
192.168.1.129:8081
192.168.1.132:8081
1
2
3
4
5
2
3
4
5
vim slaves
#192.168.1.129
192.168.1.132
192.168.1.134
1
2
3
4
2
3
4
# 集群内的机器都要如上配置，保持一致，不用修改，必须!然后在master节点启动集群；
/data/flink-1.9.3/bin/start-cluster.sh
1