Flink:部署

  • 2018-09-17
  • 64
  • 0
  • 0

概述


官网地址:https://flink.apache.org/

Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用的功能。

现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为它们所提供的SLA(Service-Level-Aggreement)是完全不相同的:流处理一般需要支持低延迟、Exactly-once保证,而批处理需要支持高吞吐、高效处理。

Flink从另一个视角看待流处理和批处理,将二者统一起来:Flink是完全支持流处理,也就是说作为流处理看待时输入数据流是无界的;批处理被作为一种特殊的流处理,只是它的输入数据流被定义为有界的。

Flink流处理特性:

  • 支持高吞吐、低延迟、高性能的流处理
  • 支持带有事件时间的窗口(Window)操作
  • 支持有状态计算的Exactly-once语义
  • 支持高度灵活的窗口(Window)操作,支持基于time、count、session,以及data-driven的窗口操作
  • 支持具有Backpressure功能的持续流模型
  • 支持基于轻量级分布式快照(Snapshot)实现的容错
  • 一个运行时同时支持Batch on Streaming处理和Streaming处理
  • Flink在JVM内部实现了自己的内存管理
  • 支持迭代计算
  • 支持程序自动优化:避免特定情况下Shuffle、排序等昂贵操作,中间结果有必要进行缓存

安装


以测试环境为例:

  • 192.168.10.82
  • 192.168.10.83

java环境

[root@flink-test ~]# java -version
java version "1.8.0_181"
Java(TM) SE Runtime Environment (build 1.8.0_181-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)

 

下载

将安装包下载至所有节点:

cd /opt
tar zxvf flink-1.4.0-bin-scala_2.11.tgz -C /usr/local

 

配置

所有节点均修改conf/flink-conf.yaml:

# master节点地址
jobmanager.rpc.address: 192.168.10.82
 
 
# 配置jobmanager JVM内存
jobmanager.heap.mb: 2048
 
 
# 配置taskmanager JVM内存
taskmanager.heap.mb: 2048

 

所有节点配置conf/slaves:

192.168.10.82
192.168.10.83

 

启动

bin/start-cluster.sh

 

 

评论

还没有任何评论,你来说两句吧