浅墨散人 浅墨散人
  • 基础
  • 设计模式
  • JVM
  • Maven
  • SpringBoot
  • 基础
  • Flask
  • Diango
  • Pandas
  • SqlAlchemy
  • Sqoop
  • Flume
  • Flink
  • Hadoop
  • Hbase
  • Hive
  • Kafka
  • Kylin
  • Zookeeper
  • Tez
  • MySQL
  • Doris
  • Chrome
  • Eclipse
  • IDEA
  • iTerm2
  • Markdown
  • SublimeText
  • VirtualBox
  • WebStrom
  • Linux
  • Mac
  • Hexo
  • Git
  • Vue
  • VuePress
  • 区块链
  • 金融
数据仓库
数据治理
读书笔记
关于我
GitHub (opens new window)
  • 基础
  • 设计模式
  • JVM
  • Maven
  • SpringBoot
  • 基础
  • Flask
  • Diango
  • Pandas
  • SqlAlchemy
  • Sqoop
  • Flume
  • Flink
  • Hadoop
  • Hbase
  • Hive
  • Kafka
  • Kylin
  • Zookeeper
  • Tez
  • MySQL
  • Doris
  • Chrome
  • Eclipse
  • IDEA
  • iTerm2
  • Markdown
  • SublimeText
  • VirtualBox
  • WebStrom
  • Linux
  • Mac
  • Hexo
  • Git
  • Vue
  • VuePress
  • 区块链
  • 金融
数据仓库
数据治理
读书笔记
关于我
GitHub (opens new window)
  • Flink

    • 目录
    • 核心概念
    • 快速开始
    • 部署方式
    • 运行时架构
    • API
    • Flink SQL
    • Flink 相关配置
    • 项目实战
  • BigData
  • Flink
2021-10-05

目录

  1. 理论:
    • 理论_Flink简介(一)Flink是什么
    • 理论_Flink简介(二)为什么要用Flink
    • 理论_Flink简介(三)流数据处理的行业
    • 理论_Flink简介(四)流处理的发展演变
    • 理论_Flink简介(五)Flink的特点
    • 理论_Flink简介(六)Flink vs Spark Streaming
    • 理论_简单上手(一)批处理WordCount
    • 理论_简单上手(二)流处理WordCount
    • 理论_简单上手(三)流式数据源测试
    • 理论_Flink部署(一)Flink安装和配置
    • 理论_Flink部署(三)资源的分配和并行度测试
    • 理论_Flink部署(四)命令行提交Job
    • 理论_Flink部署(五)Yarn和K8s平台的Flink部署
    • 理论_运行时架构(一)Flink四大组件
    • 理论_运行时架构(二)作业提交流程_抽象架构
    • 理论_运行时架构(三)Yarn上作业提交流程
    • 理论_运行时架构(四)作业调度原理及思考问题
    • 理论_运行时架构(五)Slot和任务调度
    • 理论_运行时架构(六)Slot和并行度的关系
    • 理论_运行时架构(七)程序结构和数据流图
    • 理论_运行时架构(八)数据传输和任务链
    • 理论_流处理API_创建执行环境
    • 理论_流处理API_Source(一)从集合读取数据
    • 理论_流处理API_Source(二)从文件读取数据
    • 理论_流处理API_Source(三)从kafka读取数据
    • 理论_流处理API_Source(四)自定义测试数据源
    • 理论_流处理API_Transform(一)基本转换操作
    • 理论_流处理API_Transform(二)滚动聚合
    • 理论_流处理API_Transform(三)reduce聚合
    • 理论_流处理API_Transform(四)分流
    • 理论_流处理API_Transform(五)connect合流
    • 理论_流处理API_Transform(六)union合流
    • 理论_流处理API_Flink支持的数据类型
    • 理论_流处理API_Flink中的UDF函数类
    • 理论_流处理API_Flink中的数据重分区操作
    • 理论_流处理API_Sink(一)_Kafka
    • 理论_流处理API_Sink(二)_Redis
    • 理论_流处理API_Sink(三)_Es
    • 理论_流处理API_Sink(四)_JDBC
    • 理论_Window API(一)_基本概念
    • 理论_Window API(二)_窗口类型
    • 理论_Window API(三)_窗口分配器
    • 理论_Window API(四)_窗口函数(一)时间窗口u增量聚合
    • 理论_Window API(五)_窗口函数(二)时间窗口全窗口聚合
    • 理论_Window API(六)_窗口函数(三)计数窗口测试
    • 理论_Window API(七)_其它可选API
    • 理论_时间语义(一)_时间语义概念
    • 理论_时间语义(二)_时间语义的应用
    • 理论_时间语义(三)_事件时间语义的设置
    • 理论_Watermark(四)_Watermark概念和原理
    • 理论_Watermark(五)_Watermark特点和行为
    • 理论_Watermark(六)_Watermark在任务间的传递
    • 理论_Watermark(七)_Watermark在代码中的设置
    • 理论_Watermark(八)_Watermark的设定原则
    • 理论_事件时间语义下的窗口测试(一)
    • 理论_窗口起始点和偏移量
    • 理论_事件时间语义下的窗口测试(二)迟到数据处理
    • 理论_状态管理(一)状态定义
    • 理论_状态管理(二)算子状态
    • 理论_状态管理(三)键控状态.downie
    • 理论_状态管理(三)键控状态
    • 理论_状态编程_温度跳变报警
    • 理论_并行任务Watermark传递测试
    • 理论_状态管理(四)状态后端
    • 理论_ProcessFunction(一)整体介绍和分类
    • 理论_ProcessFunction(二)KeyedProcessFunction测试
    • 理论_ProcessFunction(三)应用案例_一段时间内温度连续上升
    • 理论_ProcessFunction(四)应用案例_高低温分流.downie
    • 理论_ProcessFunction(四)应用案例_高低温分流
    • 理论_容错机制(一)检查点概念
    • 理论_容错机制(二)从检查点做故障恢复
    • 理论_容错机制(三)检查点算法思路和Barrier
    • 理论_容错机制(四)检查点具体算法
    • 理论_容错机制(五)保存点
    • 理论_容错机制(六)检查点和重启策略配置
    • 理论_状态一致性(一)一致性概念和分类
    • 理论_状态一致性(二)端到端状态一致性
    • 理论_状态一致性(三)幂等写入
    • 理论_状态一致性(四)事物写入_预写日志和两阶段提交
    • 理论_状态一致性(五)事物写入_Flink和Kafka连接保证状态一致性
    • 理论_Table API和Flink SQL(一)_基本介绍和简单示例
    • 理论_Table API和Flink SQL(二)_基本程序结构
    • 理论_Table API和Flink SQL(三)_表环境配置
    • 理论_Table API和Flink SQL(四)_创建表_从文件读取数据
    • 理论_Table API和Flink SQL(五)_表的查询
    • 理论_Table API和Flink SQL(六)_表的输出_输出到文件
    • 理论_Table API和Flink SQL(七)_Kafka数据管道测试
    • 理论_Table API和Flink SQL(八)_更新模式
    • 理论_Table API和Flink SQL(九)_输出到其它外部系统
    • 理论_Table API和Flink SQL(十)_表和流的转换
    • 理论_Table API和Flink SQL(十一)_动态表和持续查询
    • 理论_Table API和Flink SQL(十二)_处理时间特性
    • 理论_Table API和Flink SQL(十三)_事件时间特性
    • 理论_Table API和Flink SQL(十四)_分组窗口
    • 理论_Table API和Flink SQL(十五)_开窗函数
    • 理论_Table API和Flink SQL(十六)_系统内置函数
    • 理论_Table API和Flink SQL(十七)_标量函数
    • 理论_Table API和Flink SQL(十八)_表函数
    • 理论_Table API和Flink SQL(十九)_聚合函数
    • 理论_Table API和Flink SQL(二十)_表聚合函数
  2. 项目:
    • 项目_项目介绍(一)_批处理和流处理
    • 项目_项目介绍(二)_电商用户行为分析
    • 项目_项目介绍(三)_项目模块设计
    • 项目_项目介绍(四)_项目模块分析和实现思路
    • 项目_实时热门商品统计(一)_依赖引入和数据定义
    • 项目_实时热门商品统计(二)_开窗聚合
    • 项目_实时热门商品统计(三)_排序输出TopN
    • 项目_实时热门商品统计(四)_切换Kafka数据源
    • 项目_实时热门商品统计(五)_Kafka批量数据测试
    • 项目_实时热门商品统计(六)_Flink SQL实现
    • 项目_实时热门页面统计(一)_程序整体架构
    • 项目_实时热门页面统计(二)_代码具体实现
    • 项目_实时热门页面统计(三)_乱序数据测试
    • 项目_实时热门页面统计(四)_乱序数据处理代码改进
    • 项目_PV统计(一)_基本实现和测试
    • 项目_PV统计(二)_并行和数据倾斜优化
    • 项目_UV统计(一)_基于Set的去重
    • 项目_UV统计(二)_布隆过滤器原理
    • 项目_UV统计(三)_程序架构和自定义窗口触发器
    • 项目_UV统计(四)_自定义布隆过滤器
    • 项目_UV统计(五)_具体代码实现
    • 项目_市场推广渠道统计(一)_整体架构和自定义测试数据源
    • 项目_市场推广渠道统计(二)_具体代码实现
    • 项目_市场推广统计(三)_不分渠道代码实现
    • 项目_广告点击量统计(一)_基本代码实现
    • 项目_广告点击量统计(二)_点击异常行为黑名单过滤
    • 项目_恶意登录检测(一)_程序架构和实现思路
    • 项目_恶意登录检测(二)_简单代码实现
    • 项目_恶意登录检测(三)_代码时效性改进
    • 项目_恶意登录检测(四)_CEP代码实现
    • 项目_CEP简介(一)_CEP概念和Pattern API整体介绍
    • 项目_CEP简介(二)_个体模式和模式序列
    • 项目_CEP简介(三)_复杂事件的匹配检测
    • 项目_CEP简介(四)_连续登录失败检测用循环模式优化
    • 项目_订单超时检测(一)_CEP实现整体架构
    • 项目_订单超时检测(二)_CEP具体实现和测试
    • 项目_订单超时检测(三)_ProcessFunction实现思路和程序架构
    • 项目_订单超时检测(四)_ProcessFunction具体实现流程
    • 项目_订单支付实时对账(一)_实现思路和程序架构
    • 项目_订单支付实时对账(二)_具体代码实现
    • 项目_Join操作(一)_Window Join
    • 项目_Join操作(二)_Interval Join
    • 项目_订单支付实时对账(三)_Join实现
#Flink
最后更新时间: 2022/7/23 10:17:11
核心概念

核心概念→

最近更新
01
分区分桶
08-21
02
数据模型(重要)
08-21
03
安装和编译
08-21
更多文章>
Theme by Vdoing
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式