01、Flink实战:flink简介

用 Flink 1.20.1/JDK17 的完整有界任务说明数据源、转换、执行与结果核对,保留历史课程资料。

简明结论

Flink 转换链需要实际执行并消费结果;本地有界计数验证不等于生产流处理、容错或性能验证。

Flink 可以执行有界与无界数据上的计算,程序通常描述数据源、转换与结果消费。本篇以三条内存数据为起点,展示完整任务如何执行并返回结果;历史课程截图保留,但关键步骤不再依赖截图。

版本与最小工程

新增实验固定 Flink 1.20.1 与 JDK 17。官方 release-1.20 文档可能显示同一维护分支的后续补丁,代码是否适用于其他版本需要另行核对。下列 POM 中 Boot parent 仅用于固定构建/JUnit 依赖,不启动 Spring 应用。将测试类放在 src/test/java/site。

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>3.2.4</version></parent>
  <groupId>site.cxykk.examples</groupId><artifactId>phase6-flink</artifactId><version>1.0.0</version>
  <properties><java.version>17</java.version><flink.version>1.20.1</flink.version><build.dir>${project.basedir}/target</build.dir></properties>
  <dependencies>
    <dependency><groupId>org.apache.flink</groupId><artifactId>flink-streaming-java</artifactId><version>${flink.version}</version></dependency>
    <dependency><groupId>org.apache.flink</groupId><artifactId>flink-clients</artifactId><version>${flink.version}</version></dependency>
    <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-test</artifactId><scope>test</scope></dependency>
  </dependencies>
  <build><directory>${build.dir}</directory><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-surefire-plugin</artifactId><configuration><argLine>--add-opens=java.base/java.lang=ALL-UNNAMED --add-opens=java.base/java.util=ALL-UNNAMED</argLine></configuration></plugin></plugins></build>
</project>

从输入到结果的完整例子

三个单词先变成 (word,1),按单词 keyBy 后累加。executeAndCollect 提交本地任务并提供可关闭的结果迭代器;只写转换链而不触发执行,不能当作任务已完成。

package site;

import java.util.Map;
import java.util.TreeMap;
import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.junit.jupiter.api.Test;
import static org.junit.jupiter.api.Assertions.*;

class BoundedStreamTest {
  @Test void executesABoundedLocalJob() throws Exception {
    var env=StreamExecutionEnvironment.getExecutionEnvironment();
    env.setParallelism(1);
    var counts=env.fromData("blue","red","blue")
        .map(word -> Tuple2.of(word,1)).returns(Types.TUPLE(Types.STRING,Types.INT))
        .keyBy(value -> value.f0).sum(1);
    var latest=new TreeMap<String,Integer>();
    try (var results=counts.executeAndCollect()) {
      while (results.hasNext()) { var row=results.next(); latest.put(row.f0,row.f1); }
    }
    assertEquals(Map.of("blue",2,"red",1),latest);
    System.out.println("bounded-counts="+latest);
  }
}
mvn -Dtest=BoundedStreamTest test

本次实际输出 bounded-counts={blue=2, red=1}。任务本身会产生中间累计值,测试保存每个键最后观察到的值,核对最终计数;不把不同 key 的全局输出先后顺序写成保证。

这个例子证明与不证明什么

本地有界输入会自然结束,可以用于检查依赖、执行环境和基本转换。它没有连接 Kafka、外部文件系统或集群,也没有配置事件时间窗口、生产并行度或吞吐测试。无界源的停止、故障恢复与外部输出一致性需要另外设计。

原资料的视频与文章链接仍保留。截图中的历史版本、运行界面和课程环境未重建,不能将本轮三条数据的结果归为原课程测试。

下一步阅读

历史截图

以下截图来自原资料,保留作参考,不能代替版本条件和可运行源码,也不是本轮测试输出。

历史资料截图 1(非本轮运行结果)

历史资料截图 2(非本轮运行结果)

历史资料截图 3(非本轮运行结果)

历史资料截图 4(非本轮运行结果)

历史资料截图 5(非本轮运行结果)

历史资料截图 6(非本轮运行结果)

历史资料保留链接:https://www.bilibili.com/video/BV1ZJ411S7Pm?p=11。

历史资料保留链接:https://blog.csdn.net/zhuzuwei/article/details/107116292。