04、Flink实战:DataStream之DataSourceAPI(二)基于文件的readTextFile

readTextFile 接口可读取指定文本文件,遵循TextInputFormat逐行读取规则并返回。

(在TextInputFormat中,文本文件中的每一行都是一条记录。 值是行的内容,而Key是行的字节偏移量。)

import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class readTextFileReview {
    public static void main(String[] args) throws Exception{
        // 1.获取flink流计算的运行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 2.从文本文件读取数据
        // 参加路径参数可以是本地,也可以是hdfs,如 "file:///some/local/file" or "hdfs://host:port/file/path")
        DataStream<String> lines = env.readTextFile("hdfs://192.168.***.***:9000/test3.txt");

        int parlNum = lines.getParallelism();
        System.out.println("The parallelism num of readTextFile is " + parlNum);   // result:4

        //3.调用Sink (Sink必须调用)
        lines.print();

        //4.启动流计算
        // 这个异常能使用try...catch... 处理,因为程序希望将异常抛给上层flink,flink会根据异常来做相应的重启策略等处理
        env.execute("readTextFileReview");
    }
}

readTextFile 返回的DataStream是并行的,默认的并行度和本地电脑的核数一致。可以直接从本地读取数据,也可以从hdfs读取数据。

*

*

版权声明:本文不是「本站」原创文章,版权归原作者所有 | 原文地址: