07、Flink实战:DataStream之DataSourceAPI(六)不同数据源及容错性总结

1、 Flink提供的这些数据源接口的容错性保证如下表;

DataSource 语义保证 备注
File Exactly-once  
Collection Exactly-once  
Socket At-most-once  
Kafka Exactly-once 需要使用0.10及以上版本

2、 Flink可通过内置的Connector连接器,提供对应的Source支持;

连接器 是否提供Source支持 是否提供Sink支持
Apache Kafka
Apache Cassandra
Apache Kinesis Data Streams
Elasticsearch
HDFS
RabbitMQ
Apache NiFi
Twitter Streaming API

3、 Flink通过ApacheBahir组件提供了对这些连接器的支持;

连接器 是否提供Source支持 是否提供Sink支持
Apache ActiveMQ
Apache Flume
Redis
Akka
Netty

版权声明:本文不是「本站」原创文章,版权归原作者所有 | 原文地址: