07、Flink实战:DataStream之DataSourceAPI(六)不同数据源及容错性总结

1、 Flink提供的这些数据源接口的容错性保证如下表;

DataSource 语义保证 备注
File Exactly-once  
Collection Exactly-once  
Socket At-most-once  
Kafka Exactly-once 需要使用0.10及以上版本

2、 Flink可通过内置的Connector连接器,提供对应的Source支持;

连接器 是否提供Source支持 是否提供Sink支持
Apache Kafka 是 是
Apache Cassandra 否 是
Apache Kinesis Data Streams 是 是
Elasticsearch 否 是
HDFS 否 是
RabbitMQ 是 是
Apache NiFi 是 是
Twitter Streaming API 是 是

3、 Flink通过ApacheBahir组件提供了对这些连接器的支持;

连接器 是否提供Source支持 是否提供Sink支持
Apache ActiveMQ 是 是
Apache Flume 否 是
Redis 否 是
Akka 否 是
Netty 是 否

版权声明:本文不是「本站」原创文章,版权归原作者所有 | 原文地址: