一.Broker 端参数
Broke存储信息配置
- log.dirs:非常重要,指定Broker需要使用的若干文件目录路径,没有默认值必须亲自指定。
- log.dir:他只能表示单个路径,补充上一个参数用。
如何设置:
- 只要设置log.dirs,不要设置log.dir
- 线上环境一定要为log.dirs配置多个路径,具体格式为CSV格式,比如:/home/kafka1,/home/kafka2,/home/kafka3
最好保证这些目录挂载到不同的物理磁盘上:
- 提升读写性能:多块磁盘同时读写数据有更高吞吐量
- 能实现故障转移:Failover
- kafka1.1以前:Broker使用的任何一块磁盘挂掉,整个Broker进程都会被关闭
- 1.1之后:坏掉的磁盘的数据会自动转移到其他正常的磁盘上,而且Broker还能正常工作。
二.Zookeeoer的相关配置:
- Zookeeper是什么
- 分布式协调框架,负责协调管理并保存kafka集群的所有元数据信息,比如集群中有哪些Broker运行,创建哪些Topic,每个Topic多个分区,以及分区的Leader副本在哪些机器上等信息。
Zookeeper.connect
- 这也是CSV格式的参数,比如zk1:2181,zk2:2181,zk3:2181
- 多个kafka使用同一套zookeeper集群,使用chroot,类似于别名。
三.客户端程序或者其他Broker与该Broker的配置:
- listeners:监听器,告诉外部连接者要通过什么协议访问指定主机名和端口开放kafka的服务。
- advertised.listeners:和listeners相比多了个advertised。Advertised含义是公开的,因此这组 监听器是Broker对外公布的。
监听器的概念:
- 他是由若干个逗号分隔的三元组,每个三元组格式为
<协议名称,主机号,端口号>
- listener.security.protocol.map参数告诉这个协议底层使用了哪种安全协议
- 这里我给出统一的建议:最好全部使用主机名,即 Broker 端和 Client 端应用配置中全部填写主机名。
四.Topic 配置
auto.create.topics.enable:是否允许自动创建Topic
- 参数建议最好设置成false,避免创建名字稀奇古怪的Topic。
unclean.leader.election。enable
- 能否让落户的副本竞选Leader。
- 如果是false:坚决不让落后太多的副本竞选Leader,这样会导致分区不可用,因为没有Leader选出
- 如果是true,那么kafka允许从慢的副本中选出一个Leader,这样会导致数据丢失,因为副本数据本身就不全,当成为Leader以后就会以他的为准。
- 这个参数新版默认false;
auto.leader.rebalance.enable:是否允许定期选举Leader
- 对生产环境影响较大
- 换Leader,本身没有收益建议换成false;
五.数据存留配置
log.retention.{hours|minutes|ms}
- 控制一条消息数据保存多长时间,优先级是ms>minutes>hours
- 通常情况下设置hours级别多一些,比如log.retention.hours=168表示7天后删除,自动删除7天前的数据。
log.retention.bytes:
- 指定 Broker 为消息保存的总磁盘容量大小。
message.max.bytes:控制 Broker 能够接收的最大消息大小。
- 默认的 1000012 太少了,还不到 1MB。实际场景中突破 1MB 的消息都是屡见不鲜的,因此在线上环境中设置一个比较大的值还是比较保险的做法。毕竟它只是一个标尺而已,仅仅衡量 Broker 能够处理的最大消息大小,即使设置大一点也不会耗费什么磁盘空间的。
版权声明:本文不是「本站」原创文章,版权归原作者所有 | 原文地址: