05、Kafka实战:kafka集群参数配置(下

一.Topic级别参数

Topic的优先级:

  • 如果同时设置Topic级别参数和全局Broker参数,那么Topic级别优先

消息保存方面:

  • retention.ms:规定Topic消息保存时长。默认是7天。一旦设置将覆盖掉Broker端的全局参数值。
  • retention.bytes:规定为该Topic预留多大的磁盘空间。和全局参数作用相识,默认-1,可以无限使用磁盘空间。

消息大小的方面:

  • max.message.bytes:决定kafka Broker能够正常接收该Topic最大消息大小。

二.JVM参数

  • kafka服务器端diam用于Scale语言编写,但是最终还是编译成Class文件在JVM上运行,因此JVM参数设置对于Kafka集群十分重要。
  • Java 8版本及以上
  • JVM堆大小设置成6GB
  • KAFKA_HEAP_OPTS:指定堆大小。
  • KAFKA_JVM_PERFORMANCE_OPTS:指定 GC 参数。

三.操作系统参数

  • 文件描述符限制---将它设置成超大值。ulimit -n 1000000
  • 文件系统类型--- XFS性能强于ext4,推荐使用XFS
  • Swapoiness--- swap 的调优,将 swappniess 配置成一个接近 0 但不为 0 的值,比如 1。
  • 提交时间 --默认是 5 秒

版权声明:本文不是「本站」原创文章,版权归原作者所有 | 原文地址: