09、RocketMQ进阶:RocketMQ工作原理-消息的生产

分布式消息队列RocketMQ

3.1)消息的生产

3、 1.1)消息的生产过程;

Producer可以将消息写入到某Broker中的某Queue中,其经历了如下过程:

1、 Producer发送消息之前,会先向NameServer发出获取消息Topic的路由信息的请求;
2、 NameServer返回该Topic的路由表及Broker列表;
3、 Producer根据代码中指定的Queue选择策略,从Queue列表中选出一个队列,用于后续存储消息;
4、 Produer对消息做一些特殊处理,例如,消息本身超过4M,则会对其进行压缩;
5、 Producer向选择出的Queue所在的Broker发出RPC请求,将消息发送到选择出的Queue;

路由表:实际是一个Map,key为Topic名称,value是一个QueueData实例列表。QueueData并不 是一个Queue对应一个QueueData,而是一个Broker中该Topic的所有Queue对应一个 QueueData。即,只要涉及到该Topic的Broker,一个Broker对应一个QueueData。QueueData中 包含brokerName。简单来说,路由表的key为Topic名称,value则为所有涉及该Topic的 BrokerName列表。

Broker列表:其实际也是一个Map。key为brokerName,value为BrokerData。一个Broker对应一 个BrokerData实例,对吗?不对。一套brokerName名称相同的Master-Slave小集群对应一个 BrokerData。BrokerData中包含brokerName及一个map。该map的key为brokerId,value为该 broker对应的地址。brokerId为0表示该broker为Master,非0表示Slave。

3、 1.2)Queue选择算法;

对于无序消息,其Queue选择算法,也称为消息投递算法,常见的有两种:

3、 1.2.1)轮询算法;

默认选择算法。该算法保证了每个Queue中可以均匀的获取到消息。

该算法存在一个问题:由于某些原因,在某些Broker上的Queue可能投递延迟较严重;从而导致 Producer的缓存队列中出现较大的消息积压,影响消息的投递性能。

3、 1.2.2)最小投递延迟算法;

该算法会统计每次消息投递的时间延迟,然后根据统计出的结果将消息投递到时间延迟小的Queue。 如果延迟相同,则采用轮询算法投递;该算法可以有效提升消息的投递性能。

该算法也存在一个问题:消息在Queue上的分配不均匀。投递延迟小的Queue其可能会存在大量 的消息。而对该Queue的消费者压力会增大,降低消息的消费能力,可能会导致MQ中消息的堆积。

版权声明:本文不是「本站」原创文章,版权归原作者所有 | 原文地址: