一、RabbitMQ消息丢失原因

我们首先了解下一条消息从生产到消费的整个流程如下:

RabbitMq消息丢失原因及其解决方案

生产–>MQ Broker –> 消费。所以这三个环消息队列的使用场景节都有丢失消息的可能。

1.1、生产者丢失消http 500

生产数据库管理系统者将数据发送到rabbitmq的时候,可能因为网络问题导致数据就在半路给搞丢了。

1.使用事务(性能差)

​ RabbitMQ 客户端中与事务机制相关的方法有三个: channel.http://www.baidu.comtxSelect 、channel.txCommit 和 channel.txRo数据库系统工程师llback。channel.txSelect 用于将当前数据库系统概论的信道设置成事务模式,channel.txCommit 用于提交事务,channel.txRollback 用于事务回滚。在通过 channel.txSelect 方法开启事务之后,我们便可以发布消息给 RabbitMQ 了,如果事务提交成功,则消息一定到达了 RabbitMQ 中,如果在事务提交执行之前由于 RabbitMQ异常崩溃或者其他原因抛出异常,这个时候我们便可以将其捕获,进而通过执行channel.txRollback 方法来实现事务回滚。注意这里的 Rahttp 500bbitMQ 中的事务机制与大多数数据库中的事务概念并不相消息队列遥测传输同,需消息队列的优缺点要注意区分。

​ 事务确实能消息队列的优缺点够解决消息发送方和 RabbitMQ 之间消息确测试认的问题,只有消息成功被RabbitMQ 接收,事务才能提交成功,否则便可在捕获异常之后进行事务回滚,与此同时可以进行消息重发。但是使用事务机制会“吸干”RabbitMQ 的性能。

2.发送回执确认(推荐)

​ 生产者将信道设置成 confirm(确认)模式,一旦信道进消息队列遥测传输入 confirm 模式,所有在该信道上面发布的消息都会被指派一个唯一的 ID(从 1 开始),一旦消息被投递到所有匹配的队列之后,RabbitMQ 就会发送一个确认(数据库有哪几种Basic.Ack)给生产者(包含消息的唯一 ID),这事务性工作就使得生产者知晓消息已经正确到达了目的地了。如果消息和队列是可持久化的,那么确认消息会在消息写入消息队列重复消费怎么避免磁盘之后发出。Rab测试你的自卑程度bitMQ 回传给生产者的确认消息中的 delhttp协议iveryTag 包含了确认消息的序号,此外 RabbitMQ测试抑郁症的20道题 也可以设置 channel消息队列重复消费怎么避免.basi消息队列原理cAck 方法中的 mult事务iple 参数,表示到这个序号之前的所有消息都已经得到了处理,注意辨别这里的确认和消费时候的确认之间的异同。

RabbitMq消息丢失原因及其解决方案

注意要点:

  • 事务机制和 publisher confirm 机制两者是互斥的数据库有哪几种,不能共存。

  • 事务机制和 publisher confirm 机制确消息队列原理保的是消息能够正确地发送至 RabbitMQ,这里的“发送至 RabbitMQ”的含义是指消息被事务的四个特性正确地发往至 RabbitMQ 的交换器,如果此交换器没有匹配的队列,那http协议么消息也会丢失。

1.2、RabbitMQ弄丢了数据-开启RabbitMQ的测试你适合学心理学吗数据持久化

​ 为了防止rabbitmq自己弄丢了数据,这个你必须测试开启rabbitmq的持久化,就是消息写入之后会持久化到磁盘,哪怕是rabbitmq自己挂了,恢复之后会自动读取之前存储的数据,一般数据不会丢。除非极其罕见的是,rabbitmq还没持久化,自己就挂了,可能导致少量数据会丢失的,但是这个概率较小。

  设置持久化有两个步骤,第一个是创建queue的时候将其设置为持久化的,这样就可以保证rabbitmq持久化queue的元数据,但是不会持久化queue里的数据;第二个是发送消息的数据库管理系统时候将消息的deliveryMode设置为2,就是将消息设置为持久数据库系统概论化的,此时rabbitmq就会将消息持久化到磁盘上去。必须要同时设置这数据库系统的核心是两个持久化才行,rabb事务所是干什么的itmq哪怕是挂了,再次重启,事务所也会从磁盘上重启恢复queue,恢复这个queue里的数据。

  而且持久化可以跟生事务所所长的委托任务产者那边的confirm机制配合起来,只有消息被持久化到磁盘之后http协议,才会通知生产者ack了,所以哪怕是在持久化消息队列的优缺点到磁盘之前,rabbitmq挂了,数据丢了,生产者收不到ack,你也是可以自己测试你适合学心理学吗重发的。

  若生产者那边的confirm机制未开启的情况下,哪怕是你给rabbitmq开启了持久化测试手机是否被监控机制,也有一种可能,就是这个消息写到了rabbitmq中,但是还没来得及持久化到磁盘上,结果不巧,此时rabbitmq挂了,就会导致内存里的一点点数据会丢失。

1.3、消费端弄丢了数据

​ 为了保证消息从队列可靠地达到消费者,RabbitMQ 提供了消息确认机制(message acknowledgement)。消费者在订阅队列时,可以指定 autoAck 参数,当 autoAck 等于 false时,Rabbit数据库管理系统MQ 会等待消费者显式地回复确认信号后才从内存(或者磁盘)中移去消息(实质上是先打上事务性工作删除标记,之数据库原理后再删除)。当 autoAck 等于 true 时,RabbitMQ 会自动把发数据库系统概论第五版课后答案送出去的消息置https和http的区别为确认,然后从事务性工作是什么意思内存(或者磁盘)中删除,而不管消费者是否真正地消费数据库系统工程师到了这些消息。

​ 采用消息确认机制后,只要设置 autoAck 参测试工程师数为 false,消费者数据库系统工程师就有足够的时间处理消息(任务),不用事务所是干什么的担心处理消息过程中消费者进程挂掉后消息丢失的问题,因为 RabbitMQ 会一直等待事务持有消息直到消费者显式调用 Basic.Ack 命令为止。

​ 这里我们可以通过RabbtiMQ 的 Web 管理平台上可以看到当前队列中的“Ready”状态和“Unacknowledged”状态的消息数,分别对应上文中的等待投递给消费者的消息数和已经投递给消费者事务性工作是什么意思但是未收到确认信号的消息数。

二、模拟消费端丢失数据

2.1、初始化工程

这里不做说了,可以看我《SpringBoot消息队列面试题集成RabbitMQ》中的相关步骤。这里我们直接写生产者和消费者。

2.2、编写生产者

我们在之前的工程上进行相应的修改,通过http方式生产消息。我们直接在IndexController中新增simpleProducer方法消息队列面试题

内容如下:

/**
 * @Author julyWhj
 * @Description IndexController$
 * @Date 2021/10/7 10:18 上午
 **/
@RestController
public class IndexController {
    @Autowired
    private SimpleProducer simpleProducer;
    @GetMapping("/index")
    public String index() {
        return "Hello RabbitMQ";
    }
    @GetMapping("/producer")
    public String simpleProducer() {
        for (int i = 0; i < 10; i++) {
            simpleProducer.sendOrderMessage(Simple.builder()
                    .createTime(new Date())
                    .name("JulyWhj")
                    .age(i)
                    .no("ID-000" + i)
                    .phone("138XXXXXXXX")
                    .build());
        }
        return "消息发送成功";
    }
}

我们测试下生产者消息队列mq,启动服务,在浏览器中访测试手机是否被监控问”http://127.0.0.1:8080/producer”。

注意:

这里我们使用http://www.baidu.comDebu消息队列重复消费怎么避免g方式启事务局是什么单位动,在消费者中加上断点,因为我http://www.baidu.com们的生产者和消费者在同一个服务中,生产的消息会被消费者直接消费掉。所以我们加上断点,阻止消费者消费消息。

RabbitMq消息丢失原因及其解决方案

可以看到消息浏览器返回消息发送成功。数据库系统概论

RabbitMq消息丢失原因及其解决方案

我们通过RabbitMQ管理平台看下队列中消息数量:

RabbitMq消息丢失原因及其解决方案

通过管理平台我们可以看到有10条消息没消费。

2.3、模拟消费者断电

我们可以看到队列中有10条消息没有消费,我们通过D数据库系统概论第五版课后答案ebug让消费者消费一条消息。

RabbitMq消息丢失原因及其解决方案

数据库管理系统费一条后,我们首先查看下队列中消息数量:

RabbitMq消息丢失原因及其解决方案

可以看到,队列中还有9条消息,这里我们停止消费者服务。

RabbitMq消息丢失原因及其解决方案

这里我们看到,数据库查询语句队列中消息条数为0,出现了消息丢失的问题。

​ 因为这里我们使用了消费者自动消息确认机制。当 autoAck 等于 true 时,RabbitMQ 会自动把发送出去的消息置为确认,然后从内存(或者磁盘)中删除,而消息队列的作用不管消费者是否真正地消费到了这些消息

2.4、使用手动消息确认机制

​ 我们通过配置spring.rabbitmq.lis事务所所长npctener.simple.acknowledge-mode=manual属性,开启手动ack模式。默认配置auto自动确认。

在application配置文件中新增如下配置:

spring.rabbitmq.host=host
spring.rabbitmq.port=5672
spring.rabbitmq.virtual-host=/
# 开启手动ack确认消息
spring.rabbitmq.listener.simple.acknowledge-mode=manual

这里我们在测试下,重新启动服务,

RabbitMq消息丢失原因及其解决方案

我们可以看到,这里控制台已经消息队列面试题消费了10条消息,但是我们没有确认消费消息,我们可以看下队列中是否依然存在10条数据。

RabbitMq消息丢失原因及其解决方案

我们可以看到队列中依然存在10条消息。如果我们重启服务,模拟断电,消息依然存在不会丢失。

我们将手动ack代码注释去掉,我们可以看到已经消费了一条消息。我们停止服务,模拟断电效果。

RabbitMq消息丢失原因及其解决方案

我们查看下消息队列中的数据,是9条,httpclient而非0。这样消费端不会因断电等情况导致消费端数据丢失。

RabbitMq消息丢失原因及其解决方案

三、RabbitMQ消息测试抑郁症的20道题可靠性保障策略

1、生产者开启消息确认机制

2、消息队列数据持久化

3、消费者手动ack

4、生产者消息记录+定期补偿机制

5、服务幂等处理

6、消息挤压处理等

这里的内容我们在后续文章中单独展开分析,这里只是给大家提供下需要注事务意的事项。包括TTL和DLX队列的使用等。