全站资源开放下载,感谢广大网友的支持
链接失效请移步职涯宝平台的学习路线|资源下载分类
支持用户留言评论_客服实时在线_问题解决更快
支付宝赞助-Java帮帮社区
微信赞助-Java帮帮社区

柔性事务:可靠消息最终一致性

13
发表时间:2018-12-11 15:37

   消息发送一致性:是指产生消息的业务动作与消息发送的一致。也就是说,如果业务操作成功,那么由这个业务操作所产生的消息一定要成功投递出去(一般是发送到kafkarocketmqrabbitmq等消息中间件中),否则就丢消息。

   柔性事务、可靠消息最终一致性、异步确保性

下面用伪代码进行演示消息发送和投递的不可靠性:

1、先进行数据库操作,再发送消息

  1. public void test1(){

  2. //1 数据库操作

  3. //2 发送MQ消息

  4. }

这种情况下无法保证数据库操作与发送消息的一致性,因为可能数据库操作成功,发送消息失败

2、先发送消息,再操作数据库

  1. public void test1(){

  2. //1 发送MQ消息

  3. //2 数据库操作

  4. }

这种情况下无法保证数据库操作与发送消息的一致性,因为可能发送消息成功,数据库操作失败

3、在数据库事务中,先发送消息,后操作数据库

  1. @Transactional

  2. public void test1(){

  3. //1 发送MQ消息

  4. //2 数据库操作

  5. }

   这里使用spring 的@Transactional注解,方法里面的操作都在一个事务中。同样无法保证一致性,因为发送消息成功了,数据库操作失败的情况下,数据库操作是回滚了,但是MQ消息没法进行回滚。

4、在数据库事务中,先操作数据库,后发送消息

  1. @Transactional

  2. public void test1(){

  3. //1 数据库操作

  4. //2 发送MQ消息

  5. }

   这种情况下,貌似没有问题,如果发送MQ消息失败,抛出异常,事务一定会回滚(加上了@Transactional注解后,spring方法抛出异常后,会自动进行回滚)。

   这只是一个假象,因为发送MQ消息可能事实上已经成功,如果是响应超时导致的异常。这个时候,数据库操作依然回滚,但是MQ消息实际上已经发送成功,导致不一致。

5、使用JTA事务管理器

   前面通过spring的@Transactional注解加在方法上,来开启事务。其实有一个条件没有明确的说出来,就是我们配置的事务管理器是DataSourceTransactionManager

   事实上,Spring还提供了另外一个分布式事务管理器JtaTransactionManager。这个是使用XA两阶段提交来保证事务的一致性。当然前提是,你的消息中间件是实现了JMS规范中事务消息相关API(回顾前面我们介绍JTA规范时,提到DB、MQ都只是资源管理器RM,对于事务管理器来说,二者是等价的)。

   因此如果你满足了2个条件:1、使用JtaTransactionManager 2、DB、MQ分别实现了JDBC、JMS规范中规定的RM应该实现的两阶段提交的API,就可以保证消息发送的一致性。

   DB作为RM,一般都是支持两阶段提交的。不过,一些MQ中间件并不支持,所以你要找到支持两阶段提交的MQ中间件。另外,JtaTransactionManager只是一个代理,你需要提供一个真实的事务管理器(TM)实现。如前面提到了atomikos公司,就有这样的产品。

   但是笔者依然不建议,这样玩。因为XA两阶段提交性能低,我们使用消息中间件就是为了异步解耦,这种情况,虽然保证了一致性,但是响应时间却大大增加,系统可用性降低。

   那么如何保证,数据库操作和消息发送的一致性呢?


两种方案:一种是基于MQ的事务消息,以下展示了RocketMQ的事务消息机制。

BE2326B0-FC19-4620-BD2E-D34A32B8A405.png

事务消息的逻辑,由发送端 Producer进行保证(消费端无需考虑)

   首先,发送一个事务消息,这个时候,RocketMQ将消息状态标记为Prepared,注意此时这条消息消费者是无法消费到的。

   接着,执行业务代码逻辑,可能是一个本地数据库事务操作

   最后,确认发送消息,这个时候,RocketMQ将消息状态标记为可消费,这个时候消费者,才能真正的保证消费到这条数据。

   如果确认消息发送失败了怎么办?RocketMQ会定期扫描消息集群中的事务消息,如果发现了Prepared消息,它会向消息发送端(生产者)确认。RocketMQ会根据发送端设置的策略来决定是回滚还是继续发送确认消息。这样就保证了消息发送与本地事务同时成功或同时失败。

   如果消费失败怎么办?阿里提供给我们的解决方法是:人工解决。

   

   另外一种实现,并不是所有的mq都支持事务消息。也就是消息一旦发送到消息队列中,消费者立马就可以消费到。此时可以使用独立消息服务、或者本地事务表。

ECEB0CD9-A61C-4ED9-98C1-CE02A9B658C3.png

   可以看到,其实就是将消息先发送到一个我们自己编写的一个"独立消息服务"应用中,刚开始处于prepare状态,业务逻辑处理成功后,确认发送消息,这个时候"独立消息服务"才会真正的把消息发送给消息队列。消费者消费成功后,ack时,除了对消息队列进行ack(图中没有画出),对于独立消息服务也要进行ack,"独立消息服务"一般是把这条消息删除。而定时扫描prepare状态的消息,向消息发送端(生产者)确认的工作也由独立消息服务来完成。

   对于"本地事务表",其实和"独立消息服务"的作用类似,只不过"独立消息服务"是需要独立部署的,而"本地事务表"是将"独立消息服务"的功能内嵌到应用中。


Java帮帮公众号生态

Java帮帮公众号生态

总有一款适合你

Java帮帮-微信公众号

Java帮帮-微信公众号

将分享做到极致

九点编程-公众号

九点编程-公众号

深夜九点学编程

大数据驿站-微信公众号

大数据驿站-微信公众号

一起在数据中成长

Python帮帮-公众号

Python帮帮-公众号

人工智能,爬虫,学习教程

程序员生活志-公众号

程序员生活志-公众号

互联网,职场,程序员那些事儿

Java帮帮学习群生态

Java帮帮学习群生态

总有一款能帮到你

Java学习群

Java学习群

与大牛一起交流

大数据学习群

大数据学习群

在数据中成长

九点编程学习群

九点编程学习群

深夜九点学编程

python学习群

python学习群

人工智能,爬虫

测试学习群

测试学习群

感受测试的魅力

Java帮帮生态承诺

Java帮帮生态承诺

一直坚守,不负重望

初心
勤俭
诚信
正义
分享
合作品牌 非盈利生态-优质内容分享传播者
友链交换:加帮主QQ2524138991 留言即可 24小时内答复  
会员登录
获取验证码
登录
登录
我的资料
留言
回到顶部