本文共 1280 字,大约阅读时间需要 4 分钟。
当架构师大刘看到实习生小李提交的记账流水乱序问题时,他知道这次必须用一致性哈希来解决这个问题了。一致性哈希是分布式架构师的必备良药,让我们一起来探索它。
在N年前,互联网的分布式架构方兴未艾。大刘所在的公司由于业务需要,引入了一套由IBM团队设计的业务架构。这套架构采用了分布式的思想,通过RabbitMQ的消息中间件来通信。在当时的年代,这被视为思想超前的黑科技。
然而,随着时间的推移,这套架构暴露了两个主要问题:
为了解决RabbitMQ的单点问题,他们使用了Keepalived配合两台无关系的RabbitMQ实现了高可用。但对业务系统的单点问题,最初的解决方案并不理想。通过简单地部署多个应用集群化,问题反而变得更复杂。
随着公司的发展,IM工具的用户数量急剧增加,新的问题出现了:
为了解决这些问题,开发人员们想到了一种动态检测配置的方案。通过定时检测配置文件的变化,当发现变动时,自动刷新规则。这样一来,集群机器的增加只需要以下三个步骤:
然而,这种方案仍然存在一些问题:
为了进一步优化,他们开始思考如何让分配规则更加自动化。最终,引入了一致性哈希的思想。具体实现如下:
这种方法解决了动态增加或减少队列的问题,但当真实队列数量远小于假设的队列数量时,会出现严重的失衡问题。
假设只有5个真实队列,而分配规则是m = hash(id) mod 100。m大于5的概率高达95%,这些信息最终会映射到环中的第一个队列,导致雪崩效应。
为了缓解这一问题,他们采用了虚拟节点的方法:
这样一来,真实存在的队列可以均匀分布在环上,极大地减少了失衡的可能性。
一致性哈希是一种经典的分布式算法思想,广泛应用于分片和任务分发问题。但需要注意的是,Redis并没有使用哈希算法来计算分布,只是借用了其思想。理解一致性哈希的核心思想,才能更灵活地应用到实际项目中。
通过这篇文章,我们从哈希开始,一路走到虚拟节点的分布,最终理解了一致性哈希的思想。希望这篇文章能帮助您更好地理解分布式系统的挑战以及解决方案。
转载地址:http://ddhqz.baihongyu.com/