博客
关于我
腾讯面试官问我“一致性哈希”,我丢给他 18 张图
阅读量:704 次
发布时间:2019-03-16

本文共 1280 字,大约阅读时间需要 4 分钟。

一致性哈希:解决分布式系统的消息乱序问题

当架构师大刘看到实习生小李提交的记账流水乱序问题时,他知道这次必须用一致性哈希来解决这个问题了。一致性哈希是分布式架构师的必备良药,让我们一起来探索它。

从哈希开始

在N年前,互联网的分布式架构方兴未艾。大刘所在的公司由于业务需要,引入了一套由IBM团队设计的业务架构。这套架构采用了分布式的思想,通过RabbitMQ的消息中间件来通信。在当时的年代,这被视为思想超前的黑科技。

然而,随着时间的推移,这套架构暴露了两个主要问题:

  • RabbitMQ是一个单点,一旦它坏了,整个系统就会瘫痪。
  • 收发消息的业务系统也是单点,任何一点出现问题都会导致消息堆积或无法消费。
  • 为了解决RabbitMQ的单点问题,他们使用了Keepalived配合两台无关系的RabbitMQ实现了高可用。但对业务系统的单点问题,最初的解决方案并不理想。通过简单地部署多个应用集群化,问题反而变得更复杂。

    新问题出现

    随着公司的发展,IM工具的用户数量急剧增加,新的问题出现了:

  • 收消息的集群机器不够用,导致消息处理速度变慢。
  • 论有时IM系统整体不可用,尤其是当客户也在使用时,这对公司的产品形象造成了严重影响。
  • 思路转变

    为了解决这些问题,开发人员们想到了一种动态检测配置的方案。通过定时检测配置文件的变化,当发现变动时,自动刷新规则。这样一来,集群机器的增加只需要以下三个步骤:

  • 增加一个队列。
  • 修改分配消息的规则。
  • 部署新的机器。
  • 然而,这种方案仍然存在一些问题:

  • 随着系统的扩展,手工修改规则的系统也越来越多。
  • 消费机器宕机后,需要删除队列并恢复原有的分配规则,这增加了运维的复杂性。
  • 一致性哈希的思想

    为了进一步优化,他们开始思考如何让分配规则更加自动化。最终,引入了一致性哈希的思想。具体实现如下:

  • MQ中有100个队列,处于一个环状结构。
  • 发送消息的应用计算m = hash(id) mod 100。
  • 如果对应的队列不存在,顺时针查找环中的下一个真实队列。
  • 这种方法解决了动态增加或减少队列的问题,但当真实队列数量远小于假设的队列数量时,会出现严重的失衡问题。

    失衡的圆环

    假设只有5个真实队列,而分配规则是m = hash(id) mod 100。m大于5的概率高达95%,这些信息最终会映射到环中的第一个队列,导致雪崩效应。

    虚拟节点的解决方案

    为了缓解这一问题,他们采用了虚拟节点的方法:

  • 真实的队列分布在环上。
  • 使用哈希算法将虚拟节点映射到真实节点。
  • 虚拟节点的数量远大于真实节点数量。
  • 这样一来,真实存在的队列可以均匀分布在环上,极大地减少了失衡的可能性。

    一致性哈希的核心思想

    一致性哈希是一种经典的分布式算法思想,广泛应用于分片和任务分发问题。但需要注意的是,Redis并没有使用哈希算法来计算分布,只是借用了其思想。理解一致性哈希的核心思想,才能更灵活地应用到实际项目中。

    通过这篇文章,我们从哈希开始,一路走到虚拟节点的分布,最终理解了一致性哈希的思想。希望这篇文章能帮助您更好地理解分布式系统的挑战以及解决方案。

    转载地址:http://ddhqz.baihongyu.com/

    你可能感兴趣的文章
    Objective-C ---JSON 解析 和 KVC
    查看>>
    Objective-C 编码规范
    查看>>
    Objective-Cfor循环实现Factorial阶乘算法 (附完整源码)
    查看>>
    Objective-C——判断对象等同性
    查看>>
    objective-c中的内存管理
    查看>>
    Objective-C之成魔之路【7-类、对象和方法】
    查看>>
    Objective-C享元模式(Flyweight)
    查看>>
    Objective-C以递归的方式实现二叉搜索树算法(附完整源码)
    查看>>
    Objective-C内存管理教程和原理剖析(三)
    查看>>
    Objective-C实现 Greedy Best First Search最佳优先搜索算法(附完整源码)
    查看>>
    Objective-C实现 jugglerSequence杂耍者序列算法 (附完整源码)
    查看>>
    Objective-C实现 lattice path格子路径算法(附完整源码)
    查看>>
    Objective-C实现1000 位斐波那契数算法(附完整源码)
    查看>>
    Objective-C实现2 个数字之间的算术几何平均值算法(附完整源码)
    查看>>
    Objective-C实现2d 表面渲染 3d 点算法(附完整源码)
    查看>>
    Objective-C实现2D变换算法(附完整源码)
    查看>>
    Objective-C实现3n+1猜想(附完整源码)
    查看>>
    Objective-C实现3n+1猜想(附完整源码)
    查看>>
    Objective-C实现9x9乘法表算法(附完整源码)
    查看>>
    Objective-C实现9×9二维数组数独算法(附完整源码)
    查看>>