一文聊清楚Redis主从复制原理

本地缓存带来的应战

分布式缓存比较于本地缓存，在完结层面需求重视的点有哪些不同。整理如下：

从上述几个维度的比照能够发现，同样是缓存，但会集式缓存所承当的任务是彻底不相同的，事务对会集式缓存的存储容量、可靠性、承压性等方面的诉求也是大相径庭，不行同等视之。以Redis为例：

• 怎样打破redis缓存容量受限于机器单机内存巨细的问题？
• 怎样使得redis能够扛住多方过来的恳求压力？
• 怎样确保redis不会成为单点毛病源？

其实答案很简单，加机器！经过多台机器的叠加运用，到达比单机更优的效果 —— 现在事务体系的集群化布置，也都是选用的这个思路。Redis的分布式之路亦是如此，但比较于惯例的事务体系分布式集群化构建愈加杂乱：

1. 许多事务完结集群化布置会很简单，由于每个事务进程节点都是无状况的，只需求布置下然后经过负载均衡的方法对外供给恳求应对即可。
2. Redis作为一个会集式缓存数据库，它是有状况的，不只需求将进程别离布置在多个节点上，还需求将数据也涣散存储在各个节点上，一同还得确保整个Redis集群对外是一个共同全体。

所以关于一个会集式缓存的分布式才能构建，必需求额定供给一些机制，来确保数据在各个节点上的安全与共同性，还需求将涣散在各个节点上的数据都组成一个逻辑上的全体。

主从仿制简介

主从仿制是什么

主从仿制，是指将一台Redis服务器的数据，仿制到其他的Redis服务器。前者称为主节点(master)，后者称为从节点(slave)；数据的仿制是单向的，只能由主节点到从节点，而关于redis来说，一主两从是比较常见的调配。

主从形式依照读写别离的战略来进步全体的恳求处理才能：

1. 主节点(Master)一同对外供给读和写操作
2. 从节点(Slave)经过replicate同步的方法，从主节点仿制数据，坚持本身数据与主节点共同
3. 从节点只能对外供给读操作

当然，关于读多写少类的操作，为了进步全体读恳求的处理才能，能够选用一主多从的方法。一切的从节点都从主节点进行数据同步，这样会导致主节点的同步处理压力过大而成为瓶颈。为了处理这个问题，redis还支撑了从slave节点分发的才能，也便是从服务器也能够有自己的从服务器， 多个从服务器之间能够构成一个主从链。这样能够分摊主服务器压力。

主从仿制的效果

• 数据备份：主从仿制完结了数据的热备份，是耐久化之外的一种数据冗余方法。
• 毛病康复：当主节点呈现问题时，能够由从节点供给服务，完结快速的毛病康复。
• 读写别离：由主节点供给写服务，由从节点供给读服务，进步Redis服务器的并发量。

主从仿制流程

全量仿制

在第一次同步时会进行全量仿制（但并非只要第一次同步时全量仿制，其他状况看后文）

第一次同步时流程：

第一阶段：树立链接、洽谈同步

从服务器向主服务器发送PSYNC ? -1 指令，主动恳求进行完好重同步

psync 指令包括两个参数，别离是主服务器的 runID 和仿制进展 offset。

• runID，每个 Redis 服务器在启动时都会主动生产一个随机的 ID 来仅有标识自己。当从服务器和主服务器第一次同步时，由于不知道主服务器的 run ID，所以将其设置为 "?"。
• offset，表明仿制的进展，（也叫仿制偏移量），主要为增量仿制服务，这儿由于是全量仿制，所以运用-1表明。

主服务器收到 psync 指令后，会向从服务器发送FULLRESYNC呼应指令并带上两个参数：主服务器的 runID 和主服务器现在的仿制进展 offset。从服务器收到呼应后，会记载这两个值。

FULLRESYNC 呼应指令的目的是选用全量仿制的方法，也便是主服务器会把一切的数据都同步给从服务器。

第二阶段：主服务器同步数据给从服务器

接着，主服务器会履行 bgsave 指令来生成 RDB 文件，然后把文件发送给从服务器（数据耐久化）。

从服务器收到 RDB 文件后，会先清空当时的数据，然后载入 RDB 文件。这是由于从服务器在经过 replicaof 指令开端和主服务器同步前，或许保存了其他数据。为了防止之前数据的影响，从服务器需求先把当时数据库清空。

这儿有一点要留意，主服务器生成 RDB 这个进程是不会堵塞主线程的，由于 bgsave 指令是产生了一个子进程来做生成 RDB 文件的作业，是异步作业的，这样 Redis 依然能够正常处理指令。

就像RDB文件生成进程中Redis不中止供给服务相同，从服务器在接纳并载入RDB文件的进程中，主服务器依然能够写入数据，那怎样将这部分数据传给从服务器呢？

第三阶段：主服务器发送新写操作指令给从服务器

为了确保主从服务器的数据共同性，主服务器为每个衔接进来的从服务器预备了一个replication buffer缓冲区，这段时刻内写入的数据都会被存入这个replication buffer中，从服务器完结 RDB 的载入后，会回复一个承认音讯给主服务器。主服务器就将replication buffer中的数据推送曩昔。

长衔接传达

主从服务器在完结第一次同步后，两边之间就会保护一个 TCP 衔接，这个TCP衔接是长衔接

之后就会依据这个长衔接进行指令传达。经过这种方法来确保第一次同步后的主从服务器的数据共同性。

增量仿制

实际上，生成RDB文件是比较消耗资源的，一同，主服务器传输 RDB 文件给从服务器，这个操作会消耗主从服务器很多的网络资源，并对主服务器呼应时延产生影响。而对从服务器而言，载入 RDB 文件期间，会堵塞其他指令恳求，这也会导致呼应功率的下降。而且，当从服务器断开后从头衔接，主从数据不共同，在数据少数不共同的状况下，也不需求全量仿制。因而，就供给了增量仿制

仿制偏移量（replication offset）

主服务器和从服务器会别离保护一个仿制偏移量。假如主从服务器的仿制偏移量相同，则阐明二者的数据库状况共同；反之，则阐明二者的数据库状况不共同，此刻从服务器需求运用增量仿制来同步缺失的这一部分数据。

仿制积压缓冲区（replication backlog）

主服务器的写指令，除了传给从服务器后，还会写入replication backlog（大局仅有），这是一个固定长度的先进先出（FIFO）行列，默许巨细为 1MB。其在内存中是一个环形结构。

1. 主服务器依照顺时针方向写指令，主服务器最新写入的方位即为上文说到的主服务器的偏移量，这儿叫master offset。
2. 假定从服务器在set key2 2后断开衔接，也便是上图中slave offset的方位，当它重连时，再次给主服务器发送psync指令时，会带上自己的offset（留意和全量仿制的差异，全量仿制时offset设置为-1，此刻是从服务器实在的offset值）。
3. 接着，主服务器发现从服务器的偏移量与自己不共同，需求进行增量仿制。此刻主服务器管帐算出master offset与slave offset之间的指令，并发送给该为从服务器预备的replication buffer中，从而发送给从服务器。
4. 从服务器进行写入后便又康复到和主服务器共同的状况。

断开重连并纷歧定总是增量仿制

网络断开后，当从服务器从头连上主服务器时，从服务器会经过 psync 指令将自己的仿制偏移量 slave_repl_offset 发送给主服务器，主服务器依据自己的 master_repl_offset 和 slave_repl_offset 之间的距离，然后来决议对从服务器履行哪种同步操作：

1. 整个replication backlog是个环形结构，也便是说最新的写指令会将最老的写指令掩盖。换句话说，假如从服务器断开时刻太久，环形缓冲区被主服务器的写指令掩盖了，那么从服务器连上主服务器后只能经过全量仿制来获取数据了。所以replication backlog装备要尽量大一些，能够下降主从断开后全量仿制的概率。
   • 假如判别出从服务器要读取的数据还在 repl_backlog_buffer 缓冲区里，那么主服务器将选用增量同步的方法；
   • 相反，假如判别出从服务器要读取的数据现已不存在 repl_backlog_buffer 缓冲区里，那么主服务器将选用全量同步的方法。
2. 上文中有说到每个实例有自己的RunID，这个值在服务器启动时主动生成，由 40 个随机的十六进制字符组成。从服务器断开重连时会将之前主服务器的RunID一同发送曩昔（这儿留意和第一次衔接的差异，第一次衔接时发送的RunID是“？”），主服务器会判别这个RunID是否为自己，假如不是（比方呈现脑裂，呈现两个主服务器），则会和全量仿制时相同回来FULLRESYNC呼应指令，奉告从服务器需求进行全量仿制。

总结

主从服务器第一次同步的时分，便是选用全量仿制。

第一次同步完结后，主从服务器都会保护着一个长衔接，主服务器在接纳到写操作指令后，就会经过这个衔接将写指令传达给从服务器，来确保主从服务器的数据共同性。

假如遇到网络断开，就需求进行增量仿制（当然纷歧定是增量仿制，详细还需求看replication backlog的巨细，以及对应的主服务器RunID）。

面试题专栏

Java面试题专栏已上线，欢迎拜访。

• 假如你不知道简历怎样写，简历项目不知道怎样包装；
• 假如简历中有些内容你不知道该不该写上去；
• 假如有些归纳性问题你不知道怎样答；

那么能够私信我，我会尽我所能协助你。