Zookeeper源码学习

源码下载: https://archive.apache.org/dist/zookeeper/zookeeper-3.5.7/apache-zookeeper-3.5.7.tar.gz

1、持久化源码:

Leader和Follower中的数据会在内存和磁盘中各保存一份。所以需要将内存中的数据持久化到磁盘中。

在zookeeper-server\org.apache.zookeeper.server.persistence包下的相关类都是序列化相关的代码。

1)快照:

java 复制代码
package org.apache.zookeeper.server.persistence;
import java.io.File;
import java.io.IOException;
import java.util.Map;

import org.apache.zookeeper.server.DataTree;

public interface SnapShot {
    
    /**
     * 反序列化
     */
    long deserialize(DataTree dt, Map<Long, Integer> sessions) 
        throws IOException;
    
    /**
     * 序列化
     */
    void serialize(DataTree dt, Map<Long, Integer> sessions, 
            File name) 
        throws IOException;
    
    /**
     * 查找最近的快照文件
     */
    File findMostRecentSnapshot() throws IOException;
    
    /**
     *释放资源
     */
    void close() throws IOException;
} 

2)操作日志:

java 复制代码
package org.apache.zookeeper.server.persistence;

import java.io.IOException;

import org.apache.jute.Record;
import org.apache.zookeeper.server.ServerStats;
import org.apache.zookeeper.txn.TxnHeader;


public interface TxnLog {

    /**
     * 设置服务状态
     */
    void setServerStats(ServerStats serverStats);
    
    /**
     * 滚动日志
     */
    void rollLog() throws IOException;

    /**
     * 追加日志
     */
    boolean append(TxnHeader hdr, Record r) throws IOException;

    /**
     * 读取数据
     */
    TxnIterator read(long zxid) throws IOException;
    
    /**
     * 获取事务ID
     */
    long getLastLoggedZxid() throws IOException;
    
    /**
     * 删除事务
     */
    boolean truncate(long zxid) throws IOException;
    
    /**
     * 获取事务日志的数据库ID
     */
    long getDbId() throws IOException;
    
    /**
     * 提交
     */
    void commit() throws IOException;

    /**
     * 获取事务日志的过期同步时间(毫秒为单位)
     */
    long getTxnLogSyncElapsedTime();
   
    /** 
     * 关闭事务日志
     */
    void close() throws IOException;

    /**
     * 读取事务日志的迭代器接口 
     */
    public interface TxnIterator {
        /**
         * 获取事务头部
         */
        TxnHeader getHeader();
        
        /**
         * 获取事务
         */
        Record getTxn();
     
        /**
         * 下个事务
         */
        boolean next() throws IOException;
        
        /**
         * 关闭文件释放资源
         */
        void close() throws IOException;
        
        /**
         * Get an estimated storage space used to store transaction records
         * that will return by this iterator
         * @throws IOException
         */
        long getStorageSize() throws IOException;
    }
}

2、序列化源码

zookeeper-jute代码是关于Zookeeper序列化相关的源码

1)序列化和反序列化

java 复制代码
package org.apache.jute;

import org.apache.yetus.audience.InterfaceAudience;

import java.io.IOException;


@InterfaceAudience.Public
public interface Record {
    //序列化
    public void serialize(OutputArchive archive, String tag)
        throws IOException;

    //反序列化
    public void deserialize(InputArchive archive, String tag)
        throws IOException;
}

3、Zookeeper服务端初始化源码

4、Zookeeper选举源码

Zookeeper选举准备阶段

Zookeeper选举执行阶段

5、Follower和Leader状态同步源码

当选举结束后,每个节点都需要根据自己的角色更新自己的状态。选举出的Leader更新自己的状态为Leader,其它节点更新自己状态为Follower。

Leader更新状态入口:leader.lead()

Follower更新状态入口:follower.followerLeader()

注意:

(1)Follower必须让Leader知道自己的状态:epoch(任期)、zxid、sid

必须要找出谁是Leader;

发起请求连接Leader;

发送自己的信息给Leader;

Leader接收到信息,必须要返回对应的信息给Follower。

(2)当Leader第二种Follower的状态了,就确定需要做何种方式的数据同步DIFF、TRUNC、SNAP

(3)执行数据同步

(4)当Leader接收到超过半数Follower的ack之后,进入正常工作状态,集群启动完成了。

最终总结同步的方式:

(1)DIFF咱俩一样,不需要做什么

(2)TRUNC Follower的zxid比Leader的zxid大,所以Follower要回滚

(3) COMMIT Leader的zxid比Follower的zxid大,发送Proposal给Follower提交执行

(4)如果Follower并没有任何数据,直接使用SNAP的方式来执行数据同步(直接把数据全部序列到Follower)

6、服务端Leader启动

7、服务端Follower启动

8、客户端初始化源码

相关推荐
取地址符12 分钟前
C++学习笔记(基于learn-cxx)(1)
c++·经验分享·笔记·学习
恣逍信点1 小时前
主观是客观的聚焦
人工智能·学习·程序人生·生活·业界资讯·交友·哲学
打球她不香吗2 小时前
本周ALLegro学习内容的总结
学习·allegro
2603_954708313 小时前
全维度容错设计,打造微电网安全运行屏障
服务器·网络·数据库·人工智能·分布式·安全
其实防守也摸鱼3 小时前
蓝队相关知识学习(1)---常用堡垒机和服务器
服务器·功能测试·学习·网络安全·网络攻击模型·攻防对抗·蓝队
冰可乐配3 小时前
fmpeg音频编码组件aac(Advanced Audio Coding (AAC) encoder)学习
学习·音视频·aac
国服第二切图仔4 小时前
HarmonyOS APP《画伴梦工厂》开发第60篇-分布式软总线2.0——多设备协同新范式
分布式·wpf·harmonyos
憧憬成为java架构高手的小白4 小时前
MySQl学习
学习
三品吉他手会点灯4 小时前
嵌入式机器学习 - 学习笔记1.1.1 - 什么是机器学习?
c语言·人工智能·笔记·嵌入式硬件·学习·机器学习
程序猿小泓5 小时前
从 Claude Code 学 Agent Harness:一个前端工程师的 AI Agent 学习笔记
前端·人工智能·学习