IOTXING随手记

记录技术学习之路

0%

Posted on Edited on

Spring bean 注入失败

现象

spring 的 component 在使用的时候，依赖注入全部都是 null，分析现象是没有进行注入

代码

1
使用class.newInstance() 获取bean的实例

拿到后的实例中，bean 中的依赖是没有注入进去的，导致使用的时候都是 nul 的

排查

spring scope

spring 的 bean 的管理模式，默认是单例模式 singleton

解决

1
2
3
4
5
6
7
8
9
10
11
12
public class xxximpl implements xxxManager, ApplicationContextAware {

    @Resource
    private AutowireCapableBeanFactory autowireCapableBeanFactory;

		public void testBean(Class class){
	            Object object =  class.newInstance();
                autowireCapableBeanFactory.autowireBean(object);

		}

}

还是正常的新建实例，在创建实例之后，使用 autowireCapableBeanFactory 对新的 bean 进行相关依赖的注入

Posted on Edited on In

parseInt(String s)

java的parseInt函数可以将传入的字符串转换成数字，如果传入的字符串不满足要求，例如转换后的值过大，符号位过多，或者包含字母，则会进行异常的抛出

默认的parseInt是会调用一个可以传入进制数的函数

1
2
3
public static int parseInt(String s) throws NumberFormatException {
        return parseInt(s,10);
    }
Read more »

Posted on Edited on In

背景

项目有两个分支同时在进行开发，A和B，之前在提交代码的时候，本来是应该提交到B，结果一直是提交到A中了，现在应用要发布，A中包含着别人的代码，不能一起发上去，于是现在只想把A中自己提交的部分pick出来，然后进行发布

使用 方法

  1. 使用git logs查看到自己的提交记录，找到自己提交的commitId并记录下来

https://iotxing-1253163150.cos.ap-shanghai.myqcloud.com/gitlog.jpg

  1. 选择要pick的记录，执行 
1
git cherry-pick eaa909 (要pick出来的hash值)

如果提示下面的错误，则说明要pick的commit是一个merge的commit，需要使用参数 -m ，后面加上属于1或者2，1或者2表示在出现冲突的时候，以哪个代码分支作为parent。如果是1的话，就是说将当前的代码作为parent，然后接受来自要pick的代码的变动。

这里我是需要将远程的merge操作同步到我本地，因此我使用的是2

1
2
error: commit eaa909f0a353778f339b3a8c52611d2cfcd20c89 is a merge but no -m option was given.
fatal: cherry-pick failed
1
git cherry-pick -m 1 03c3c85d
  1. 如果涉及到要同步多个连续commit，则可以使用范围pick。将开始的commit和结束的commit用两个小数点进行连接，注意！区间pick是左开右闭的范围，也就是说不包含开始的commit，包含结束的commit。

以下面为例，就是最终合并的代码中不包含startHash，包含endHash

1
git cherry-pic startHash..endHash

Posted on Edited on In

用来做多线程时候的同步，当所有线程都准备好了之后，才进行放行。例如现在有10个线程，在调用了cyclicBarrier的await()方法的线程数量不为10的时候，线程都会处于阻塞状态，只有达到10了才会进行释放，然后阻塞线程被唤醒，程序继续执行

Read more »

Posted on Edited on In

使用方法

CountDownlatch在初始化的时候，需要赋予一个初始值，用来初始化计数器，然后在子线程里面调用countDown方法来进行减一，当计数器的值为0的时候，调用countdownlatch.await()的线程才能够继续往下走，在值为0之前，调用await的线程会一直被阻塞。

Read more »

Posted on Edited on In

AQS为很多的锁实现了底层的功能，就拿ReentrantLock来说，里面的lock就使用了AQS提供的方法

本文是参考的JDK 14的源码，JDK14和JDK8中的源码不太相同，例如去除了几种NODE状态，增加了一些节点的内部静态类

结构图

AQS的结构图

https://iotxing-1253163150.cos.ap-shanghai.myqcloud.com/AQS-%E7%BB%93%E6%9E%84%E5%9B%BE.jpg

Node的结构图

https://iotxing-1253163150.cos.ap-shanghai.myqcloud.com/NODE%E7%BB%93%E6%9E%84.jpg

Read more »

Posted on Edited on In

parseDynamicConfig 读取配置文件，返回QuorumVerifier，包含所有节点的信息

对节点的配置，需要是用server.开头，或者是version开头

拿到QV之后，根据参与者的数量，做一些校验

如果校验通过，在返回的QV里面，包含所有的节点的信息，方便后续进行选举时候的连接

里面有两个核心的东西，lastSeenQuorumVerifier和quorumVerifier

Read more »

Posted on Edited on

该类主要的功能是记录节点ack的信息，并且判断是否超过了半数等信息

这个东西是在FastleaderElection中通过getVoteTracker获取到的

关系图

https://iotxing-1253163150.cos.ap-shanghai.myqcloud.com/ZK/SyncedLearnerTracker.jpg

变量

1
protected ArrayList<QuorumVerifierAcksetPair> qvAcksetPairs = new ArrayList<QuorumVerifierAcksetPair>();

只有一个变量，节点验证器的ack集合，所以重点是这个qvAcksetPairs

QuorumVerifierAcksetPair

用来存储验证器，以及ack的列表。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
public static class QuorumVerifierAcksetPair {

        private final QuorumVerifier qv;   //验证器
        private final HashSet<Long> ackset;   //ack的列表

        public QuorumVerifierAcksetPair(QuorumVerifier qv, HashSet<Long> ackset) {
            this.qv = qv;
            this.ackset = ackset;
        }

        public QuorumVerifier getQuorumVerifier() {
            return this.qv;
        }

        public HashSet<Long> getAckset() {
            return this.ackset;
        }

    }

hasAllQuorums 核心功能，用来判断是否满足了Quorum机制

如果其中存在某个验证器没有拿到超过半数的机器的ack，则认为是失败的。

1
2
3
4
5
6
7
8
public boolean hasAllQuorums() {
        for (QuorumVerifierAcksetPair qvAckset : qvAcksetPairs) {
            if (!qvAckset.getQuorumVerifier().containsQuorum(qvAckset.getAckset())) {
                return false;
            }
        }
        return true;
    }
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
public class SyncedLearnerTracker {

    protected ArrayList<QuorumVerifierAcksetPair> qvAcksetPairs = new ArrayList<QuorumVerifierAcksetPair>();

    public void addQuorumVerifier(QuorumVerifier qv) {
        qvAcksetPairs.add(new QuorumVerifierAcksetPair(qv, new HashSet<Long>(qv.getVotingMembers().size())));
    }

    public boolean addAck(Long sid) {
        boolean change = false;
        for (QuorumVerifierAcksetPair qvAckset : qvAcksetPairs) {
            if (qvAckset.getQuorumVerifier().getVotingMembers().containsKey(sid)) {
                qvAckset.getAckset().add(sid);
                change = true;
            }
        }
        return change;
    }

    public boolean hasSid(long sid) {
        for (QuorumVerifierAcksetPair qvAckset : qvAcksetPairs) {
            if (!qvAckset.getQuorumVerifier().getVotingMembers().containsKey(sid)) {
                return false;
            }
        }
        return true;
    }

    public boolean hasAllQuorums() {
        for (QuorumVerifierAcksetPair qvAckset : qvAcksetPairs) {
            if (!qvAckset.getQuorumVerifier().containsQuorum(qvAckset.getAckset())) {
                return false;
            }
        }
        return true;
    }

    public String ackSetsToString() {
        StringBuilder sb = new StringBuilder();

        for (QuorumVerifierAcksetPair qvAckset : qvAcksetPairs) {
            sb.append(qvAckset.getAckset().toString()).append(",");
        }

        return sb.substring(0, sb.length() - 1);
    }

    public static class QuorumVerifierAcksetPair {

        private final QuorumVerifier qv;
        private final HashSet<Long> ackset;

        public QuorumVerifierAcksetPair(QuorumVerifier qv, HashSet<Long> ackset) {
            this.qv = qv;
            this.ackset = ackset;
        }

        public QuorumVerifier getQuorumVerifier() {
            return this.qv;
        }

        public HashSet<Long> getAckset() {
            return this.ackset;
        }

    }

}

Posted on Edited on

原本的代码很长，只记录了个别在看代码时候有用的一些

里面会启动两个线程，一个发送线程QuorumConnectionReqThread还有一个接受线程QuorumConnectionReceiverThread。
在zk启动的时候，会在QuorumConfig里面读到所有的节点信息，然后生成一个Quorum验证器，这时候已经包含了所有的节点信息。
然后是一些节点数据或者投票的发送，已经接到返回时候的相关处理，这个没有仔细研究，有兴趣的可以去看下QuorumCnxManager的源码

Read more »

Posted on Edited on In

负责选举的相关

选举流程

  1. 先判断节点当前的状态，以及是否需要停止
  2. 从接收队列里面取出来一个投票，然后校验是否合法
  3. 如果选举周期不一致，比较目标投票以及自己投票的信息， 然后选择更新自身的投票信息然后通知别的节点
  4. 如果选举周期一致，将选票信息存入到recvset中，以接收到的节点的id为key，根据节点投票的信息生成一个vote当做value。当循环结束的时候，recvset中会存储所有的参与者的id，以及他们的投票信息
  5. 根据recvset和自己的投票leader信息获取到一个投票追踪器，里面会对各个投票信息进行统计，以投票的leader id为key，投票的节点放入到一个set中，然后判断该set的大小是否已经超过了参与者的半数
  6. 如果已经达成了quorum协议，会再尝试从接收队列中取投票，看看是否有新的投票出来，如果有新的进来，会重新开始循环。如果没有，则修改目标leader的状态，然后退出选举
Read more »