第十七周：机器学习

This week is focused on MCMC algorithm which contains Markov chain sampling and Monte Carlo method. The video material was used to summarize the laws of the two methods mentioned above as well as simple code practice. The simple mathematical foundations of flow-based GAN theory are also reviewed.

一、MCMC

1、马尔科夫链采样

**Markov Chains马尔科夫链：**未来的状态只取决于前一个状态，而不依赖于更往前的状态。并且所有状态出箭头的概率之和都为1。

随机漫步random walk

**问题：**行走着无规则的向着四面八方行走，最终形成的各个方向的概率是否收敛于一定值？

解决： 稳态分布（平衡状态）

**稳态分布：**与初始概率分布无关，马尔科夫链在有限次状态转移之后到达的平稳状态分布即为稳态分布。

所得到的向量值代表了某个时刻（第j个时刻）的概率分布值则代表i个状态的概率分布。由于每个状态的输出之和都为1，所以有

step1 状态设定

一家快餐店售卖三种食物：pizza、buger、hotdog。将每种食物设定为不同状态分别为1、2、3

python 复制代码

#定义3种状态
state = {
    0 : "Burger",
    1 : "Pizza",
    2 : "Hotdog"
}
state

step2 转移矩阵

每个数值代表着对应行列的权重，如果两个节点之间用箭头连线连接，那么该数值也叫转移概率

python 复制代码

#定义过渡矩阵
A = np.array([[0.2, 0.6, 0.2], [0.3, 0.0, 0.7], [0.5, 0.0, 0.5]])

step3 马尔科夫链的生成

python 复制代码

#随机生成马尔科夫链------random walk的过程
n = 15
start_state = 0
curr_state = start_state
print(state[curr_state], "--->", end=" ")

while n-1:
    curr_state = np.random.choice([0, 1, 2], p=A[curr_state])
    print(state[curr_state], "--->", end=" ")
    n-=1
print("stop")

随机选定一个初始状态，接着用np库中的random.choice函数在备选状态集中选择下一状态，直至循环到设置最大值。生成结果如下：

step4 概率分布的估计

法一：Monte Carlo方法

python 复制代码

steps = 10**6
start_state = 0  #其中A[curr_state]只有三种状态：pizza、buger、hotgog
curr_state = start_state
pi = np.array([0, 0, 0])  #初始状态均为0
pi[start_state] = 1   #把初始状态开始的state设为1

i = 0
while i<steps:
    curr_state = np.random.choice([0,1,2], p=A[curr_state])  #随机从p中选择一种状态
    pi[curr_state]+=1
    i +=1

print("π = ", pi/steps)

输出结果如下：

法二：矩阵连乘法

python 复制代码

steps = 10**3  #设置矩阵相乘的次数
A_n = A

i=0
while i<steps:
    A_n =  np.matmul(A_n, A)  #矩阵乘法
    i+=1

print("A^n = \n", A_n, "\n")
print("π = ", A_n[0])

输出结果如下：

法三：求解左特征值

pi向量代表各个状态的概率分布，也就是每一行的概率分布

可以看出，上面关于pi的等式要成立，有些类似于线性代数中特征值和特征向量的求解，pi相当于是特征向量，特征值为1

python 复制代码

import scipy.linalg
values, left = scipy.linalg.eig(A, right = False, left = True)  #计算左特征向量和特征值

print("left eigen vectors = \n", left, "\n")
print("eigen values = \n", values)

特征值和特征向量输出结果如下：

将特征向量进行归一化处理：

python 复制代码

pi = left[:,0]  #提取第一个左特征向量
pi_normalized = [(x/np.sum(pi)).real for x in pi]   #归一化第一个左特征向量

pi的向量输出结果如下：

Markov Chains的概率预测

python 复制代码

def find_prob(seq, A, pi):
    start_state = seq[0]
    prob = pi[start_state]
    prev_state, curr_state = start_state, start_state
    for i in range(1, len(seq)):
        curr_state = seq[i]
        prob *= A[prev_state][curr_state]
        prev_state = curr_state
    return prob

print(find_prob([1, 2, 2, 0], A, pi_normalized))

预测一条给定的markov chains的概率P(pizza------>hotdog------>hotdog------>burger)

预测结果如下：

2、蒙特卡洛方法

step1 由一个分布产生随机变量

step1 分布函数CDF的反函数

python 复制代码

#随机线性选取x，得到概率密度f和概率分布F
x = np.linspace(0,3,100)  #初始、结束、总数
f = 2*np.exp(-2*x)
F = 1-np.exp(-2*x)

#绘图
plt.figure(figsize=(8,3))
plt.plot(x, f, label=r'$f(x)$')
plt.plot(x,F, label=r'$F(x)$')
plt.legend()
plt.xlabel('$x$', fontsize=20)
plt.legend()
plt.show()

上述代码以泊松分布为例

分布函数的反函数

python 复制代码

#设定反函数
Us = np.random.rand(10000)
F_inv_Us = -np.log(1-Us)/2

#绘图
plt.figure(figsize=(8,3))
plt.plot(x, f, label=r'$f(x)$')
plt.hist(F_inv_Us, histtype='step', color='red', density='norm', bins=100, label='$F^{-1}(u)$')
plt.legend()
plt.xlabel('$x$', fontsize=20)
plt.legend()
plt.show()

step2 查找排序算法

python 复制代码

#设定自变量及概率密度和分布函数的定义式
x, y, F1, F2, E1, E2 = smp.symbols('x y F_1 F_2 E_1 E_2', real=True, positive=True)
fs = F1*smp.exp(-smp.sqrt(x/E1)) + F2*smp.exp(-smp.sqrt(x/E2))
Fs = smp.integrate(fs, (x,0,y)).doit()

#写成只需要传递参数的函数形式
Fn = smp.lambdify((y, E1, E2, F1, F2), Fs)  #目的就是输入前面的数值y, E1, E2, F1, F2)带入后面的式子Fs中去
fn = smp.lambdify((x, E1, E2, F1, F2), fs)

#给定参数的实际数值
E1 = E2 = 0.2
F1 = 1.3
F2 = 1.4
x = np.linspace(0,5,1000)
f = fn(x, E1, E2, F1, F2)
F = Fn(x, E1, E2, F1, F2)

#绘图
plt.figure(figsize=(8,3))
plt.plot(x,f, label=r'$f(x)$')
plt.plot(x,F, label=r'$F(x)$')
plt.legend()
plt.xlabel('$x$', fontsize=20)
plt.legend()
plt.show()

加入分布函数的反函数

python 复制代码

#反函数
F_inv_Us = x[np.searchsorted(F[:-1], Us)]

#绘图
plt.figure(figsize=(8,3))
plt.plot(x, f, label=r'$f(x)$')
plt.hist(F_inv_Us, histtype='step', color='red', density='norm', bins=100, label='$F^{-1}(u)$')
plt.legend()
plt.xlabel('$x$', fontsize=20)
plt.legend()
plt.xlim(0,2)
plt.show()

上面的函数分布是正太分布

step3 建立随机变量

python 复制代码

#rayleigh分布
r = np.random.rayleigh(size=1000)

#绘图
plt.hist(r, bins=100)
plt.show()

step2 用这些随机变量做实验

累积计算detector的energy

python 复制代码

N = 100000

# Part 1 
X = np.random.poisson(lam=4, size=N)  #采样泊松分布

# Part 2
x = np.linspace(0,5,1000)   
F = Fn(x, E1, E2, F1, F2)   #分布函数
Us = np.random.rand(X.sum()) #随机生成指定维度的样本数据  
E = x[np.searchsorted(F[:-1], Us)]  #样本数据在分布函数中的索引，E是分布中的原有数据

在n轮实验之后，检测到的粒子总数净和

python 复制代码

idx = np.insert(X.cumsum(), 0, 0)[:-1] #累积求和插入到空列表中
E_10s = np.add.reduceat(E, idx)  #分段求和，E是一个完整的数组，ind给出的是分段的位置，然后每一段分别进行求和
#也就是，0-2求和、3-5求和、6-11求和

#绘图
plt.figure(figsize=(5,3))
plt.hist(E_10s, bins=100)
plt.xlabel('Energy [GeV]', fontsize=20)
plt.ylabel('# Occurences')
plt.show()

结果绘制如下：