【自由能系列(初级)】自由能原理——神经科学的“能量守恒”方程

【通俗理解】自由能原理------神经科学的"能量守恒"方程

关键词提炼

#自由能原理 #KL散度 #生成模型 #识别密度 #观测数据 #神经科学

第一节:自由能原理的类比与核心概念

1.1 自由能原理的类比

自由能原理在神经科学中的应用,可以类比为一个"大脑的能量守恒 "方程。就像物理学中的能量守恒定律一样,大脑在处理信息时,也遵循着一种"自由能守恒"的原则。

这个原理通过衡量大脑对外部世界的识别 (识别密度)与内部模型的生成 (生成模型)之间的差异,并加上观测数据的影响,来计算大脑在处理信息时的"自由能"。

1.2 相似公式比对

  • 能量守恒定律 : Δ E = Q − W \Delta E = Q - W ΔE=Q−W,描述了能量在系统中的守恒关系。
  • 自由能原理 : F = D K L ( q ( x ) ∥ p ( x ∣ y ) ) + log ⁡ p ( y ) F = D_{KL}(q(x) \parallel p(x \mid y)) + \log p(y) F=DKL(q(x)∥p(x∣y))+logp(y),则描述了神经科学中信息处理的"自由能守恒"。

第二节:自由能原理的核心概念与应用

2.1 核心概念

核心概念 定义 比喻或解释
自由能F 代表大脑在处理信息时的"能量"状态。 类似于物理中的自由能,是系统状态的一种度量。
KL散度 衡量识别密度q(x)与生成模型p(x∣y)之间的差异。 类似于距离,表示两个分布之间的差异程度。
识别密度q(x) 大脑对外部世界的识别或感知。 类似于我们对外部世界的"观察"或"理解"。
生成模型p(x∣y) 大脑内部的模型,用于生成对外部世界的预测或解释。 类似于我们对外部世界的"假设"或"模型"。
观测数据y 外部世界提供给大脑的信息。 类似于我们眼睛看到的、耳朵听到的等外部信息。

2.2 优势与劣势

  • 量化分析:将大脑的信息处理过程量化,使得研究更加客观和准确。
  • 模型解释:提供了大脑如何处理外部信息的一种理论框架。

2.3 与神经科学的类比

自由能原理在神经科学中扮演着"能量守恒"的角色,它揭示了大脑在处理信息时遵循的一种基本原则,就像物理学中的能量守恒定律一样。

第三节:公式探索与推演运算

3.1 自由能原理的基本形式

自由能原理的基本形式为:

F = D K L ( q ( x ) ∥ p ( x ∣ y ) ) + log ⁡ p ( y ) F = D_{KL}(q(x) \parallel p(x \mid y)) + \log p(y) F=DKL(q(x)∥p(x∣y))+logp(y)

其中,F代表自由能, D K L D_{KL} DKL是KL散度,q(x)是识别密度,p(x∣y)是生成模型,y是观测数据。

3.2 具体实例与推演

假设识别密度q(x)是一个高斯分布,生成模型p(x∣y)也是一个高斯分布,且两者具有相同的均值但不同的方差,那么KL散度就可以通过计算两个高斯分布之间的差异来得到。同时,观测数据y的对数概率 log ⁡ p ( y ) \log p(y) logp(y)可以通过观测数据的分布来计算。将这两部分相加,就可以得到自由能F的值。

第四节:相似公式比对

  • 信息增益自由能原理中的KL散度

    • 共同点:都涉及到了信息的度量。
    • 不同点:信息增益通常用于决策树等算法中,衡量特征对分类的贡献;而KL散度则用于衡量两个分布之间的差异,是自由能原理的一部分。
  • 贝叶斯公式自由能原理

    • 相似点:都涉及到了先验概率和后验概率。
    • 差异:贝叶斯公式是概率论中的基本公式,用于计算后验概率;而自由能原理则是神经科学中的一个原理,用于描述大脑的信息处理过程。

第五节:核心代码与可视化

这段代码使用Python的NumPy和Matplotlib库来计算和可视化自由能原理。通过模拟识别密度和生成模型,计算KL散度和观测数据的对数概率,从而得到自由能的值,并进行可视化展示。

python 复制代码
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# Define the recognition density q(x) and the generative model p(x|y)
def q(x):
    return np.exp(-(x - 0)**2 / (2 * 1**2)) / (np.sqrt(2 * np.pi) * 1)

def p(x, y):
    return np.exp(-(x - y)**2 / (2 * 0.5**2)) / (np.sqrt(2 * np.pi) * 0.5)

# Define the KL divergence
def KL_divergence(q_dist, p_dist):
    return np.sum(q_dist * np.log(q_dist / p_dist))

# Define the log probability of the observation data
def log_probability(y):
    return -np.log(np.sqrt(2 * np.pi)) - 0.5 * y**2

# Calculate the free energy
def free_energy(y):
    x_values = np.linspace(-5, 5, 1000)
    q_dist = q(x_values)
    p_dist = p(x_values, y)
    kl_div = KL_divergence(q_dist, p_dist)
    log_prob = log_probability(y)
    return kl_div + log_prob

# Visualize the free energy for different observation data
y_values = np.linspace(-3, 3, 10)
free_energies = [free_energy(y) for y in y_values]

sns.set_theme(style="whitegrid")
plt.plot(y_values, free_energies, label='Free Energy F(y)')
plt.xlabel('Observation Data y')
plt.ylabel('Free Energy F')
plt.title('Free Energy for Different Observation Data')
plt.legend()
plt.show()

# Printing more detailed output information
print("Free energy plot has been generated and displayed. \nThe plot illustrates the free energy F(y) for different values of observation data y, \ncalculated using the Free Energy Principle.")

这段代码首先定义了识别密度q(x)和生成模型p(x∣y),然后计算了KL散度和观测数据的对数概率,最后得到了自由能的值,并进行了可视化展示。通过可视化,我们可以直观地看到自由能随观测数据y的变化情况。

代码输出内容

相关推荐
阿坡RPA7 小时前
手搓MCP客户端&服务端:从零到实战极速了解MCP是什么?
人工智能·aigc
用户27784491049937 小时前
借助DeepSeek智能生成测试用例:从提示词到Excel表格的全流程实践
人工智能·python
机器之心7 小时前
刚刚,DeepSeek公布推理时Scaling新论文,R2要来了?
人工智能
算AI10 小时前
人工智能+牙科:临床应用中的几个问题
人工智能·算法
凯子坚持 c10 小时前
基于飞桨框架3.0本地DeepSeek-R1蒸馏版部署实战
人工智能·paddlepaddle
你觉得20511 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义下载方法
大数据·人工智能·python·gpt·学习·机器学习·aigc
8K超高清11 小时前
中国8K摄像机:科技赋能文化传承新图景
大数据·人工智能·科技·物联网·智能硬件
hyshhhh11 小时前
【算法岗面试题】深度学习中如何防止过拟合?
网络·人工智能·深度学习·神经网络·算法·计算机视觉
薛定谔的猫-菜鸟程序员11 小时前
零基础玩转深度神经网络大模型:从Hello World到AI炼金术-详解版(含:Conda 全面使用指南)
人工智能·神经网络·dnn
币之互联万物11 小时前
2025 AI智能数字农业研讨会在苏州启幕,科技助农与数据兴业成焦点
人工智能·科技