统计信号处理基础 习题解答10-15

题目

对随机变量的随机性的一个度量是它的熵(entropy),熵定义为:

如果,求这个熵,并说明它与PDF集中度的关系。观察到数据后,后验PDF的熵可以确定为:

且它应该比小。因此,通过观察得到的信息的度量是:

证明。在什么条件下,?

提示:把表示为:

另外,对于PDF ,,需要不等式:

当且仅当时,等式成立。


解答:

所以:

因此:

所以:

最终得到:

由题目条件,PDF约集中,也即是越小,此时对应的也就越小。换句话说,熵大的信号,具有较大的,或者越随机。

接下来求条件概率下的信息度量,因为:

所以:

其中利用

所以,当为概率密度,且也非负时,得到

而上式积分为零的条件得到:

也就表示此时独立,此时,也就是后验概率和先验概率一致,此时没有提供额外的信息。

另外一个维度,如果,此时,也即是此时一定比小,换句话说,估计的就越集中,也就是MMSE估计量具有更小的方差。

相关推荐
通信射频老兵20 小时前
卫星通信基础知识---自由空间衰减和天线增益计算
经验分享·5g·数学建模·信号处理·射频工程
刘小小_算法工程师2 天前
「ECG信号处理——(20)基于心电和呼吸的因果分析模型」2025年7月2日
信号处理
SKYDROID云卓小助手2 天前
无人设备遥控器之自动调整编码技术篇
人工智能·嵌入式硬件·算法·自动化·信号处理
刘小小_算法工程师13 天前
「ECG信号处理——(18)基于时空特征的心率变异性分析」2025年6月23日
信号处理
zhangfeng113314 天前
MocapApi 中文文档 和github下载地址 NeuronDataReader(以下简称 NDR)的下一代编程接口
github·信号处理
风靡晚15 天前
汽车毫米波雷达增强感知:基于相干扩展和高级 IAA 的超分辨率距离和角度估计.
算法·汽车·信息与通信·信号处理·fmcw
芳菲菲其弥章16 天前
【信号与系统二】连续时间傅里叶变换
信号处理·傅里叶分析
FPGA_ADDA16 天前
宽带中频10.4G采集卡
fpga开发·信号处理·高速数据采集·10g采集卡
棱镜研途17 天前
学习笔记丨数字信号处理(DSP)的应用——图像处理篇
图像处理·人工智能·信号处理
军训猫猫头17 天前
100.Complex[]同时储存实数和虚数两组double的数组 C#例子
算法·c#·信号处理