统计信号处理基础 习题解答10-15

题目

对随机变量的随机性的一个度量是它的熵(entropy),熵定义为:

如果,求这个熵,并说明它与PDF集中度的关系。观察到数据后,后验PDF的熵可以确定为:

且它应该比小。因此,通过观察得到的信息的度量是:

证明。在什么条件下,?

提示:把表示为:

另外,对于PDF ,,需要不等式:

当且仅当时,等式成立。


解答:

所以:

因此:

所以:

最终得到:

由题目条件,PDF约集中,也即是越小,此时对应的也就越小。换句话说,熵大的信号,具有较大的,或者越随机。

接下来求条件概率下的信息度量,因为:

所以:

其中利用

所以,当为概率密度,且也非负时,得到

而上式积分为零的条件得到:

也就表示此时独立,此时,也就是后验概率和先验概率一致,此时没有提供额外的信息。

另外一个维度,如果,此时,也即是此时一定比小,换句话说,估计的就越集中,也就是MMSE估计量具有更小的方差。

相关推荐
埃菲尔铁塔_CV算法2 天前
新型滤波算法在信号处理中的创新与应用
算法·信号处理
计算机科研之友(Friend)3 天前
海外招聘丨埃因霍温科技大学—安全人工智能自动机器学习博士后
图像处理·人工智能·科技·机器学习·信号处理
一个通信老学姐5 天前
专业125+总分400+南京理工大学818考研经验南理工电子信息与通信工程,真题,大纲,参考书。
考研·信息与通信·信号处理·1024程序员节
山河君6 天前
音频进阶学习八——傅里叶变换的介绍
学习·算法·音视频·信号处理
孤独的追光者6 天前
序列傅里叶变换的性质|时移特性
信号处理·数字信号处理·傅里叶变换·频域分析
Anin蓝天(北京太速科技-陈)7 天前
211-基于FMC的1路1.5G ADC 1路 2.5G DAC子卡
嵌入式硬件·5g·fpga开发·信号处理
搬砖的小码农_Sky7 天前
数字信号处理:FIR滤波器
信号处理
一个通信老学姐8 天前
专业140+总分410+浙江大学842信号系统与数字电路考研经验浙大电子信息与通信工程,真题,大纲,参考书。
考研·信息与通信·信号处理·1024程序员节
上理考研周导师9 天前
【数字信号处理】期末综合实验,离散时间信号与系统的时域分析,离散信号 Z 变换,IIR 滤波器的设计与信号滤波,用窗函数法设计 FIR 数字滤波器
算法·信号处理
Kemo_9 天前
感知电磁:电磁波、感知、信号处理、应用领域、技术挑战
信号处理