统计信号处理基础 习题解答10-15

题目

对随机变量的随机性的一个度量是它的熵(entropy),熵定义为:

如果,求这个熵,并说明它与PDF集中度的关系。观察到数据后,后验PDF的熵可以确定为:

且它应该比小。因此,通过观察得到的信息的度量是:

证明。在什么条件下,?

提示:把表示为:

另外,对于PDF ,,需要不等式:

当且仅当时,等式成立。


解答:

所以:

因此:

所以:

最终得到:

由题目条件,PDF约集中,也即是越小,此时对应的也就越小。换句话说,熵大的信号,具有较大的,或者越随机。

接下来求条件概率下的信息度量,因为:

所以:

其中利用

所以,当为概率密度,且也非负时,得到

而上式积分为零的条件得到:

也就表示此时和独立,此时,也就是后验概率和先验概率一致,此时没有提供额外的信息。

另外一个维度,如果,此时,也即是此时一定比小,换句话说,估计的就越集中,也就是MMSE估计量具有更小的方差。

相关推荐
kissgoodbye201211 天前
信号处理文献阅读总结:型号识别
信号处理
1560820721917 天前
JFMZQ28DR、JFMZQ68DR、RFsoc XCZU47DR、XCZU48DR 信号处理板
fpga开发·信号处理
联丰迅声18 天前
城市生命线的“听觉”缺口:声振感知如何补上监测闭环
信号处理·故障诊断·传感器·城市生命线
花月mmc19 天前
FPGA数字信号处理与深度学习
嵌入式硬件·深度学习·fpga开发·信号处理
进击的荆棘20 天前
Linux系统——进程信号之保存和捕捉信号
linux·运维·服务器·信号处理·信号
阿尔泰科技官方22 天前
多机箱异地采集—如何实现数据对齐?阿尔泰科技授时同步实战方案!
科技·数据采集·信号处理·工业自动化·仪器仪表·工控机·机箱
这张生成的图像能检测吗23 天前
(论文速读)ClassBD:让盲反卷积与故障分类器协同学习的抗噪轴承诊断方法
分类·信号处理·故障诊断·去噪
福芯微电子有限公司nfc1 个月前
国产收音芯片 FSV4755:多波段调谐与高集成设计,赋能多种音频终端
网络协议·网络安全·音视频·信息与通信·信号处理
搞科研的小刘选手1 个月前
【见刊检索快 | 重庆线上线下同步】第五届信号处理、计算机网络与通信国际学术会议(SPCNC 2026)
计算机网络·信号处理·通信·学术会议·会议推荐·重庆
星夜离尘561 个月前
MATLAB 采样混叠实验 20 Hz 和 80 Hz 为什么会得到相同数据
matlab·数据采集·信号处理·采样定理·混叠