基于深度学习的“语义通信编解码技术”框架分类

目录


基于神经网络的语义提取

在现有的信源编码前端加上一个语义提取神经网络[53] ,如图所示。语义提取神经网络的输入是原始数据,输出是提取出的语义信息,也即原始数据的部分特征信息。换句话说,该语义提取神经网络相当于对原始数据进行预处理。随后,这些被提取出的语义信息分别通过信源编码和信道编码。这种方案也具有易更改的优点,也是四种方案中对现有通信系统改变最少的。

这种方案虽然改动最少,但更像是CV、NLP的工作,与通信又有什么关系呢


基于神经网络的语义信源编码

使用语义信源编译码器替换传统通信中的信源编译码器[1] ,如图所示。这种系统采用信源信道编码分离式架构设计,信道编码只与信道条件有关,语义编码只与语义信息源有关。该方案的优点是当环境变化时神经网络更改所需额外通信开销较低。例如,当语义信息源的分布变化时,只需在发送端本地重新训练编码器神经网络并向接收端同步神经网络参数即可,不需要收发两端互相通信进行联合训练;而当信道条件变化时,只需改变信道编码即可。

语义信源编码就叫这个名字,并非是语义-信源联合编码


基于神经网络的语义信源信道联合编码

利用神经网络对语义提取、信源编码和信道编码进行联合设计,实现端到端系统框架[2] ,如图所示。语义编码器神经网络的输入包括发射端信号和其他信息,例如语义知识库、信道条件等,其输出常为浮点数,直接送入信道进行传输。接收端采用语义译码器神经网络进行译码,得到原始数据的含义。这种端到端系统设计方案的优点是利用到了码长有限长的情况下信源信道联合编码优于分离编码这一特点。具体而言,发送端通过保留一部分信号中的冗余信息实现对发送信号的保护;接收端在训练阶段,通过引入反馈机制,将信道对信号的影响反馈到接收端,从而实现信源信道的联合编码。


基于神经网络的语义编码与数字调制联合设计

语义提取、编码与调制使用神经网络进行联合设计,实现端到端数字语义通信[4] ,如图所示。发送端使用神经网络联合设计语义编码与调制,学习信源数据到星座符号的转移概率,并根据所学到的概率进行随机调制,产生离散的数字调制符号序列,然后送入信道传输。接收端将接收信号送入语义解调-解码联合神经网络中进行解码,得到原始数据的含义。该方案通过将调制技术纳入语义通信系统的端到端学习过程,既可以保留端到端系统设计相比于模块化系统。


参考文献

全文参考 IMT-2030(6G)《语义通信及语义认知网络架构研究》

[1] A new communication paradigm: From bit accuracy to semantic fidelity

[2] What is semantic communication? A view on conveying meaning in the era of machine intelligence

[3] Deep learning-enabled semantic communication systems with task-unaware transmitter and dynamic data

[4] Learning Based Joint Coding-Modulation for Digital Semantic Communication Systems


相关推荐
小陈phd2 小时前
OpenCV从入门到精通实战(九)——基于dlib的疲劳监测 ear计算
人工智能·opencv·计算机视觉
Guofu_Liao3 小时前
大语言模型---LoRA简介;LoRA的优势;LoRA训练步骤;总结
人工智能·语言模型·自然语言处理·矩阵·llama
ZHOU_WUYI7 小时前
3.langchain中的prompt模板 (few shot examples in chat models)
人工智能·langchain·prompt
如若1237 小时前
主要用于图像的颜色提取、替换以及区域修改
人工智能·opencv·计算机视觉
老艾的AI世界8 小时前
AI翻唱神器,一键用你喜欢的歌手翻唱他人的曲目(附下载链接)
人工智能·深度学习·神经网络·机器学习·ai·ai翻唱·ai唱歌·ai歌曲
DK221518 小时前
机器学习系列----关联分析
人工智能·机器学习
Robot2518 小时前
Figure 02迎重大升级!!人形机器人独角兽[Figure AI]商业化加速
人工智能·机器人·微信公众平台
浊酒南街9 小时前
Statsmodels之OLS回归
人工智能·数据挖掘·回归
畅联云平台9 小时前
美畅物联丨智能分析,安全管控:视频汇聚平台助力智慧工地建设
人工智能·物联网
加密新世界9 小时前
优化 Solana 程序
人工智能·算法·计算机视觉