互联网上的音频和视频服务

1 互联网上的音频和视频服务概述

·许多用户开始利用互联网传送音频/视频信息。

·在许多情况下,这种音频/视频常称为多媒体信息。

·多媒体信息:内容上相互关联的文本、图形、图像、声音、动画和活动图像等所形成的复合数据信息。

多媒体信息的两个最主要特点

1.信息量很大。

·标准语音:64 kbit/s ( PCM,8 kHz 速率采样,8 位编码);

·高质量立体声音乐 CD:1.4 Mbit/s(PCM,44.1 kHz 速率采样,16 位编码);

·数码照片 (1280 × 960):3.52 MB(24 位编码);

·彩色电视:250 Mbit/s。

2.在传输多媒体数据时,对时延和时延抖动均有较高的要求。 边传输边播放。

·边传输边播放。

互联网是非等时的

·模拟的多媒体信号经过采样和模数转换变为数字信号,再组装成分组。这些分组的发送时间间隔是恒定的(等时的)。

·传统互联网中,每个分组被独立传送,到达接收端时就变成为非等时的。

实现等时:在接收端设置缓存

·接收端设置适当大小的缓存。当缓存中的分组数达到一定的数量后,再以恒定速率按顺序把分组读出进行还原播放。

·缓存实际上就是一个先进先出的队列。

缓存:消除了时延的抖动,但增加了时延

需要注意的问题

·在传送时延敏感 (delay sensitive) 的实时数据时,不仅传输时延不能太大,而且时延抖动也必须受到限制。

·传送实时数据时,少量分组的丢失对播放效果的影响并不大(因为是由人主观评价的),是可以容忍的。

·丢失容忍 (loss tolerant) 是实时数据的另一个重要特点。

·发送多媒体分组时应当给每一个分组加上序号,以按序还原和播放分组。

·增加一个时间戳 (timestamp),告诉接收端分组的产生时间。

有了序号和时间戳,再采用适当的算法,接收端就知道应在什么时间开始播放缓存中的分组,既可减少分组的丢失率,也可使播放的延迟在可容忍的范围之内。

必须改造现有的互联网

·大量使用光缆和高速路由器,网络的时延和时延抖动就可以足够小,在互联网上传送实时数据就不会有问题。

·从根本改变互联网的协议栈,把互联网改造为能够对端到端的带宽实现预留 (reservation),把无连接协议的互联网转变为面向连接的网络。

·部分改动互联网的协议栈,付出的代价较小,也能够使多媒体信息在互联网上的传输质量得到改进。

互联网提供的音频/视频服务类型

大体上可分为三种类型:

1.流式 (streaming) 存储音频/视频 ------边下载边播放。 播放时并没有把"下载"的内容存储在硬盘上。 结束后,在用户的硬盘上没有留下有关播放内容的任何痕迹。

2.流式实况音频/视频 ------边录制边发送,连续播放。

3.交互式音频/视频 ------实时交互式通信。

相关推荐
ai产品老杨38 分钟前
H264 H265视频分析常见问题和排查清单
人工智能·算法·音视频
“码”力全开1 小时前
AI视频分析API性能优化指南
人工智能·性能优化·音视频
美狐美颜SDK开放平台3 小时前
Android/iOS直播APP平台开发中的视频美颜SDK优化技巧
android·ios·音视频·美颜sdk·第三方美颜sdk
AI服务老曹5 小时前
视觉算法模型管理完整流程:多版本上线、灰度发布与回滚的落地实践
人工智能·docker·音视频
AaronZZH7 小时前
AAF 框架能力介绍:图文音视频一站式 AIGC 模块上线
aigc·音视频
Mister Leon8 小时前
视频时序数据处理:CNN+LSTM
cnn·音视频·lstm
俊哥工具9 小时前
解决文件正在使用无法删除,顽固文件清理工具超好用
智能手机·电脑·word·音视频·媒体
AI服务老曹9 小时前
AI视频平台登录无反应性能优化指南:从接口失效到服务自启动的排查全解
人工智能·性能优化·音视频
Digitally11 小时前
7 种方法将三星S26/S25/S24/S23手机视频传电脑
智能手机·电脑·音视频
阿拉斯攀登13 小时前
音视频采集:getUserMedia 与设备管理
音视频·webrtc·实时音视频·视频编解码