聊下WebRTC 3个添加流的API

当完成音视频采集后,可以有3个API可以将媒体流添加到PeerConnection中,本文简单聊下这几个API的使用与区别:

  • addStream

  • addTrack

  • addTransceiver

前提

  1. 通过getUserMedia采集后的数据类型为MediaStream,MediaStream里面一般包含一个音频和一个视频的MediaStreamTrack(详细了解看这里:juejin.cn/post/692456...

  2. WebRTC的sdp有2种类型,一种为plan-b,一种为unified-plan,简单来说unified-plan是一个新的标准(详细了解看这里:juejin.cn/post/689865...

使用姿势

根据历史出现的顺序,分别为 addStream -> addTrack -> addTransceiver,从中可以看到一些信息,一开始是以stream维度来操作,后面变成了以track为维度,可以更精细化控制

addStream

使用方式就是 pc.addStream(mediaStream),把整个流添加到pc中,这个API已经被标记为废弃,但是在plan-b模式下还可以使用,如果想要在unified-plan下使用的话,则会报错:

scss 复制代码
bool PeerConnection::AddStream(MediaStreamInterface* local_stream) {
  RTC_DCHECK_RUN_ON(signaling_thread());
  RTC_CHECK(!IsUnifiedPlan()) << "AddStream is not available with Unified Plan "
                                 "SdpSemantics. Please use AddTrack instead.";
  
 ...
}

addTrack

addTrack是3个API中各个教程、课程出现频率最多的一个API,使用方式也非常简单:

ini 复制代码
mediaStream.getTracks().forEach(track => {
    pc.addTrack(track)
});

addTrack其实是有返回值的,类型为RTCRtpSender,是一个发送的控制器,这个控制器的用法会在下面讲。

addTransceiver

addTransceiver的使用方式相对来说比较复杂,参数也多,addTransceiver的返回值为RTCRtpTransceiver是一个收发控制器,包括了一个RTCRtpSender和一个RTCRtpReceiver,不但可以控制发布,也可以控制接收。

看下简单的用法和参数:

less 复制代码
mediaStream.getTracks().forEach(track => {
    pc.addTransceiver(track, {
        streams: [mediaStream],
        direction: 'sendonly', // recvonly sendrecv
        sendEncodings: {...}
    })
});

可以看到有一个direction的参数,这个实际上对应的是sdp对应audio/video MediaSection部分的direction,通过API设置的direction不同,就可以控制MediaSection的行为:

  • 只准备发送:a=sendonly

  • 只准备接收:a=recvonly,此时没有track,可以直接填字符串如'audio'

  • 既发送又接收:a=sendrecv

sendEncodings里可以控制发送码率,simulcast什么的,设置完成后,也可以通过RTCRtpSender去修改(通过getParameters和setParameters)

总结

addTransceiver是推荐使用的API,兼容性也不错,Chrome M69就可以使用。

同时也能优雅地实现只生成recvonly的sdp,比如我们准备生成sdp去订阅,这时没有对应的API,这此只能使用下面的方式强行生成sdp中的audio/video MediaSection部分,但是这2个属性已经被标记为废弃了,强烈不推荐使用了

php 复制代码
pc.createOffer({
    offerToReceiveAudio: true,
    offerToReceiveVideo: true
});

使用addTransceiver就可以:

css 复制代码
pc.addTransceiver('audio', { direction: 'recvonly' })
pc.addTransceiver('video', { direction: 'recvonly' })
pc.createOffer()
相关推荐
子兮曰4 天前
jev-ultrafast 深度解析:7 秒订机票的浏览器 Agent 是如何炼成的
前端·后端·agent
子兮曰4 天前
Jev 爆发一周:7 秒 Agent 背后的 System One 生态与三场争议
前端·后端·ai编程
前端小万4 天前
写公众号赚了 3000 块后,我做了一款叫 "一键成稿" 的软件
前端·微信小程序
爱勇宝4 天前
ZCode 开源 24 小时:一份没有历史的账本,回答不了"有没有偷代码"
前端·后端·chatglm (智谱)
三十而立洋4 天前
Cookie 详解:从产生到安全,一次讲透
前端·javascript
卡布鲁4 天前
把一个 Vite + Vue3 应用塞进 qiankun (React + Umi3) 主站:十个坑的复盘
前端·javascript·react.js
汉堡大王95274 天前
Jev:不是聊天机器人, 而是一个智能 if 语句
前端·人工智能·后端
梦想很大很大4 天前
从运行事实到回归证据:Workrun 的 Telemetry 与 Evaluation 实践
前端·人工智能·后端
计算机魔术师4 天前
Meta Muse agent 接入 Shopify 的 Shop Pay 实现代理式购物
前端
沙蒿同学4 天前
我用 Go 搭了一条 AI Agent 流水线:从 1 张商品图到一整套淘宝详情页
前端·javascript·后端