Qt/C++开发监控GB28181系统/视频点播没有ssrc问题的处理/兼容各种设备和应用场景需求

一、前言说明

搞监控拉流，如果仅仅是在开发机器，基本上每个程序员都能做到没有问题，把把都能正常运行，可是到了现场往往就容易掉链子，哪怕是你测试用过的一样的设备，所以必须不断的迭代代码，不断的兼容各种实际场景。比如近期就遇到某些厂家的设备，在发送点播指令后，返回的sdp信息中居然没有ssrc，而且点播后传过来的rtp数据包也没有ssrc，理论上来说肯定是不允许的，按照标准的话这种设备肯定不能经过检测，但是没办法这种厂家的设备往往有个巨大的优势，就是便宜，所以不少客户会选择这种设备，没办法，谁叫客户就是上帝呢，软件这边也要无条件支持才行。

对于没有ssrc的设备，只能每个点播都用单独的端口，这是最基本的前提，否则无法通过ssrc去分包。然后就是在点播请求的时候，对应设备通道记住下发的ssrc，在应答后更新通道点播信息队列中，将记住的ssrc赋值到队列中，这里做个兼容性的处理，如果应答的sdp数据中有y字段（这个字段就是ssrc），则取y字段的值，没有的话就从记住的值取出。为什么一定需要这个ssrc，因为每个设备每个通道都可以点播多个流，而关闭的时候必须通过ssrc才能区分唯一的一个流，包括软件界面上的视频控件也是，都是唯一的一个画面对应一个ssrc，可以关闭单个的点播流。

二、效果图

三、相关地址

1. 国内站点：https://gitee.com/feiyangqingyun
2. 国际站点：https://github.com/feiyangqingyun
3. 个人作品：https://blog.csdn.net/feiyangqingyun/article/details/97565652
4. 文件地址：https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g 提取码：01jf 文件名：bin_video_gb28181。

四、功能特点

1. 支持设备注册、注销、心跳、校时、注册认证、注销认证等。
2. 设备上线后可以手动获取设备状态、设备信息、配置信息、预置位信息等。
3. 设备上线后自动获取设备通道信息，包括中文通道名称。识别到通道上线离线变化，会重新获取该设备的所有通道信息。
4. 支持视频点播，可以分别点播主码流和子码流，内置rtp解包线程，解包后发给视频播放组件解码播放。
5. 每个设备每个通道支持点播多个视频，通过ssrc区分，支持共用端口和不同端口收流。
6. 支持对某个设备下面所有通道、某个通道、某个通道对应的某个流分别关闭。
7. 支持录像文件查询和回放，回放控制支持暂停播放、继续播放、倍速播放、切换播放进度。
8. 支持录像文件下载，支持倍速比如8倍速下载，可同时多线程批量下载。
9. 回放和下载同时支持IPC和NVR，比如摄像头自带的SD存储卡录像文件回放，NVR上的硬盘录像文件回放。
10. 支持云台控制，向上、向下、向左、向右、左上、右上、左下、右下方位移动，镜头放大缩小，光圈放大缩小，镜头聚焦放焦。
11. 支持预置位信息的查询、调用、添加、修改、删除等操作。
12. 自动目录订阅功能，通道上线下线都有对应的信号通知。
13. 内置定时读取通道信息机制，以保证通道信息是最新的，比如有些NVR是不断更新的通道信息。
14. 内置订阅警情和位置移动功能，订阅后各种警情事件比如运动目标检测报警、入侵检测报警、徘徊检测报警等自动上报。
15. 支持语音对讲功能，可以直接在视频窗体的悬浮条上单击语音对讲按钮，再次单击关闭对讲，对讲期间悬浮条常驻显示。
16. 支持设备布防撤防，布防后警情信息会主动上报。
17. 国标服务同时支持udp和tcp方式，可选只监听一种或者两种都监听，tcp方式自动处理粘包问题。
18. 国标拉流同时支持udp、tcp被动、tcp主动三种方式，每个通道都可以自由选择何种拉流方式。
19. 内置拉流端口池，每次拉流从中取出一个，关闭流自动回收端口号，重复利用。
20. 收流端口自动纠错，自动跳过被占用的端口，不会出现端口占用导致收流失败的情况。
21. 支持三种取流方式自动检测离线重连，检测到离线后，自动重启点播拉流整个流程。
22. 录像文件回放，上一个完成后自动切换到下一个继续回放，直到所有回放完成。支持高达8倍速回放。
23. 视频播放自适应硬解码，极低资源占用，实时性极好，带悬浮条显示视频流信息，可以直接在悬浮条单击按钮保存录像文件到本地。
24. 支持几千路国标消息交互并发，实时视频流支持64路同时显示，可以拓展更多路数。
25. 支持阿里云等云服务器，可以分别设置内网监听地址和外网访问地址，一般云服务器上是监听地址用内网，对外访问用外网地址。
26. 支持视频分发，也就是推流，视频通道打开后可以自动推流到流媒体服务器，其他需要的地方拉流即可，支持rtsp、rtmp、hls、webrtc等方式拉流。
27. 实时预览和录像回放都支持推流，推流支持叠加文字和图片水印以及各种ffmpeg支持的滤镜效果，支持多个水印同时叠加。
28. 同时支持gb28181-2011、gb28181-2016、gb28181-2022以及后续可能的所有协议版本。
29. SIP解析和交互采用纯Qt底层代码实现，udp/tcp通信交互，祖传原创代码解析，不依赖任何第三方。
30. 代码量少，gb28181交互部分共几千行代码，注释详细，接口友好，使用极其简单，提供非常详细的使用示例。
31. 支持海康、大华、宇视、华为、天地伟业等所有国标设备，包括一些没有ssrc的设备。
32. 支持所有Qt版本和编译器以及操作系统，包括但不限于win、linux、mac、android、嵌入式linux、树莓派香橙派、国产os等。

五、相关代码

#include "gb28181data.h"
#include "gb28181parse.h"
#include "gb28181helper.h"

#define DATETIMEMS QDateTime::currentDateTime().toString("yyyy-MM-ddThh:mm:ss.zzz")

QString GB28181Data::userAgent = "wx_feiyangqingyun";

QString GB28181Data::getResponseData(const GB28181Info &info, quint64 &toTag, const QString &result, const QStringList &data, const QString &body)
{
    QString tag = "";//QString::number(toTag++);
    return GB28181Data::getResponseData(info, tag, result, data, body);
}

QString GB28181Data::getResponseData(const GB28181Info &info, const QString &toTag, const QString &result, const QStringList &data, const QString &body)
{
    QStringList list;
    list << info.version + " " + result;
    list << "Via: " + info.attr["Via"];
    list << "From: " + info.attr["From"];
    list << "To: " + info.attr["To"] + (toTag.isEmpty() ? "" : QString(";tag=%1").arg(toTag));
    list << "Call-ID: " + info.attr["Call-ID"];
    list << "CSeq: " + info.attr["CSeq"];
    list << "User-Agent: " + userAgent;
    list << "Date: " + DATETIMEMS;
    list << "Content-Length: " + QString::number(body.length());
    list << data << "" << body;
    return list.join("\r\n");
}

QString GB28181Data::unauthorized(const GB28181Info &info, quint64 &toTag, const QString &area)
{
    QString realm = QString("realm=\"%1\"").arg(area);
    QString algorithm = QString("algorithm=md5");
    QString nonce = QString("nonce=\"%1\"").arg(GB28181Helper::getUuid());

    QStringList list;
    list << QString("WWW-Authenticate: Digest %1, %2, %3").arg(realm, algorithm, nonce);
    return GB28181Data::getResponseData(info, toTag, "401 Unauthorized", list);
}

QString GB28181Data::responseOk(const GB28181Info &info, quint64 &toTag)
{
    QStringList list;
    return GB28181Data::getResponseData(info, toTag, "200 OK", list);
}

QString GB28181Data::responseTrying(const GB28181Info &info)
{
    QString to = info.attr["To"];
    QString callId = info.attr["Call-ID"];

    QStringList list;
    list << "Contact: " + to;
    return GB28181Data::getResponseData(info, callId, "100 Trying", list);
}

QString GB28181Data::responseInvite(GB28181Device &device, const GB28181Info &info, const QString &sdp, const QString &channelId, const QString &ssrc)
{
    QString from = info.attr["From"];
    QString to = info.attr["To"];
    QString callId = info.attr["Call-ID"];
    //这里非常关键/to对应的tag不能为空/可以是callid
    QString to2 = (to + ";tag=" + callId);
    GB28181Helper::addChannelInvite(device, channelId, ssrc, to2, from, callId);

    QStringList list;
    list << "Content-Type: application/sdp";
    list << "Contact: " + to;
    return GB28181Data::getResponseData(info, callId, "200 OK", list, sdp);
}

void GB28181Data::getPara(const GB28181Device &device, const QString &toId, QString &via, QString &from, QString &to, QString &callId)
{
    QString branch = QString("branch=z9hG4bK%1").arg(GB28181Helper::getUuid());
    via = QString("%0/UDP %1:%2;%3").arg(device.version, device.serverIp, device.serverPort, branch);
    from = QString("%1@%2:%3").arg(device.serverId, device.serverIp, device.serverPort);
    to = QString("%1@%2:%3").arg(toId, device.deviceIp, device.devicePort);
    callId = GB28181Helper::getUuid();
}

QString GB28181Data::getSendData(const GB28181Device &device, const QString &toId, quint64 &fromTag, quint64 &cseqSN, const QString &fun, const QStringList &data, const QString &body, const QString &from2, const QString &to2, const QString &callId2)
{
    //根据数据体内容判断类型
    QString type = "MANSRTSP";
    if (body.startsWith("<?xml")) {
        type = "MANSCDP+xml";
    } else if (body.startsWith("v=")) {
        type = "sdp";
    }

    QString via, from, to, callId;
    GB28181Data::getPara(device, toId, via, from, to, callId);

    //如果指定了则采用指定的/比如播放控制就需要传入指定的
    QString fromx = from2.isEmpty() ? QString("<sip:%1>;tag=%2").arg(from).arg(fromTag++) : from2;
    QString tox = to2.isEmpty() ? QString("<sip:%1>").arg(to) : to2;
    QString callIdx = callId2.isEmpty() ? callId : callId2;

    QStringList list;
    list << fun + " sip:" + to + " " + device.version;
    list << "Via: " + via;
    list << "From: " + fromx;
    list << "To: " + tox;
    list << "Call-ID: " + callIdx;
    list << "CSeq: " + QString::number(cseqSN++) + " " + fun;
    list << "User-Agent: " + userAgent;
    list << "Max-Forwards: 70";
    list << "Content-Length: " + QString::number(body.length());
    list << "Content-Type: application/" + type;
    list << "Contact: <sip:" + from + ">";
    list << data << "" << body;
    return list.join("\r\n");
}

QString GB28181Data::message(const GB28181Device &device, quint64 &fromTag, quint64 &cseqSN, const QString &xml)
{
    QStringList list;
    return GB28181Data::getSendData(device, device.deviceId, fromTag, cseqSN, "MESSAGE", list, xml);
}

//具体格式规范在gb28181-2016文档的第210页
QString GB28181Data::subscribe(const GB28181Device &device, quint64 &fromTag, quint64 &cseqSN, const QString &xml, int expires)
{
    QStringList list;
    list << "Expires: " + QString::number(expires);
    //list << "Event: presence";
    list << "Event: Catalog;id=55";
    return GB28181Data::getSendData(device, device.deviceId, fromTag, cseqSN, "SUBSCRIBE", list, xml);
}

QString GB28181Data::invite(const GB28181Device &device, quint64 &fromTag, quint64 &cseqSN, const QString &sdp, const QString &channelId, const QString &ssrc)
{
    QStringList list;
    list << "Subject: " + QString("%1:%2,%3:1").arg(channelId, ssrc, device.serverId);
    return GB28181Data::getSendData(device, channelId, fromTag, cseqSN, "INVITE", list, sdp);
}

QString GB28181Data::play(GB28181Device &device, quint64 &fromTag, quint64 &cseqSN, const QString &body, const QString &channelId, const QString &ssrc)
{
    QStringList ssrcs, froms, tos, callIds;
    GB28181Helper::getChannelInvite(device, channelId, ssrc, ssrcs, froms, tos, callIds, false);
    if (ssrcs.count() == 0) {
        return QString();
    }

    QStringList list;
    return GB28181Data::getSendData(device, channelId, fromTag, cseqSN, "INFO", list, body, froms.first(), tos.first(), callIds.first());
}

QString GB28181Data::ack(GB28181Device &device, const GB28181Info &info, const QString &ssrc, quint64 &cseqSN)
{
    //将通话对应的一组编号绑定到对应通道/需要在结束通话的时候使用
    QString from = info.attr["From"];
    QString to = info.attr["To"];
    QString callId = info.attr["Call-ID"];
    QString channelId = to.split("@").first();
    channelId = channelId.split(":").last();
    GB28181Helper::addChannelInvite(device, channelId, ssrc, from, to, callId);

    QString uri = QString("%1@%2:%3").arg(device.deviceId, info.deviceIp, info.devicePort);
    QString num = info.attr["CSeq"].split(" ").first();
    //num = QString::number(cseqSN++);

    QStringList list;
    list << "ACK sip:" + uri + " " + device.version;
    list << "Via: " + info.attr["Via"];
    list << "From: " + from;
    list << "To: " + to;
    list << "Call-ID: " + callId;
    list << "CSeq: " + num + " ACK";
    list << "" << "";
    return list.join("\r\n");
}

QString GB28181Data::bye(GB28181Device &device, quint64 &cseqSN, const QString &channelId, const QString &from2, const QString &to2, const QString &callId2)
{
    QString via, from, to, callId;
    GB28181Data::getPara(device, channelId, via, from, to, callId);

    QStringList list;
    list << "BYE sip:" + from + " " + device.version;
    list << "Via: " + via;
    list << "From: " + from2;
    list << "To: " + to2;
    list << "Call-ID: " + callId2;
    list << "CSeq: " + QString::number(cseqSN++) + " BYE";
    list << "Contact: <sip:" + from + ">";
    list << "" << "";
    return list.join("\r\n");
}

QStringList GB28181Data::bye(GB28181Device &device, quint64 &cseqSN, const QString &channelId, const QString &ssrc)
{
    QStringList ssrcs, froms, tos, callIds;
    GB28181Helper::getChannelInvite(device, channelId, ssrc, ssrcs, froms, tos, callIds, true);

    QStringList data;
    int count = ssrcs.count();
    for (int i = 0; i < count; ++i) {
        data << GB28181Data::bye(device, cseqSN, channelId, froms.at(i), tos.at(i), callIds.at(i));
    }

    return data;
}

GB28181Info GB28181Data::parseData(const QString &data, GB28181ServerPara para)
{
    //先取出数据解析/协议中规定头部和数据体用两个回车换行隔开
    GB28181Info info;
    QStringList list = data.split("\r\n\r\n");
    if (list.count() > 1) {
        QString body = list.at(1);
        if (body.startsWith("<?xml")) {
            GB28181Parse::parseXml(body, info);
        } else if (body.startsWith("v=0")) {
            GB28181Parse::parseSdp(body, info);
        }
    }

    QString head = list.at(0);
    QStringList lines = head.split("\r\n");
    foreach (QString line, lines) {
        //REGISTER sip:34020000002000000001@192.168.0.110:15060 SIP/2.0
        QString key = line.section(":", 0, 0).trimmed();
        if (key.isEmpty()) {
            continue;
        }

        //键值数据插入到属性中/方便后面其他地方取出来用
        QString value = line.section(":", 1, -1).trimmed();
        info.attr.insert(key, value);
        //qDebug() << TIMEMS << key << value;

        if (key.contains(" sip")) {
            info.func = key.split(" ").first();
            info.version = value.split(" ").last();
            if (info.func == "REGISTER") {
                info.sipId = value.split("@").first();
            }
        } else if (key == "Via") {
        } else if (key == "Contact") {
        } else if (key == "From") {
            //注册和心跳的from中带的是正确的设备编号
            QString fun = info.func;
            if (fun == "REGISTER" || fun == "MESSAGE") {
                //<sip:34020000001320000001@192.168.0.100:5061>
                QString temp = value.split("@").first();
                info.deviceId = temp.split(":").last();
            }
        } else if (key == "To") {
        } else if (key == "CSeq") {
            //取出消息类型/方便外面知道当前是何种应答
            info.cseq = value.split(" ").last();
        } else if (key == "Authorization") {
            GB28181Data::parseAuthorization(value, para.serverPwd, info);
        } else {
            //qDebug() << TIMEMS << key << value;
        }
    }

    //qDebug() << TIMEMS << info.deviceId << info.deviceIp << info.devicePort;
    return info;
}

void GB28181Data::parseAuthorization(const QString &data, const QString &pwd, GB28181Info &info)
{
    //Digest username=\"34020000001320000001\", realm=\"34020000\", nonce=\"1688486017\", uri=\"sip:34020000002000000001@192.168.0.110:15060\", response=\"da82ea398b66cea69e8c2c02e25167cc\", algorithm=MD5
    if (!data.startsWith("Digest")) {
        return;
    }

    QString text = data.mid(7).trimmed();
    text.replace("\"", "");
    text.replace(" ", "");

    QString username, realm, nonce, response, uri, algorithm;
    QStringList values = text.split(",", SkipEmptyParts);
    foreach (QString value, values) {
        if (value.startsWith("username")) {
            username = value.mid(9);
        } else if (value.startsWith("realm")) {
            realm = value.mid(6);
        } else if (value.startsWith("nonce")) {
            nonce = value.mid(6);
        } else if (value.startsWith("response")) {
            response = value.mid(9);
        } else if (value.startsWith("uri")) {
            uri = value.mid(4);
        } else if (value.startsWith("algorithm")) {
            algorithm = value.mid(10);
        }
    }

    //校验密码
    QString response2 = GB28181Helper::getResponse(username, realm, pwd, "REGISTER", uri, nonce);
    info.pwdOk = (response2 == response);
}