GNSS-QC 数据清洗功能全面增强｜滑坡监测实测验证，适配 rtklib_java 高精度解算链路

一、前言

在地质滑坡、边坡自动化监测场景中，GNSS 接收机长期野外采集数据极易产生粗差、跳变、多路径噪声、设备阶跃偏移等异常。若直接送入 RTK/PPP 解算，会造成定位漂移、模糊度固定失败、形变时序失真。

此前开源了 RTKLIB Java 移植库 rtklib_java，为配套这套 Java 高精度解算框架，同步开发GNSS 时序质量控制工具 GNSS-QC ，项目开源地址：https://github.com/jinyuttt/GNSS-QC。原版基础清洗能力仅能简单过滤单历元坏点，本次迭代完成七层递进式清洗链路增强，结合真实滑坡监测基站 + 流动站数据完成全流程实测，可无缝对接 rtklib_java 输出的 NEU 位移时序，实现预处理→质量清洗→高精度形变分析完整 Java 链路。

二、原有版本清洗短板

单一阈值过滤，无法区分真实滑坡形变跳变与设备噪声粗差，容易误删有效形变数据；
仅支持单点独立过滤，缺少多时段基线对比、多测点空间一致性校验，长期漂移、阶跃偏移无法识别；
粗差处理逻辑粗暴，直接删除异常历元，造成时序断层，不利于滑坡趋势连续分析；
无综合可信度评分机制，批量处理后无法快速区分高可靠 / 低可靠监测时段；
与 rtklib_java 输出格式适配差，时序文件需额外转换才能导入清洗模块。

三、本次迭代清洗功能增强点（七层递进式质控链路）

整体采用分层拦截、分级修复、后置仲裁的设计，每层各司其职，不破坏真实形变信号，完整覆盖野外监测各类数据异常场景。

L1 前置质量门禁（增强优化）

作为第一层拦截，直接过滤完全不可用历元，新增可自定义阈值配置：

基础判据：解算状态、有效卫星数量、PDOP 最大值、基线解算 RMS、模糊度 Ratio 值；
适配 rtklib_java 输出：兼容 SPP 浮点、RTK 浮点、RTK 固定、PPP 各类解状态标记；
优化点：支持分时段动态阈值，滑坡剧烈形变时段自动放宽卫星数约束，避免大片数据被拦截。

L2 形变友好跳变检测（核心新增）

解决旧版一刀切跳变过滤误删滑坡真实位移的痛点：

相邻历元位移突变识别，设置基础跳变阈值；
同向趋势快速通道：连续多历元单向偏移判定为真实形变，跳过粗差剔除；
分段窗口斜率校验，区分瞬时噪声跳变与缓慢滑坡位移。

L3 多算法联合统计粗差剔除（功能强化）

同时集成三种离群检测算法，可按需组合启用：3σ 准则、IQR 四分位距、Hampel 滤波器；

先对时序做去趋势预处理，剥离滑坡长期形变趋势后再识别残差粗差；
支持滑动窗口动态统计，适配长期监测时序，避免全局均值被形变带偏。

L4 粗差平滑修复（新增，替代直接删点）

旧版本直接删除异常点导致时序空缺，本次新增修复逻辑：仅 L3 判定为粗差的点位，采用前后窗口加权均值插值替换，保证位移时序连续；提供两种模式可选：插值修复 / 标记保留（仅输出异常标签不修改原始值），兼顾自动化分析与科研原始数据留存需求。

L5 基线记忆与长期阶跃校准（工程场景专属增强）

滑坡监测长期运行易出现接收机钟跳、天线偏移、设备重启带来的整体阶跃偏移：

快慢双滑动基线对比，短期基线识别瞬时粗差，长期基线捕捉设备缓慢偏移；
三阶段阶跃检测：小幅偏移标记、中度偏移自动校准、大幅偏移输出告警日志；
保存基线统计缓存，分段时序独立校准，消除跨天设备漂移带来的形变误差。

L6 多测点空间一致性校验（可选集群监测模块）

针对多测点滑坡监测网场景新增：同一滑坡区域多个测站位移时序做空间离群校验，单站异常偏离集群趋势则标记低可信度；适合大面积边坡、矿山多测点自动化监测项目，剔除单设备故障带来的虚假形变。

L7 综合可信度仲裁评分（输出标准化指标）

每层质控输出独立打分，加权融合得到单历元 0~100 可信度分数：

90 分以上：高可靠，可直接用于滑坡形变定量分析；
60~90 分：条件可用，需结合现场设备日志复核；
60 分以下：低可靠，建议剔除或人工复核；同步输出清洗日志，记录每一个异常点触发的质控规则，便于溯源排查设备故障。

配套辅助增强功能

文件链路打通：原生支持 rtklib_java 导出的 csv 时序文件，无需格式转换；
批量处理：支持按天 / 按小时批量遍历监测时序，自动输出清洗后文件 + 质控报表；
可视化导出：可输出清洗前后 NEU 位移对比图、可信度时序曲线、异常点位标记图；
配置文件化：所有阈值、窗口长度、算法开关通过 json 配置，无需修改代码适配不同监测场景；
旁路影子评测模块（实验性）：集成 RRCF+LSTM-Attention 双模型，离线评估清洗效果，适合算法调优，生产环境可关闭。

四、滑坡监测真实数据实测验证

4.1 测试环境与数据

监测模式：基站固定 + 滑坡区域流动站 RTK 定位，rtklib_java 完成基线解算输出 NEU 位移时序；
观测时长：连续 7 天全天候观测，包含正常稳定时段、降雨滑坡小幅形变时段、设备遮挡多路径噪声时段、接收机临时断电重启阶跃时段；
对比方案：
- 方案 1：旧版 GNSS-QC 单层阈值清洗；
- 方案 2：本次增强七层递进式清洗；
- 基准：人工逐历元标注真实形变与设备异常，作为真值对照。

4.2 实测核心结果

粗差识别准确率大幅提升旧版单一阈值模式粗差漏检率 21.3%，且 16.7% 真实滑坡形变跳变被误剔除；七层递进清洗后粗差识别准确率 98.6%，真实形变数据零误删，完美区分噪声与边坡位移。
时序连续性显著改善旧版直接删除异常点，7 天数据产生 32 处时序断层；新版插值修复后仅 3 处长时间断连存在空缺，其余时段保持连续，滑坡趋势曲线完整无割裂。
长期阶跃偏移自动校准测试数据中包含 2 次设备重启造成的整体位移阶跃，旧版无识别能力，导致形变结果出现厘米级系统偏差；L5 基线校准模块自动识别并修正，偏移误差控制在毫米级。
与 rtklib_java 解算链路协同稳定全流程自动化：RINEX/RTCM 观测数据→rtklib_java RTK 解算输出位移时序→GNSS-QC 批量清洗→输出干净形变序列，7 天批量处理无内存溢出、时序错位问题，Java 全栈无需跨语言工具（TEQC/Anubis），适配信创 Java 服务部署。
可信度评分具备工程指导价值降雨形变时段大部分历元可信度 85 分以上；山体遮挡、多路径严重时段分数集中在 40~70 分，批量报表可快速筛选有效监测时段，减少人工复核工作量。

五、GNSS-QC 快速接入 rtklib_java 使用示例

1. 项目地址

开源仓库：https://github.com/jinyuttt/GNSS-QC 配套高精度解算库：https://github.com/jinyuttt/rtklib_java

2. 基础调用流程

使用 rtklib_java 完成 RTK 解算，导出 NEU 位移 csv 时序；
加载 GNSS-QC 配置文件，开启七层完整清洗链路；
批量执行清洗，输出干净时序文件 + 质控报告 + 可信度指标。

java

运行

复制代码

// 简化调用示例
QcConfig config = QcLoader.loadConfig("qc_slope.json");
GnssQcProcessor processor = new GnssQcProcessor(config);
// 读取rtklib_java输出位移文件
String srcPath = "./rtk_output/site01_neu.csv";
String outPath = "./clean/site01_neu_clean.csv";
QcReport report = processor.runBatch(srcPath, outPath);
// 打印质控统计信息
System.out.printf("总历元：%d，粗差修复：%d，低可靠历元：%d\n",
        report.totalEpoch, report.fixOutlier, report.lowScoreEpoch);

3. 配置文件关键参数说明

json

复制代码

{
  "enableLayer2JumpDetect": true,
  "jumpThreshold": 0.015,
  "trendProtectWindow": 15,
  "outlierAlg": ["3sigma","hampel"],
  "enableStepCalibrate": true,
  "multiStationCheck": false
}

六、工程落地价值总结

全 Java 生态闭环：搭配 rtklib_java，实现从原始观测、RTK 解算、时序清洗到形变分析全流程 Java 实现，无需依赖 TEQC 等第三方 C 语言工具，适配国产化服务器部署；
分层清洗兼顾降噪与形变保真，完美适配滑坡、矿山、边坡自动化监测核心需求，不会过滤边坡真实位移信号；
自动化批量处理 + 标准化可信度评分，大幅降低监测数据人工处理成本，适合长期连续监测项目；
开源可扩展，各层质控模块解耦，可根据项目场景关闭 / 自定义对应过滤逻辑。

七、后续迭代规划

新增 RINEX 原始观测值前置清洗模块，实现观测层面 + 位移时序双层质控；
优化 LSTM 影子模型推理速度，支持实时数据流在线清洗；
对接 rtklib_java 内置时序接口，实现解算 + 清洗一体化单步调用；
扩充多系统联合监测（GPS+BDS）场景适配阈值模板。

项目持续更新，欢迎前往 GitHub 下载测试，有滑坡监测、GNSS 时序处理相关问题可在仓库 issue 交流，觉得工具实用欢迎 Star 支持！