【论文阅读】加密流量-FECOSL-TIFS2026-CCFA

End-to-End Open-Set Semi-Supervised Learning for Fine-Grained Encrypted Traffic Classification

Qian Yang, Wenxuan He, Minghao Chen, Hongyu Du, Sisi Shao, Fei Wu, Shangdong Liu, Yimu Ji, and Kui Ren, Fellow, IEEE

面向细粒度加密流量分类的端到端开集半监督学习

杨倩，何文轩，陈明浩，杜鸿宇，邵思思，吴飞，刘山东，季一木，任奎（IEEE Fellow）

Q. Yang et al ., "End-to-End Open-Set Semi-Supervised Learning for Fine-Grained Encrypted Traffic Classification," in IEEE Transactions on Information Forensics and Security, vol. 21, pp. 1347-1362, 2026, doi: 10.1109/TIFS.2026.3653575.

摘要

加密流量分类对于提升网络管理能力 、服务质量 （QoS）至关重要。然而，真实网络环境本质上属于开放世界 （open-world），其中流量不仅包含已知类别，还持续涌现出未知类别 （如新型应用、协议或攻击）。现有深度学习方法普遍基于闭集假设 （closed-world assumption），即假设测试阶段仅出现训练时见过的类别------这一假设在现实中严重失效，导致模型既难以准确识别已知流量 ，也无法有效发现未知流量。

尽管已有少量研究尝试面向开放世界场景，但它们多采用分阶段策略 （如先检测再分类），在未知流量的可靠检测 与新类别数量估计方面仍存在显著不足。

为解决上述挑战，本文提出一种端到端的细粒度加密流量分类方法 ，基于开集半监督学习 （Open-set Semi-supervised Learning），命名为 FEC-OSL （Fine-grained Encrypted traffic Classification with Open-set Semi-supervised Learning）。该方法由三个相互增强的核心组件构成：

双分支流特征提取模块 同时捕获局部细节 与全局判别性特征；提升对加密流量细微行为差异的感知能力，为后续开集判别奠定表征基础。（多模态特征）
基于能量的开集判别机制 （Energy-based Unknown Detection）引入能量边界学习 （energy-boundary learning）思想；通过建模已知类别的能量分布 ，设定动态阈值，精准区分已知与未知流量；避免传统置信度阈值法在高维空间中的不可靠性。（对困难样本的处理）
自适应深度聚类模块 （Adaptive Deep Clustering）将特征学习 与聚类过程 端到端联合优化；对被判定为"未知"的流量进行自动聚类 ，实现细粒度的新类别发现；无需预设未知类别数量，具备良好可扩展性。（解决数据漂移、标签错误、标注样本缺乏的问题）

在三个真实世界数据集 上进行广泛实验；结果表明：FEC-OSL 在开放世界场景下同时实现了 ：已知类别的高精度分类 ；未知流量的高召回检测 ；新类别的有效聚类与识别。

✅ 核心突破 ：首次实现端到端、单阶段、开集半监督的细粒度加密流量分类框架，克服了传统方法"检测-分类"割裂、未知类处理粗糙等瓶颈。

关键词： 加密流量分类，开集半监督学习，端到端学习，基于能量的模型，网络安全

引言

随着网络技术的飞速发展，流量分类已成为提升网络管理效率、优化服务质量（QoS）以及保障网络安全（如恶意软件识别与入侵检测）的核心技术之一 [1]。然而，伴随着用户隐私保护意识的增强和加密技术的持续演进，加密流量在网络中的占比急剧上升 [2]--[4]。尽管加密机制有效保护了用户隐私，却也给网络安全部署带来了前所未有的挑战：传统的基于明文的流量分析方法 [5], [6] 因无法直接访问数据包载荷而逐渐失效。更为严峻的是，越来越多的恶意软件和网络攻击开始利用 SSL/TLS 等加密通道进行隐蔽通信 ，以规避安全设备的检测。据 Zscaler 最新报告指出，当前约 85.9% 的网络威胁已通过加密信道传播 [7]，这一数据凸显了对加密流量进行有效分析与管控的紧迫性。

$1\] F. Santoso and A. Finn, "An in-depth examination of artificial intelligence-enhanced cybersecurity in robotics, autonomous systems, and critical infrastructures," *IEEE Trans. Services Comput.* , vol. 17, no. 3, pp. 1293--1310, May 2024. \[2\] E. Papadogiannaki and S. Ioannidis, "A survey on encrypted network traffic analysis applications, techniques, and countermeasures," *ACM Comput. Surv.* , vol. 54, no. 6, pp. 1--35, Jul. 2022. \[3\] S. Rezaei and X. Liu, "Deep learning for encrypted traffic classification: An overview," *IEEE Commun. Mag.* , vol. 57, no. 5, pp. 76--81, May 2019. \[4\] M. Shen, M. Wei, L. Zhu, and M. Wang, "Classification of encrypted traffic with second-order Markov chains and application attribute bigrams," *IEEE Trans. Inf. Forensics Security* , vol. 12, no. 8, pp. 1830--1843, Aug. 2017. \[5\] Z. Ling, J. Luo, K. Wu, W. Yu, and X. Fu, "TorWard: Discovery of malicious traffic over tor," in *Proc. IEEE Conf. Comput. Commun. (INFOCOM)* , Apr. 2014, pp. 1402--1410. \[6\] N. Hua, H. Song, and T. V. Lakshman, "Variable-stride multi-pattern matching for scalable deep packet inspection," in *Proc. IEEE Conf. Comput. Commun. (INFOCOM)* , Apr. 2009, pp. 415--423. \[7\] Zscaler ThreatLabz. (Dec. 2023). *2023 State of Encrypted Attacks Report*. Zscaler. \[Online\]. Available: https://www.zscaler.com/resources/industry-reports/threatlabz-2023-state-of-encrypted-attacks-report.pdf$

近年来，深度学习技术推动了加密流量分类研究的显著进展。然而，绝大多数现有方法仍建立在"闭集假设" （closed-world assumption）之上 [8]--[12]，即默认测试阶段出现的所有流量类别均已在训练阶段被定义并标注。这类方法仅能将样本归类到一个预设且有限的已知类别集合中 。但在真实网络环境中，流量类别具有高度动态性------新型应用、服务或攻击手段不断涌现，导致测试阶段频繁遭遇训练时从未见过的未知类别 。我们将此类场景定义为"开放世界 （open-world）"，其核心要求是：模型不仅需准确识别已知类别，还必须能够可靠地检测出完全新颖、未定义过的未知流量。

$8\] R. R. Jagat, D. S. Sisodia, and P. Singh, "Detecting web attacks from HTTP weblogs using variational LSTM autoencoder deviation network," *IEEE Trans. Services Comput.* , vol. 17, no. 5, pp. 2210--2222, Sep. 2024. \[9\] T. van Ede et al., "FlowPrint: Semi-supervised mobile-app fingerprinting on encrypted network traffic," in *Proc. Netw. Distrib. Syst. Secur. Symp. (NDSS)* , Feb. 2020, pp. 1--18. \[10\] X. Hu, W. Gao, G. Cheng, R. Li, Y. Zhou, and H. Wu, "Toward early and accurate network intrusion detection using graph embedding," *IEEE Trans. Inf. Forensics Security* , vol. 18, pp. 5817--5831, 2023. \[11\] M. Lotfollahi, M. J. Siavoshani, R. S. H. Zade, and M. Saberian, "Deep packet: A novel approach for encrypted traffic classification using deep learning," *Soft Comput.* , vol. 24, no. 3, pp. 1999--2012, Feb. 2020. \[12\] Y. Yue, X. Chen, Z. Han, X. Zeng, and Y. Zhu, "Contrastive learning enhanced intrusion detection," *IEEE Trans. Netw. Service Manage.*, vol. 19, no. 4, pp. 4232--4247, Dec. 2022.$

传统闭集分类模型在此类开放世界场景中表现不佳，往往将未知流量错误地分配到某个已知类别中，造成严重的误判风险。如图 1 所示，相较于闭集设定，开放世界场景的复杂性显著提升 [13]------它要求系统同时解决两个关键任务：一是对已知流量的高精度分类，二是对未知流量的鲁棒检测与有效隔离。这一双重挑战构成了当前加密流量智能分析亟待突破的核心瓶颈，也构成了本文研究的根本动因。

当前面向开放世界的加密流量分类面临两大关键挑战。第一大挑战在于模型必须具备开集识别 （Open-Set Recognition, OSR）[14]--[16]。这意味着系统不仅要对已知应用进行细粒度分类，还需可靠地识别出训练阶段从未出现过的新型或未知流量类别。解决这一问题的核心在于学习高质量、高判别性的流量表征。然而，现有 OSR 方法往往依赖单一视角的特征（如包级统计特征 [17], [18]），难以捕捉复杂加密流量中细微但关键的行为差异，导致特征空间中类别可分性受限，进而削弱下游分类器的性能。此外，分类器对未知类别的判别能力直接决定了整个 OSR 系统在开放世界中的泛化效果。尽管部分研究 [19]--[21] 尝试利用分类置信度来检测未知样本，但这类方法并不可靠------高置信度的未知样本仍可能被错误归类为某个已知类别。Yang 等人 [22] 提出了一种基于类条件自编码器与极值理论的多阶段检测框架，用于识别未知攻击，但该方法需对每个阶段单独训练，不仅增加了系统复杂度，还可能因阶段间误差传播而影响整体鲁棒性。

$13\] E. M. Rudd, A. Rozsa, M. Gunther, and T. E. Boult, "A survey of stealth malware attacks, mitigation measures, and steps toward autonomous open world solutions," *IEEE Commun. Surveys Tuts.* , vol. 19, no. 2, pp. 1145--1172, 2017. \[14\] W. J. Scheirer, A. de Rezende Rocha, A. Sapkota, and T. E. Boult, "Toward open set recognition," *IEEE Trans. Pattern Anal. Mach. Intell.* , vol. 35, no. 7, pp. 1757--1772, Jul. 2013. \[15\] J. Jia and P. K. Chan, "Representation learning with function call graph transformations for malware open set recognition," in *Proc. Int. Joint Conf. Neural Netw. (IJCNN)* , Jul. 2022, pp. 1--8. \[16\] S. Dang, Z. Cao, Z. Cui, Y. Pi, and N. Liu, "Open set incremental learning for automatic target recognition," *IEEE Trans. Geosci. Remote Sens.* , vol. 57, no. 7, pp. 4445--4456, Jul. 2019. \[17\] Z. Zhao, Z. Li, Z. Song, W. Li, and F. Zhang, "Trident: A universal framework for fine-grained and class-incremental unknown traffic detection," in *Proc. ACM Web Conf.* , May 2024, pp. 1608--1619. \[18\] S.-J. Xu, G.-G. Geng, X.-B. Jin, D.-J. Liu, and J. Weng, "Seeing traffic paths: Encrypted traffic classification with path signature features," *IEEE Trans. Inf. Forensics Security* , vol. 17, pp. 2166--2181, 2022. \[19\] H. Jiang, B. Kim, M. Y. Guan, and M. R. Gupta, "To trust or not to trust a classifier," in *Proc. Adv. Neural Inf. Process. Syst. (NeurIPS)* , 2018, pp. 5546--5557. \[20\] D. Hendrycks, "A baseline for detecting misclassified and out-of-distribution examples in neural networks," in *Proc. Int. Conf. Learn. Represent. (ICLR)* , Apr. 2017, pp. 1--12. \[21\] J. Zhang, F. Li, F. Ye, and H. Wu, "Autonomous unknown-application filtering and labeling for DL-based traffic classifier update," in *Proc. IEEE Conf. Comput. Commun. (INFOCOM)* , Jul. 2020, pp. 397--405. \[22\] J. Yang, X. Chen, S. Chen, X. Jiang, and X. Tan, "Conditional variational auto-encoder and extreme value theory aided two-stage learning approach for intelligent fine-grained known/unknown intrusion detection," *IEEE Trans. Inf. Forensics Security*, vol. 16, pp. 3538--3553, 2021.$

第二大挑战在于如何高效估计未知流量的类别结构，即让模型能够自主发现并归纳新型流量模式，从而支持威胁分析并动态扩展安全知识库 [16]。然而，该方向在流量分类领域研究尚属初步，现有方案主要依赖人工分析或离线聚类 [23], [24]。例如，Zhao 等人 [17] 提出通过邻接矩阵融合多种聚类算法，并结合截断点过滤与轮廓系数评估聚类结果。但此类方法高度依赖专家经验，每种聚类算法均需手动调参，难以实现自动化与规模化部署。

$23\] M. Ester, H. Kriegel, J. Sander, and X. Xu, "A density-based algorithm for discovering clusters in large spatial databases with noise," in *Proc. 2nd Int. Conf. Knowl. Discovery Data Mining (KDD)* , 1996, pp. 226--231. \[24\] A. M. Ikotun, A. E. Ezugwu, L. Abualigah, B. Abuhaija, and J. Heming, "K-means clustering algorithms: A comprehensive review, variants analysis, and advances in the era of big data," *Inf. Sci.*, vol. 622, pp. 178--210, Apr. 2023.$

针对上述挑战，本文提出 FEC-OSL （Fine-grained Encrypted traffic Classification with Open-set Semi-supervised Learning），一种端到端的细粒度加密流量分类方法 ，基于开集半监督学习框架，统一解决三大核心任务：已知与未知流量的判别、已知类别的精细分类、以及未知流量的自动聚类 。FEC-OSL 由三个协同优化的关键模块构成：双分支流特征提取模块 、基于能量的分类模块 和自适应深度聚类模块。

具体而言，首先将原始流字节序列重塑为二维矩阵，输入一个卷积增强的视觉 Transformer 网络 ，以捕获字节级局部模式；同时，构建流交互图 （flow interaction graph），并采用拓扑自适应图卷积网络 （topology-adaptive GCN）提取高层交互行为特征。这种双分支设计从低层字节纹理 与高层通信拓扑 两个互补视角联合建模，显著减少信息损失，大幅提升特征空间的判别能力，并通过特征融合生成全面的流量表征。（已知与未知流量的判别）其次，引入基于能量的模型 （energy-based model），将流量特征映射为能量值：低能量样本被判定为已知类别，高能量样本则标识为未知流量，从而实现对分布外样本的鲁棒检测。（已知与未知流量的判别）最后，将特征学习与聚类过程深度融合，通过迭代更新样本特征表示来持续优化未知流量的聚类结果，使模型能够自适应地发现新类别结构。（未知流量的自动聚类）

尤为关键的是，FEC-OSL 采用端到端协同优化策略 ，三个模块通过统一的损失函数联合训练，在训练过程中不断精炼特征空间，同步提升分类与聚类性能，真正实现了开集多任务学习的一体化框架，为开放世界下的加密流量智能分析提供了全新且高效的解决方案。

综上所述，本文的主要贡献可概括为以下三点：

我们首次提出 FEC-OSL 这一端到端细粒度分类框架，系统性应对开放世界场景中的三大核心难题；我们设计了双分支特征提取机制 与能量约束判别器 ，显著提升了已知/未知流量的区分能力与已知类别的分类可靠性；同时，我们提出的自适应深度聚类方法通过特征-聚类联合优化，实现了对未知流量的高质量、自动化发现。在三个真实世界数据集上的大量实验表明，FEC-OSL 在已知类别识别与未知流量检测两方面均显著优于现有方法，且补充实验进一步验证了其卓越的泛化能力与鲁棒性，为下一代智能网络安全系统奠定了坚实基础。

二、相关工作

A. 基于深度学习的加密流量分类

近年来，深度学习凭借其强大的特征提取能力，已成为加密流量分类领域的研究热点。现有方法通常分为监督学习 、无监督学习 和半监督学习三类。

监督学习方法依赖全标注数据集，利用卷积神经网络（CNN）、Transformer 或图神经网络（GNN）等模型自动挖掘流量中的潜在特征，显著提升了分类准确率。例如，Lotfollahi 等人 [11] 采用一维 CNN 捕获数据包内字节的局部空间依赖关系，提取关键判别模式；Zhou 等人 [25] 将 Transformer 应用于流量轨迹，有效建模时序动态，提升了对 Tor 加密流量的分类性能；Hu 等人 [10] 则从双向流（biflows）的交互包中构建流图，并通过 graph2vec 嵌入将图结构转化为向量表示。

$10\] X. Hu, W. Gao, G. Cheng, R. Li, Y. Zhou, and H. Wu, "Toward early and accurate network intrusion detection using graph embedding," *IEEE Trans. Inf. Forensics Security* , vol. 18, pp. 5817--5831, 2023. \[11\] M. Lotfollahi, M. J. Siavoshani, R. S. H. Zade, and M. Saberian, "Deep packet: A novel approach for encrypted traffic classification using deep learning," *Soft Comput.*, vol. 24, no. 3, pp. 1999--2012, Feb. 2020. \[25\] Q. Zhou, L. Wang, H. Zhu, T. Lu, and V. S. Sheng, "WF-transformer: Learning temporal features for accurate anonymous traffic identification by using transformer networks," *IEEE Trans. Inf. Forensics Security*, vol. 19, pp. 30--43, 2024.$

无监督方法则聚焦于建模正常流量模式，通过检测偏离正常行为的异常点实现威胁发现。典型如 Mirsky 等人 [26] 提出的 Kitsune，利用自编码器动态重构正常流量特征，从而识别异常通信。

$26\] Y. Mirsky, T. Doitshman, Y. Elovici, and A. Shabtai, "Kitsune: An ensemble of autoencoders for online network intrusion detection," in *Proc. Netw. Distrib. Syst. Secur. Symp. (NDSS)*, Feb. 2018, pp. 1--15.$

半监督学习方法旨在缓解大规模标注数据获取困难的问题，通过结合少量标注样本与大量未标注流量进行联合训练。文献 [9] 表明，半监督学习能有效提取加密流量中的应用指纹，在降低标注依赖的同时提升分类性能。

$9\] T. van Ede et al., "FlowPrint: Semi-supervised mobile-app fingerprinting on encrypted network traffic," in *Proc. Netw. Distrib. Syst. Secur. Symp. (NDSS)*, Feb. 2020, pp. 1--18.$

尽管上述方法在闭集场景下对已知流量的识别取得了良好效果 ，但在开放世界中面对未知攻击时表现明显受限 ------它们往往无法可靠区分分布内与分布外样本，甚至将未知流量错误归类为某个已知类别。相比之下，本文所提出的 FEC-OSL 方法融合了开集学习的适应性与半监督学习的低标注成本优势 ，并通过端到端联合训练机制，有效抑制了细粒度分类中的"静默误判"（silent misclassification）问题，显著提升了系统在真实动态环境中的鲁棒性。

B. 面向加密流量分类的开集识别

在开放世界场景中，加密流量分类需同时完成两项核心任务：对已知类别的细粒度分类 与对未知类别的有效检测 ，这正属于开集识别 （Open-Set Recognition, OSR）的研究范畴。当前 OSR 方法主要分为三类：基于置信度 、基于重构误差 和基于生成模型的方法。

基于置信度的方法通过分类器输出的预测置信度判断样本是否属于未知类。例如，Hendrycks 等人 [20] 分析 softmax 输出分布，利用低置信度识别未知样本。然而，这类方法易受"高置信度错误"干扰------某些未知样本仍可能被赋予高置信度而被误判。

$20\] D. Hendrycks, "A baseline for detecting misclassified and out-of-distribution examples in neural networks," in *Proc. Int. Conf. Learn. Represent. (ICLR)*, Apr. 2017, pp. 1--12.$

基于重构误差的方法则利用自编码器对已知流量建模，并通过重构误差大小识别未知流量。Yang 等人 [27] 引入对比学习增强的自编码器，优化潜在空间中的样本距离度量，并基于中位数绝对偏差（MAD）设定动态阈值以检测分布漂移样本；Zhao 等人 [17] 为每个已知类别训练一个单类学习器，通过类特定的重构误差与离群阈值检测未知流量。但此类方法对重构误差敏感，且难以在复杂流量中建立稳定的正常模式边界。

$27\] L. Yang et al., "CADE: Detecting and explaining concept drift samples for security applications," in *Proc. 30th USENIX Secur. Symp. (USENIX Secur.)*, Aug. 2021, pp. 2327--2344. \[17\] Z. Zhao, Z. Li, Z. Song, W. Li, and F. Zhang, "Trident: A universal framework for fine-grained and class-incremental unknown traffic detection," in *Proc. ACM Web Conf.*, May 2024, pp. 1608--1619.$

基于生成模型的方法通过学习已知类别的数据分布或生成样本以识别异常。例如，Yang 等人 [22] 训练生成模型拟合已知类特征分布，并利用重构误差识别未知类。然而，生成模型训练复杂，且在高维流量空间中难以精确建模。

$22\] J. Yang, X. Chen, S. Chen, X. Jiang, and X. Tan, "Conditional variational auto-encoder and extreme value theory aided two-stage learning approach for intelligent fine-grained known/unknown intrusion detection," *IEEE Trans. Inf. Forensics Security*, vol. 16, pp. 3538--3553, 2021.$

与上述方法不同，本文提出了一种基于能量模型 （energy-based model）的新型开集判别机制。该方法首先构建高效的双视角流量表征体系，再将特征映射为能量值：低能量对应已知类，高能量标识未知类。这一设计不仅避免了置信度校准难题和重构误差不稳定性，还在保持已知类别高分类精度的同时，显著增强了对未知流量的检测鲁棒性，为开放世界下的加密流量分析提供了更可靠的技术路径。

三、方法

A. 问题定义

在开放世界的加密流量分类任务中，给定一个训练数据集Dtrain\mathcal{D}_{\text{train}}Dtrain，它由两部分组成：

一个带标签的已知类别流量集合 Dk\mathcal{D}_kDk；
一个辅助的未知类别流量集合 Dau\mathcal{D}_{\text{au}}Dau。

其中，已知类别集合Dk\mathcal{D}_kDk包含来自已知标签集Yk\mathcal{Y}_kYk的标注流量流，形式化定义为：
Dk={(xi,yi)∣yi∈Yk}i=1Nk, \mathcal{D}_k = \{ (\mathbf{x}_i, y_i) \mid y_i \in \mathcal{Y}k \}{i=1}^{N_k}, Dk={(xi,yi)∣yi∈Yk}i=1Nk,

这里xi\mathbf{x}_ixi表示一个网络流实例，yiy_iyi为其对应标签，NkN_kNk为已知类流量总数。标签集Yk={B}∪{Ai}i=1Ck−1\mathcal{Y}k = \{ B \} \cup \{ A_i \}{i=1}^{C_k - 1}Yk={B}∪{Ai}i=1Ck−1包含CkC_kCk个互异类别，其中BBB代表良性流量（benign traffic），每个AiA_iAi表示一种特定的已知攻击类型。

而辅助未知集合Dau={xi}i=1Nau\mathcal{D}{\text{au}} = \{ \mathbf{x}i \}{i=1}^{N{\text{au}}}Dau={xi}i=1Nau由未标注的流量流 构成，这些样本被统一视为属于一个辅助未知类 UauU_{\text{au}}Uau，其潜在标签集Yau\mathcal{Y}_{\text{au}}Yau与已知标签集严格不相交，即满足：
Yk∩Yau=∅. \mathcal{Y}k \cap \mathcal{Y}{\text{au}} = \emptyset. Yk∩Yau=∅.

在测试阶段，模型需面对更为复杂的开放世界场景。测试集Dtest\mathcal{D}{\text{test}}Dtest不仅包含来自已知类别Yk\mathcal{Y}kYk和辅助未知类别Yau\mathcal{Y}{\text{au}}Yau的流量，还包含训练阶段从未出现过的全新未知类别流量 ，记为Dnu\mathcal{D}{\text{nu}}Dnu，其对应的标签集为Ynu\mathcal{Y}{\text{nu}}Ynu。这些新类别同样与所有已观测类别互斥，即：
Ynu∩Yau=∅,Ynu∩Yk=∅. \mathcal{Y}{\text{nu}} \cap \mathcal{Y}{\text{au}} = \emptyset, \quad \mathcal{Y}{\text{nu}} \cap \mathcal{Y}_k = \emptyset. Ynu∩Yau=∅,Ynu∩Yk=∅.

本文的目标是训练一个端到端的分类模型 M\mathcal{M}M，使其在测试时能够同时完成三项关键任务：

（1）准确分类 属于已知类别Yk\mathcal{Y}_kYk的流量；

（2）有效检测并区分 来自全新未知类别Ynu\mathcal{Y}_{\text{nu}}Ynu的流量；

（3）对辅助未知集合Dau\mathcal{D}_{\text{au}}Dau中的流量进行细粒度聚类，生成伪标签以实现内部结构发现。

尤为重要的是，系统设计了一个动态演化机制 ：被可靠识别出的未知流量将被持续累积，并整合进辅助集合Dau\mathcal{D}{\text{au}}Dau，形成更新后的集合Dau′\mathcal{D}'{\text{au}}Dau′。该集合可周期性地用于模型再训练，从而不断提升系统对不断演化的未知流量（如新型攻击或应用）的适应能力。

如图 1 所示，该框架完整刻画了开放世界下细粒度加密流量分类的核心挑战：已知与未知流量的判别、已知类别的精确分类、以及未知类别的自动聚类与知识扩展，构成了一个闭环、自进化的智能分析体系。

B. 方法概述

本文提出的 FEC-OSL 整体框架如图 2 所示，由三个紧密耦合的核心模块构成，共同实现开放世界下细粒度加密流量的端到端分类与未知类别发现。

（i）双分支流特征提取模块 ：该模块首先对原始抓包（pcap）数据进行预处理，并依据五元组将其切分为独立的双向流（biflows）。随后，分别从两个互补视角提取特征：一方面，通过字节级建模捕获原始流量中的局部模式与内容结构；另一方面，构建流间交互图，提取反映通信行为拓扑关系的高层交互特征。两类特征经融合与拼接后，形成一个全面且判别性强的综合流量表征，为后续开集判别与聚类提供高质量输入。

（ii）基于能量模型的已知/未知类别判别模块 ：该模块引入能量函数，将每个流量样本映射为一个标量能量值。其中，已知类样本的能量分布通过 Weibull 分布进行建模，从而在能量空间中清晰刻画已知与未知样本的边界。通过设定自适应阈值，系统可依据能量值高效判断样本属于已知类别还是未知类别------低能量样本被归为已知类，高能量样本则被识别为未知类，有效避免了传统置信度方法的误判风险。

（iii）未知类别的自适应深度聚类模块 ：针对被判定为未知的流量，该模块通过特征学习与聚类过程的联合优化，实现对未知类别的细粒度划分。具体而言，模型在训练过程中迭代更新样本的特征表示，并同步优化聚类分配，使得伪标签质量随训练不断改善。这种自适应机制使系统能够动态发现潜在的新类别结构，而无需预设类别数量。

三个模块通过统一的端到端训练目标协同工作：特征提取为判别与聚类提供基础，能量模型确保已知/未知的可靠分离，而深度聚类则反哺特征空间的精细化调整。这种闭环设计使 FEC-OSL 能够在开放世界场景中同时实现高精度已知分类、鲁棒未知检测与自动化新类别发现。

C. 双分支流特征提取

为提升加密流量分类的准确性，本文提出一种双分支流特征提取模块 ，通过融合字节级特征 与流交互特征，从互补视角全面刻画流量语义。

（1) 字节级流特征提取

在加密流量分类中，网络流的原始字节信息具有关键价值。相较于统计特征 [12], [28]，原始字节数据保留了更细粒度的内容结构，能更真实地反映流量的内在特性 [29]。为保留端点间的交互模式，我们首先使用 Splitcap 工具 将原始 pcap 数据按五元组切分为独立的双向流（biflows）。对每个数据包，移除以太网头部，并对 IP 地址和端口号进行匿名化处理，以保护隐私并消除标识偏差。

字节矩阵重塑 ：

对于每个输入流样本x\mathbf{x}x，我们选取其前 M 个连续数据包 以确保流量表示的一致性。每个数据包被划分为头部（header）与载荷（payload）两部分------二者在语义和长度上存在显著差异 [11], [30]，因此分别处理。每部分被重塑为固定尺寸的矩阵作为模型输入：

包头部的字节序列被重塑为大小为mhr×mhcm_h^r \times m_h^cmhr×mhc的矩阵，并通过零填充（zero-padding）保证统一维度；
将 M 个包的头部矩阵沿包序列维度拼接，形成固定尺寸的流头部矩阵 xh∈R(M×mhr)×mhc\mathbf{x}_h \in \mathbb{R}^{(M \times m_h^r) \times m_h^c}xh∈R(M×mhr)×mhc，其中满足M×mhr=mhcM \times m_h^r = m_h^cM×mhr=mhc；
类似地，载荷部分被处理为流载荷矩阵 xp∈R(M×mpr)×mpc\mathbf{x}_p \in \mathbb{R}^{(M \times m_p^r) \times m_p^c}xp∈R(M×mpr)×mpc，且M×mpr=mpcM \times m_p^r = m_p^cM×mpr=mpc。

鉴于已有研究表明，流的前几个数据包通常足以捕获其基本行为特征 [31]，本文统一设置M=5M = 5M=5（即每流取前 5 个包），在分类性能与计算效率之间取得合理平衡。

卷积增强的 Vision Transformer （CViT）：

Vision Transformer（ViT）[32] 将 Transformer 架构引入计算机视觉，但其缺乏局部感知能力与平移不变性，在小规模数据集上表现受限 [34]。为此，我们提出卷积增强 ViT（Convolution-enhanced ViT, CViT），将卷积的局部特征提取能力与 ViT 的全局建模优势相结合，高效地从原始字节矩阵中提取多层级特征。

对流头部矩阵xh\mathbf{x}_hxh和载荷矩阵xp\mathbf{x}_pxp采用相同的处理流程。以xh\mathbf{x}_hxh为例：

首先将其划分为不跨越包边界的P×PP \times PP×P图块（patches），共得到NpN_pNp个图块，表示为x~h∈RNp×P2\tilde{\mathbf{x}}_h \in \mathbb{R}^{N_p \times P^2}x~h∈RNp×P2；
对每个图块应用卷积操作以提取局部特征：
ch,i=Conv(x~h,i; θ)(1) \mathbf{c}{h,i} = \text{Conv}(\tilde{\mathbf{x}}{h,i};\ \theta) \tag{1} ch,i=Conv(x~h,i; θ)(1)
其中θ\thetaθ为卷积核参数；
将卷积特征展平后通过嵌入矩阵映射到高维空间，并加入位置编码以保留空间结构信息：
zh(0)=[ch,1Eemb; ch,2Eemb; ⋯ ; ch,NpEemb]+Epos(2) \mathbf{z}h^{(0)} = [\mathbf{c}{h,1}\mathbf{E}{\text{emb}};\ \mathbf{c}{h,2}\mathbf{E}{\text{emb}};\ \cdots;\ \mathbf{c}{h,N_p}\mathbf{E}{\text{emb}}] + \mathbf{E}{\text{pos}} \tag{2} zh(0)=[ch,1Eemb; ch,2Eemb; ⋯; ch,NpEemb]+Epos(2)
其中Eemb\mathbf{E}{\text{emb}}Eemb为嵌入矩阵，Epos\mathbf{E}{\text{pos}}Epos为位置嵌入。

随后，嵌入特征输入一个包含LLL层的 Transformer 编码器。第lll层的计算如下：
zˉh(l)=MHA(LN(zh(l−1)))+zh(l−1)(3) \bar{\mathbf{z}}_h^{(l)} = \text{MHA}(\text{LN}(\mathbf{z}_h^{(l-1)})) + \mathbf{z}_h^{(l-1)} \tag{3} zˉh(l)=MHA(LN(zh(l−1)))+zh(l−1)(3)
zh(l)=FFN(LN(zˉh(l)))+zˉh(l)(4) \mathbf{z}_h^{(l)} = \text{FFN}(\text{LN}(\bar{\mathbf{z}}_h^{(l)})) + \bar{\mathbf{z}}_h^{(l)} \tag{4} zh(l)=FFN(LN(zˉh(l)))+zˉh(l)(4)

其中 MHA 表示多头注意力机制，FFN 为前馈网络，LN 为层归一化。

最终，对头部与载荷的输出分别进行全局池化，得到流级特征表示zh\mathbf{z}_hzh和zp\mathbf{z}_pzp，并拼接形成最终的字节级流特征 ：
hb=[zh, zp]. \mathbf{h}_b = [\mathbf{z}_h,\ \mathbf{z}_p]. hb=[zh, zp].

（2) 流交互特征提取

在加密流量中，包间时间间隔 、传输方向（如上行/下行）等属性反映了主机间的交互行为模式。这些时序与方向特征对于区分正常流量与恶意行为至关重要 [28], [35]。例如，视频流通常呈现周期性大包下行，而命令控制（C2）通信则表现为短间隔双向心跳包。此类高层交互信息无法从原始字节中直接获取，需通过显式建模加以利用------这正是双分支设计中"交互分支"的核心目标（后续小节将详述其图构建与 GNN 处理流程）。

✅ 双分支协同优势 ：

字节分支捕获内容语义 （what is sent），交互分支刻画行为模式（how it is sent）。二者融合可显著提升特征判别力，尤其在加密协议掩盖内容的情况下，交互特征成为关键补充信号。流交互图构建（Flow Interaction Graph Construction）

流交互图构建

为有效捕获上述交互特征，我们构建一种流交互图 （Flow Interaction Graph, FIG），其中每个双向流 （biflow）。该图直观地刻画了通信端点之间的交互模式。具体而言，我们遵循经典工作 [35] 中提出的图构建流程，并在其基础上进行扩展：将流中的每个数据包视为图中的一个节点，并通过引入"突发"（burst）概念来定义节点间的连接关系。

所谓突发（burst），是指在短时间内沿同一方向连续传输的一组数据包 。基于此，我们构建图G=(V,E)G = (V, E)G=(V,E)，其中节点集合VVV与边集合EEE定义如下：

节点特征 对分类精度至关重要。在 [35] 的基础上，我们从多维角度提取每个数据包的关键属性，构成更丰富的节点嵌入。具体包括以下七类特征：

包传输方向（direction）：标识该包是由客户端发往服务器（上行）还是反向（下行），用于刻画主机间的交互模式；
包长度（length）：作为识别加密流量指纹的关键属性 [36]，不同应用往往具有特征性的包大小分布；
时间戳（timestamp）：反映流量的时序动态，如请求-响应延迟或周期性行为；
当前突发中的总包数；
当前突发中的总字节数；
相邻突发间的包数量比值；
相邻突发间的总字节数比值。

这些突发相关特征能够揭示通信的密度变化与阶段性行为（如视频加载阶段 vs. 播放阶段）。上述七类特征被拼接为一个向量，作为每个节点的初始表示，具备强大的判别能力。

在双向流中，数据包序列首先根据预设的突发阈值（如时间间隔 > 1 秒或方向切换）被划分为多个突发段。在 FIG 中，边分为两类：

突发内边 （intra-burst edges）：在同一突发内部，节点按时间戳顺序连接相邻数据包 ，即第iii个包与第i+1i+1i+1个包相连。这种方式既保留了包级时序信息，又避免了全连接带来的计算开销。
突发间边 （inter-burst edges）：为保持突发之间的关联性与流的整体时序连续性，我们在相邻突发之间建立跨突发连接 ------具体地，当前突发的第一个节点连接前一突发的第一个节点 ，当前突发的最后一个节点连接前一突发的最后一个节点。这种设计有效捕捉了突发间的演进关系（如会话初始化 → 数据传输 → 会话终止）。

此外，图中所有边均采用无向边（undirected edges），以灵活建模数据包之间的对称或非对称交互关系，增强图结构对复杂通信模式的表达能力。

✅ 设计优势总结 ：

该流交互图不仅保留了原始包序列的时序结构，还通过突发抽象和多维节点特征，显式编码了方向性、规模性与时变性等高层行为语义。这使得模型即使在载荷完全加密的情况下，仍能通过交互模式有效区分不同应用或攻击类型，为后续图神经网络（GNN）的特征学习奠定坚实基础。

图表示学习（Graph Representation Learning）

对于每个流x\mathbf{x}x，我们首先构建其对应的流交互图（FIG）GGG，并将其输入一个由拓扑自适应图卷积网络 （Topology-Adaptive Graph Convolutional Network, TAGCN）[37] 层和一个读出层（readout layer）组成的图神经网络（GNN）中，以学习高阶交互表征。

TAGCN 层

考虑到网络流中存在复杂的交互行为模式（如突发传输、频繁双向通信等），我们采用 TAGCN 来聚合多跳邻域信息，从而迭代更新节点表示。在 FIGGGG中，节点iii的初始特征记为hi(0)\mathbf{h}_i^{(0)}hi(0)，其中i=1,2,...,Nvi = 1, 2, \dots, N_vi=1,2,...,Nv，NvN_vNv为图中节点总数。所有节点特征构成特征矩阵：
H^=[a^1,a^2,...,a^D]∈RNv×D, \hat{\mathbf{H}} = [\hat{\mathbf{a}}_1, \hat{\mathbf{a}}_2, \dots, \hat{\mathbf{a}}_D] \in \mathbb{R}^{N_v \times D}, H^=[a^1,a^2,...,a^D]∈RNv×D,

其中第ddd个特征维度由向量a^d∈RNv\hat{\mathbf{a}}_d \in \mathbb{R}^{N_v}a^d∈RNv表示。

TAGCN 网络包含L′L'L′层。在第l′l'l′层中，输入包括特征矩阵H^\hat{\mathbf{H}}H^和邻接矩阵A\mathbf{A}A，并通过一组图滤波器 （graph filters）在不同特征维度上执行卷积操作。第fff个图滤波器Gd,f(l′)∈RNv×Nv\mathbf{G}{d,f}^{(l')} \in \mathbb{R}^{N_v \times N_v}Gd,f(l′)∈RNv×Nv定义为邻接矩阵A\mathbf{A}A的多项式：
Gd,f(l′)=∑k=1Kwd,f,k(l′)Ak(5) \mathbf{G}{d,f}^{(l')} = \sum_{k=1}^{K} w_{d,f,k}^{(l')} \mathbf{A}^k \tag{5} Gd,f(l′)=k=1∑Kwd,f,k(l′)Ak(5)

其中wd,f,k(l′)w_{d,f,k}^{(l')}wd,f,k(l′)为可学习系数，用于调节kkk-跳邻域信息的贡献权重；Ak\mathbf{A}^kAk表示邻接矩阵的kkk次幂，其元素(Ak)i,j(\mathbf{A}^k)_{i,j}(Ak)i,j表示从节点jjj到节点iii的长度为kkk的路径数量。

节点iii在第l′l'l′层的第fff个输出特征映射计算如下：
hi,f(l′)=∑d=1DGd,f(l′)a^d+bf=∑k=1K∑d=1Dwd,f,k(l′)Aka^d+bf(6) h_{i,f}^{(l')} = \sum_{d=1}^{D} \mathbf{G}{d,f}^{(l')} \hat{\mathbf{a}}d + b_f = \sum{k=1}^{K} \sum{d=1}^{D} w_{d,f,k}^{(l')} \mathbf{A}^k \hat{\mathbf{a}}_d + b_f \tag{6} hi,f(l′)=d=1∑DGd,f(l′)a^d+bf=k=1∑Kd=1∑Dwd,f,k(l′)Aka^d+bf(6)

其中bfb_fbf为可学习偏置项。完成滤波后，各输出特征图被拼接，形成更新后的节点表示hi(l′)\mathbf{h}_i^{(l')}hi(l′)。

读出层（Readout Layer）

在获得所有节点的最终表示{h1(L′),h2(L′),...,hNv(L′)}\{ \mathbf{h}_1^{(L')}, \mathbf{h}2^{(L')}, \dots, \mathbf{h}{N_v}^{(L')} \}{h1(L′),h2(L′),...,hNv(L′)}后，读出层通过聚合操作生成整个图的流级表示 hg\mathbf{h}_ghg：
hg=Readout(h1(L′),h2(L′),...,hNv(L′))(7) \mathbf{h}_g = \text{Readout}\left( \mathbf{h}_1^{(L')}, \mathbf{h}2^{(L')}, \dots, \mathbf{h}{N_v}^{(L')} \right) \tag{7} hg=Readout(h1(L′),h2(L′),...,hNv(L′))(7)

常见的读出操作包括全局平均池化（global mean pooling）或最大池化（max pooling），用于将变长节点集合压缩为固定维度的图嵌入。

（3）特征融合（Feature Fusion）

最后，我们将字节级流特征 hb\mathbf{h}_bhb（来自 CViT 分支）与流交互特征 hg\mathbf{h}_ghg（来自 TAGCN 分支）进行拼接，形成更全面的综合流表示：
h=[hb, hg]. \mathbf{h} = [\mathbf{h}_b,\ \mathbf{h}_g]. h=[hb, hg].

从流量特征的角度看，字节分支聚焦于包内部的细粒度结构模式 （如协议头部字段、载荷分布），而交互分支则捕获流层面的时序依赖、突发行为及主机间方向关联 。这两种表示具有高度互补性：前者反映流量的内在内容特性 ，后者刻画其外在通信行为。二者的联合不仅增强了特征空间的判别能力，也为后续的开集分类与未知流量聚类提供了更鲁棒、更丰富的语义基础。

以下是对您提供的 Section III-D. Energy-Based Model for Known/Unknown Class Classification 的精准、连贯且学术化的中文翻译，保留所有公式与技术细节，并突出能量模型的设计动机、训练机制与推理逻辑，适用于论文方法章节：

D. 基于能量模型的已知/未知类别分类

在开放世界检测中，未知类别流量的出现不可避免。传统的基于 Softmax 的分类方法虽在已知类别上表现良好，却常常对未知样本输出高置信度预测 ，导致严重误判 [19], [20]。为解决这一问题，我们设计了一个基于能量模型 （Energy-Based Model, EBM）[38], [39] 的模块，通过评估输入特征与类别标签之间的兼容性来区分已知与未知流量。

给定一个流样本x\mathbf{x}x，其在潜在空间中的特征表示为h∈H\mathbf{h} \in \mathcal{H}h∈H，我们的目标是学习一个能量函数 E(h)E(\mathbf{h})E(h)，使得已知类样本被赋予较低能量值，而未知类样本则对应较高能量值 。该能量函数定义为h\mathbf{h}h的亥姆霍兹自由能 （Helmholtz free energy），通过对所有可能类别y′y'y′对应的能量E(h,y′)E(\mathbf{h}, y')E(h,y′)进行边缘化得到：
E(h)=−Tlog⁡∑y′exp⁡(−E(h,y′)T)(8) E(\mathbf{h}) = -T \log \sum_{y'} \exp\left( -\frac{E(\mathbf{h}, y')}{T} \right) \tag{8} E(h)=−Tlogy′∑exp(−TE(h,y′))(8)

其中T>0T > 0T>0为温度参数，用于调节能量尺度；E(h,y′)E(\mathbf{h}, y')E(h,y′)衡量特征h\mathbf{h}h与类别y′y'y′的兼容程度，而E(h)E(\mathbf{h})E(h)则将其聚合为一个整体的能量表示。

能量模型与传统判别式模型存在天然联系 [39]。我们采用一个具有Ck+1C_k + 1Ck+1个输出的判别式分类器g(h)g(\mathbf{h})g(h)，其中前CkC_kCk个输出对应已知类别 ，第Ck+1C_k + 1Ck+1个输出代表所有未知类别的聚合 。该分类器将h\mathbf{h}h映射为Ck+1C_k + 1Ck+1个 logits。随后，利用吉布斯分布 （Gibbs distribution）将能量值转换为类别概率分布，形式上与 Softmax 输出类似：
P(y∣h)=exp⁡(−E(h,y)/T)∑y′exp⁡(−E(h,y′)/T)=exp⁡(−E(h,y)/T)exp⁡(−E(h)/T)=exp⁡(gy(h)/T)∑j=1Ck+1exp⁡(gyj(h)/T)(9) P(y \mid \mathbf{h}) = \frac{\exp(-E(\mathbf{h}, y)/T)}{\sum_{y'} \exp(-E(\mathbf{h}, y')/T)} = \frac{\exp(-E(\mathbf{h}, y)/T)}{\exp(-E(\mathbf{h})/T)} = \frac{\exp(g_y(\mathbf{h})/T)}{\sum_{j=1}^{C_k+1} \exp(g_{y_j}(\mathbf{h})/T)} \tag{9} P(y∣h)=∑y′exp(−E(h,y′)/T)exp(−E(h,y)/T)=exp(−E(h)/T)exp(−E(h,y)/T)=∑j=1Ck+1exp(gyj(h)/T)exp(gy(h)/T)(9)

其中gy(h)g_y(\mathbf{h})gy(h)为类别yyy对应的 logit 值，且满足E(h,y)=−gy(h)E(\mathbf{h}, y) = -g_y(\mathbf{h})E(h,y)=−gy(h)。由此，自由能函数可重写为：
E(h;g)=−Tlog⁡(∑j=1Ck+1exp⁡(gyj(h)T))(10) E(\mathbf{h}; g) = -T \log \left( \sum_{j=1}^{C_k+1} \exp\left( \frac{g_{y_j}(\mathbf{h})}{T} \right) \right) \tag{10} E(h;g)=−Tlog(j=1∑Ck+1exp(Tgyj(h)))(10)

在训练阶段，我们引入一种能量边界正则化机制，以显式塑造已知与未知类在能量空间中的分布。具体而言，损失函数包含两项：

第一项针对带标签的已知类样本 ，强制其能量值低于预设上界mkm_kmk；
第二项将辅助未知类样本 （无标签）视为负例，鼓励其能量值高于下界mum_umu。

该正则化机制促使模型在能量空间中形成清晰且可泛化的已知/未知边界 ，从而不仅有效分离两类样本，还能在测试阶段更好地泛化至训练中从未见过的全新未知类别。

在推理阶段，模型利用所学能量函数E(h;g)E(\mathbf{h}; g)E(h;g)计算每个流的能量值。为设定判别阈值，我们将已知类样本的负能量值 −E(h;g)-E(\mathbf{h}; g)−E(h;g)拟合为 Weibull 分布 [40]（如图 3 所示）。通过与阈值τ\tauτ比较，实现已知/未知判定：
r={arg⁡min⁡y∈YkE(h,y),if −E(h;g)≥τ,U,otherwise.(13) r = \begin{cases} \arg\min_{y \in \mathcal{Y}_k} E(\mathbf{h}, y), & \text{if } -E(\mathbf{h}; g) \geq \tau, \\ U, & \text{otherwise}. \end{cases} \tag{13} r={argminy∈YkE(h,y),U,if −E(h;g)≥τ,otherwise.(13)

若−E(h;g)≥τ-E(\mathbf{h}; g) \geq \tau−E(h;g)≥τ，则将该流分配给能量最小的已知类别；否则，判定为未知类UUU。此处使用−E(h;g)-E(\mathbf{h}; g)−E(h;g)是为了确保更高的分数对应更可能是已知类（即正样本），符合常规检测任务的评分惯例。

✅ 核心优势 ：

相比依赖 Softmax 置信度的方法，能量模型通过显式建模分布外样本的能量分布，避免了"过度自信"问题；结合 Weibull 边界拟合与能量正则化，FEC-OSL 实现了鲁棒、可校准的开集判别能力，为后续未知聚类提供高质量输入。

E. 未知类自适应深度聚类

在开放世界场景中，新型未知类别持续涌现 ，因此为未知流量生成高质量的伪标签至关重要。为此，我们设计了一个自适应深度聚类模块，将深度特征学习与聚类算法深度融合，实现对未知流的动态、细粒度划分。

对于一个被判定为未知的流样本x\mathbf{x}x，首先由双分支特征提取模块生成其初始特征表示。然而，由于能量模型（EBM）可能将未知流错误地映射至辅助的第Ck+1C_k+1Ck+1类（即"未知聚合类"），从而引入特征偏差，我们进一步引入一个轻量级 CNN 对特征进行精细化调整 。整个特征提取网络记为ψθ(⋅)\psi_\theta(\cdot)ψθ(⋅)。

随后，我们部署一个分类器g′(⋅)g'(\cdot)g′(⋅)，其初始类别数CauC_{\text{au}}Cau被设为大于潜在真实未知类别数的值 ，以避免类别数量低估。在初始化阶段，采用聚类算法（如 K-means 或谱聚类）为未知样本分配初始伪标签y~\tilde{y}y~。系统维护两个关键结构：

样本库（sample base）：存储每个未知流的特征及其当前伪标签；
质心库（centroid base）：维护各聚类中心的当前特征表示。

基于此，我们从样本库中获取辅助未知集Dau\mathcal{D}{\text{au}}Dau中样本xau\mathbf{x}{\text{au}}xau的伪标签，并通过最小化以下损失函数来更新特征提取网络参数：
L2=E(x,y~)∼Dau[CE(g′(ψθ(x)),y~)](14) \mathcal{L}2 = \mathbb{E}{(\mathbf{x}, \tilde{y}) \sim \mathcal{D}{\text{au}}} \left[ \text{CE}\left( g'(\psi\theta(\mathbf{x})), \tilde{y} \right) \right] \tag{14} L2=E(x,y~)∼Dau[CE(g′(ψθ(x)),y~)](14)

其中CE(⋅)\text{CE}(\cdot)CE(⋅)表示交叉熵损失。

为确保样本库中特征的平滑演化，避免因网络突变导致伪标签震荡，我们采用动量更新机制 刷新库中存储的特征：
Fβ(x)←β⋅ψθ(x)∥ψθ(x)∥2+(1−β)⋅Fβ(x)(15) F_\beta(\mathbf{x}) \leftarrow \beta \cdot \frac{\psi_\theta(\mathbf{x})}{\|\psi_\theta(\mathbf{x})\|2} + (1 - \beta) \cdot F\beta(\mathbf{x}) \tag{15} Fβ(x)←β⋅∥ψθ(x)∥2ψθ(x)+(1−β)⋅Fβ(x)(15)

其中β∈(0,1]\beta \in (0, 1]β∈(0,1]为动量系数，平衡新旧特征的贡献，提升稳定性。

随后，基于更新后的特征Fβ(x)F_\beta(\mathbf{x})Fβ(x)，重新分配伪标签：将样本指派给最近的聚类中心 ：
y~′=arg⁡min⁡y~∈{1,...,Cau}∥Fβ(x)−cy~∥22(16) \tilde{y}' = \arg\min_{\tilde{y} \in \{1, \dots, C_{\text{au}}\}} \| F_\beta(\mathbf{x}) - \mathbf{c}_{\tilde{y}} \|_2^2 \tag{16} y~′=argy~∈{1,...,Cau}min∥Fβ(x)−cy~∥22(16)

其中cy~\mathbf{c}_{\tilde{y}}cy~表示类别y~\tilde{y}y~的聚类中心特征。

随着训练迭代推进，样本特征表示与伪标签分配被同步优化：错误的特征和标签被逐步修正，未知流内部的细粒度结构逐渐显现，最终实现对新型攻击或应用的自动发现与归类。

F. 端到端训练

在训练过程中，FEC-OSL 采用端到端联合训练策略 ，将已知/未知分类模块 与未知类自适应聚类模块 以交替优化的方式协同训练。双分支特征提取模块作为共享骨干，为两个任务提供一致且信息丰富的流量表征。

整体损失函数定义为：
Ltotal=L1+L2(17) \mathcal{L}_{\text{total}} = \mathcal{L}_1 + \mathcal{L}_2 \tag{17} Ltotal=L1+L2(17)

其中：

L1\mathcal{L}_1L1为已知/未知分类任务的损失，包含交叉熵损失 与基于能量的边界正则化损失；
L2\mathcal{L}_2L2为未知类别的聚类损失（如式 (14) 所示）。

该交替优化策略具有双重作用：

引导已知类特征向低能量区域聚集，降低类内方差；
推动辅助未知类特征向高能量区域分布，扩大已知与未知之间的特征间隔。

同时，聚类模块通过不断优化伪标签并聚合同类特征，增强辅助未知流的类内紧凑性，进一步强化其在能量空间中的可分性。

这种协同优化机制实现了三大目标的统一：提升已知类别的分类精度；增强对全新未知类别的泛化检测能力；实现对辅助未知流的细粒度聚类。

在测试阶段，系统进一步执行增量式未知发现 ：将满足以下条件的样本识别为可信的全新未知流 Dnu\mathcal{D}_{\text{nu}}Dnu：

其能量值位于已知类 Weibull 分布的尾部（p<0.01p < 0.01p<0.01）；
其特征距离处于前 5% 最远尾部；
并在特征空间中形成高密度簇。

这些新发现的样本被合并到原始辅助未知集Dau\mathcal{D}{\text{au}}Dau中，形成更新集合Dau′\mathcal{D}'{\text{au}}Dau′，并周期性用于模型再训练 ，从而持续提升系统对新兴未知流量（如新型恶意软件或加密协议）的适应能力，构建一个闭环演化的智能流量分析系统。

四、实验评估

A. 实验概述

本节对所提出的 FEC-OSL 方法进行了全面评估，涵盖以下五个方面：

（1）在闭集（closed-set）与开集（open-set）场景下与多种基线方法的性能对比；

（2）对概念漂移 （concept drift）的适应能力分析；

（3）关键模块的消融研究 （ablation studies）；

（4）超参数的敏感性分析 ；

（5）模型在真实世界环境中的鲁棒性与泛化能力验证。

B. 实验设置

1) 数据集

我们在三个广泛使用的真实世界基准数据集 上对 FEC-OSL 进行了充分验证：USTC-TFC-2016 [41]、CIC-IDS-2018 [42] 和 ISCX-Tor-2016 [43]。各数据集详情如下：

USTC-TFC-2016 ：由中国科学技术大学（USTC）研究团队发布，包含来自 10 类恶意软件 和 10 类良性应用 的加密流量，覆盖勒索软件、后门、蠕虫等典型威胁。
CIC-IDS-2018 ：由加拿大网络安全研究所（Canadian Institute for Cybersecurity）采集，是入侵检测领域的标准基准，包含正常流量及 6 类恶意流量，如暴力破解（Brute Force）、僵尸网络（Botnet）、拒绝服务攻击（DoS）等。
ISCX-Tor-2016 ：包含通过 Tor 网络 （Onion Router）通信的 16 类应用 流量，如电子邮件（Email）、即时通讯（Chat）、文件传输（FTP）等，具有高度匿名性与协议混淆特性。

由于上述数据集中各类别样本数量存在显著不平衡，我们采用类别平衡采样策略（class-balanced sampling），从每类中均匀抽取相同样本量，以减轻类别不平衡对模型训练与评估的不利影响。

2) 基线方法

为全面评估 FEC-OSL 的性能，我们在闭集与开集两种场景下与 9 种代表性基线方法 进行对比：

闭集场景（传统监督/半监督设定）：
- 监督方法：GraphDApp [35]、Deeppacket [11]、PERT [44]、ET-BERT [45]；
- 无监督方法：Kitsune [26]；
- 半监督方法：FlowPrint [9]。
开集场景（支持未知类识别）：
- CVAE-EVT [22]（基于类条件变分自编码器与极值理论）；
- ECNet [31]（基于能量校准的开集分类器）；
- Trident [17]（多聚类融合框架）。

3) 评估指标

我们采用多维度指标分别衡量不同任务的性能：

已知类别分类性能：准确率（Accuracy, AC）、精确率（Precision, PR）、召回率（Recall, RC）和 F1 分数（F1）；
已知/未知判别能力：ROC 曲线下面积（AUC）；
未知类别聚类质量：调整互信息（Adjusted Mutual Information, AMI），该指标对聚类结果与真实标签的一致性进行归一化评估，且不受类别数量影响。

4) 实现细节

FEC-OSL 使用 Python 3.8.19 与 PyTorch 1.8.1 实现，训练平台配备 NVIDIA GeForce RTX 3090 GPU 。优化器选用 SGD，学习率按模块差异化设置：

双分支特征提取模块与已知/未知分类模块：0.0001；
未知类聚类模块：0.001。

其他关键超参数设置如下：

流头部矩阵列维mhc=20m_h^c = 20mhc=20，载荷矩阵列维mpc=40m_p^c = 40mpc=40；
流交互图节点数Nv=30N_v = 30Nv=30；
能量阈值τ\tauτ通过拟合已知样本的负能量值（−E(h;g)-E(\mathbf{h}; g)−E(h;g)）的 Weibull 分布 确定，并取指定分位数：
- USTC-TFC-2016：0.05 分位数；
- CIC-IDS-2018：0.05 分位数；
- ISCX-Tor-2016：0.10 分位数；
能量正则化权重λ=0.1\lambda = 0.1λ=0.1；
温度参数T=10T = 10T=10，通过在[0.01,100][0.01, 100][0.01,100]范围内以 10 为底的对数网格搜索确定；
能量边界参数：mk=−10m_k = -10mk=−10（已知类上限），mu=−5m_u = -5mu=−5（未知类下限），基于能量分布统计信息通过网格搜索选定；
训练轮次：50 轮 ，批大小（batch size）：64。

✅ 可复现性保障：所有随机种子固定，数据预处理、采样策略与超参数选择均严格记录，确保实验结果可复现。

C. 闭集分类性能评估

为评估 FEC-OSL 在闭集场景 （即所有类别均为已知）下对已知流量类别的分类能力，我们在三个数据集上开展了全类别已知的实验。表 I 对比了 FEC-OSL 与八种现有闭集分类方法的性能，涵盖监督学习 （SUM）、无监督学习 （USM）、半监督学习 （SSM）以及开集学习方法在闭集设定下的表现 （OSM）。结果表明，FEC-OSL 在三个数据集上均取得最优的整体分类性能。

在监督方法中，ET-BERT 表现最为稳定且性能最佳 。然而，其主要依赖数据包载荷（payload）信息，未能充分利用包头 （header），限制了其对流量结构特征的挖掘能力。相比之下，FEC-OSL 融合了包头、载荷及包间交互三重信息，构建了更全面的特征表示。得益于此，FEC-OSL 在三个数据集上分别实现了：

准确率（AC）：提升 1.56%、0.43% 和 1.40%；
F1 分数：提升 1.16%、0.42% 和 1.10%。

无监督方法 Kitsune 仅关注单个数据包的统计特性，忽略了包间的时序与交互关联 ，因此在两个恶意流量数据集（USTC-TFC-2016 与 CIC-IDS-2018）上显著落后于 FEC-OSL。同样，半监督方法 FlowPrint 虽考虑了流级交互行为，但缺乏对原始字节内容的建模，其性能亦弱于 FEC-OSL。

在开集学习方法中，CVAE-EVT 与 ECNet 取得了相对较好的结果，但仍略逊于 FEC-OSL 。Trident 系列方法（包括 AE、RNN 和 GNN 变体）在 CIC-IDS-2018 上表现突出，其中 Trident (RNN) 达到最高准确率，使 FEC-OSL 屈居第二 。然而，Trident (RNN) 的 F1 分数较低，且在 USTC-TFC-2016 和 ISCX-Tor-2016 上性能显著下降，暴露出其在多样化流量环境下的稳定性与泛化能力不足。

相比之下，FEC-OSL 通过联合建模包头语义、载荷结构与交互行为，有效捕获了网络流量中的细粒度判别性细节 。这种多视角融合机制使其能够在不同网络场景与复杂流量特性下保持一致的卓越性能，展现出更强的鲁棒性与适应性。

以下是对您提供的 Section IV-D. Open-Set Classification Evaluation 的精准、结构清晰且学术化的中文翻译，保留所有实验设计细节、性能趋势分析与方法优势论证，适用于论文实验结果章节：

D. 开集分类性能评估

1) 开集流量分类

本节评估 FEC-OSL 在开集流量分类任务 中的性能，旨在模拟并验证其在真实开放网络环境中的适用性。实验在 USTC-TFC-2016 、CIC-IDS-2018 和 ISCX-Tor-2016 三个数据集上进行。

为构建开集条件，我们将所选类别划分为三部分：

带标签的已知类（labeled known classes）；
无标签的辅助未知类（unlabeled auxiliary unknown classes），参与训练但不提供标签；
仅在测试阶段出现的全新未知类（novel unknown classes），用于评估模型泛化能力。

其中，辅助未知类数量占总未知类的一半（向下取整），用于支持能量边界学习与深度聚类；剩余未知类作为"全新未知类"保留至测试阶段。

具体划分策略如下：

USTC-TFC-2016 ：设置多种已知/未知类比例Nk:Nu={16:4, 12:8, 8:12, 4:16}N_k : N_u = \{16:4,\ 12:8,\ 8:12,\ 4:16\}Nk:Nu={16:4, 12:8, 8:12, 4:16}。对每种比例，将NuN_uNu中一半（奇数时向下取整）作为辅助未知类纳入训练，另一半作为全新未知类用于测试。
CIC-IDS-2018 ：比例设为Nk:Nu={5:2, 4:3, 3:4, 2:5}N_k : N_u = \{5:2,\ 4:3,\ 3:4,\ 2:5\}Nk:Nu={5:2, 4:3, 3:4, 2:5}；
ISCX-Tor-2016 ：比例设为Nk:Nu={6:2, 4:4, 2:6}N_k : N_u = \{6:2,\ 4:4,\ 2:6\}Nk:Nu={6:2, 4:4, 2:6}。

在上述设定下，我们与多种开集学习方法进行对比，重点评估三大核心任务的性能指标：

已知/未知判别：AUC；
已知类分类：F1 分数；
未知类聚类：调整互信息（AMI）。

图 4--6 展示了 FEC-OSL 与基线方法（如 CVAE-EVT、ECNet 及 Trident 系列）在三个数据集上的性能对比。值得注意的是，CVAE-EVT 与 ECNet 不具备未知类聚类能力，因此在 AMI 指标上无法参与比较。

（1）已知/未知判别能力（AUC）

如图 4(a)、5(a)、6(a) 所示，FEC-OSL 在所有比例设置下均保持高 AUC 值 。尤其在"低开放度"场景（即已知类占比较高）下，AUC 接近 1，表明其能精准区分已知与未知流量 。更重要的是，当未知类比例上升时，FEC-OSL 的 AUC 下降幅度显著小于其他方法。

例如，在 USTC-TFC-2016 上，当Nk:Nu=4:16N_k:N_u = 4:16Nk:Nu=4:16（高度开放）时，FEC-OSL 仍维持高 AUC，而 CVAE-EVT 与 Trident 系列（AE/RNN/GNN）的 AUC 急剧跌至约 80%。这充分说明：FEC-OSL 在高度开放环境中仍具备卓越的判别鲁棒性，为其后续的分类与聚类任务奠定了坚实基础。

（2）已知类分类性能（F1 分数）

F1 分数综合反映已知类别的分类质量。从图 4(b)、5(b)、6(b) 可见，FEC-OSL 在所有比例下均显著优于基线方法 。这一优势源于 AUC 与 F1 的强相关性：更高的 AUC 意味着模型更少将未知流误判为已知类，从而直接提升已知类的查准率与查全率，进而提高 F1 分数。

尽管随着未知类比例增加，F1 分数略有下降，但 FEC-OSL 的衰减幅度远小于其他方法。这表明：即使在高度开放场景中，FEC-OSL 仍能对已知流量进行准确、可靠的分类，验证了其开集判别能力对分类任务的正向促进作用。

（3）未知类聚类性能（AMI）

如图 4©、5©、6© 所示，虽然所有方法的 AMI 均随开放度提升而下降（因未知类增多、结构更复杂），但 FEC-OSL 始终显著领先 。这说明其自适应深度聚类模块能更有效地捕捉未知类之间的细微差异，实现高质量的细粒度划分。

（4）总结

综合三项任务的评估结果，FEC-OSL 在开集流量分类中展现出卓越的有效性与鲁棒性：

在不同已知/未知类比例下，AUC、F1 与 AMI 均持续优于现有方法；
性能稳定性强，尤其在高度开放场景中优势更为突出；
多任务协同机制（能量判别 + 自适应聚类 + 双分支特征）有效应对了加密恶意流量检测在开放世界中的核心挑战。

这些结果有力验证了所提方法在真实动态网络环境中的实用价值与先进性。

2) 特征空间可视化与特征级可解释性分析

为验证 FEC-OSL 中双分支设计的判别能力，我们在 USTC-TFC2016 数据集上（已知/未知类比例为 12:8）对特征分布进行可视化。如图 7 所示：

训练前，各类流量的特征高度混杂，缺乏清晰边界；
训练后 ，已知类流量形成紧凑、低方差的聚类簇 ，而辅助未知类流量则分布在与已知簇明显分离的独立高密度区域。

这一现象表明，模型在联合优化过程中成功学习到了一个具有强判别性的特征空间 。在测试阶段，大多数全新未知流量 （图中紫色点）落入此前由辅助未知类占据的区域，并始终保持与已知类簇的清晰分隔 。这进一步证实：通过分类与聚类任务的协同训练，FEC-OSL 所学特征空间具备优异的开放世界泛化能力。

为进一步从特征层面解释这一机制，我们选取两类典型流量进行细粒度分析：微博（Weibo，已知类）与 Zeus 恶意软件（Zeus，辅助未知类），并从每类中随机抽取两个流样本。

字节分支的注意力可视化 ：

通过 Attention Rollout 方法（聚合多层注意力权重并反向映射至原始包头字节矩阵），生成字节分支的注意力热力图（见图 8）。结果表明：

对于 Weibo 流量 ，模型主要关注稳定的协议字段，如 TCP 窗口大小（Window Size）；
而对于 Zeus 流量 ，模型则聚焦于高度可变的控制字段，如 TCP 标志位（Flags）及与 SYN 握手相关的选项。

这说明 FEC-OSL 能够在字节级别自动识别结构性差异，从而区分正常应用与恶意行为。

交互分支的特征重要性分析 ：

我们进一步采用 SHAP （SHapley Additive exPlanations）方法，量化流交互特征对分类决策的贡献。排名前六的关键特征包括：方向-长度组合 （direction-length）、时间戳 （timestamp）、突发内包数 、突发内字节数 、相邻突发包数比 和 字节比。其中，方向以 ±1 编码，与长度结合以捕捉传输方向与负载规模的联合语义。

图 9 展示了 Weibo 与 Zeus 流量在这些特征上的 SHAP 重要性分布：

Weibo 主要依赖"方向-长度"和"突发内字节数"，反映其典型的客户端请求--服务器响应模式及稳定的数据块传输；
Zeus 则更关注"时间戳"和"方向-长度"，体现其心跳式通信或命令控制（C2）信道中精确的时间调度与不对称交互。

综上，字节分支捕获流量的细粒度结构模式 （如协议字段稳定性），而交互分支建模高层通信行为 （如时序、突发性与方向性）。二者的互补性 使 FEC-OSL 能够学习到既可解释又具判别力的联合表征，从而在开放世界场景中有效分离已知与未知流量，为模型的高精度与鲁棒性提供了内在机理解释。

E. 概念漂移评估

在网络流量分类任务中，概念漂移 （concept drift）通常表现为攻击策略、工具或流量特征的演化，导致训练与测试数据的特征分布出现偏移。为评估 FEC-OSL 在此类动态环境下的鲁棒性，我们在 CIC-IDS-2018 数据集上开展实验。

我们构建了一个新数据集 CIC-IDS-2018-new，通过重新划分训练集与测试集以模拟真实世界中的概念漂移：

良性流量来自不同日期；
同类攻击使用不同工具生成，并分配至不同集合。

例如，训练集中的 DDoS 流量由 LOIC 工具发起 HTTP 攻击 ，而测试集中的 DDoS 流量则由 LOIC 发起 UDP 攻击。详细的数据划分见表 II。

我们在闭集场景 （原始 CIC-IDS-2018）和概念漂移场景 （CIC-IDS-2018-new）下分别进行实验，结果如图 10 所示。尽管在概念漂移条件下性能有所下降，FEC-OSL 仍保持优异表现：

F1 分数接近 90%；
准确率、精确率与召回率均超过 90%。

这表明，即使面对新型攻击工具与流量模式，模型仍能通过已知类别的细粒度特征 ，学习到可迁移且泛化性强的表征，从而将漂移样本关联至最相似的已知类别，有效避免严重误判。

F. 消融研究

为量化各关键组件对整体性能的贡献，我们在 USTC-TFC-2016 数据集上设计并开展了消融实验，涵盖闭集与开集（已知/未知类比例为 16:4）两种场景。具体配置如下：

w/o BFE ：移除字节级流特征提取分支（Byte-level Flow Extraction）；
- 进一步细粒度消融：
  - w/o header：仅使用载荷特征，移除包头信息；
  - w/o payload：仅使用包头特征，移除载荷信息；
w/o FIE：移除流交互特征提取分支（Flow Interaction Extraction）；
w/ Softmax：将基于能量的分类器替换为传统 Softmax 分类器。

1) 闭集场景结果（见表 III）

完整版 FEC-OSL 性能最优，验证了多组件融合的有效性：

移除 BFE 分支 导致 F1 下降 1.80%，凸显其在加密流量中捕获细粒度模式的能力；
移除 包头特征 引发最大性能损失（−2.61%），表明结构化头部信息（如端口、标志位、窗口大小）对分类至关重要；
移除 载荷特征 仅造成较小下降（−1.52%），说明在加密场景下，原始载荷信息价值有限，甚至可能引入噪声；
移除 FIE 分支 导致 F1 降低 2.29%，再次证实包间交互行为（如突发、时序、方向）的关键作用。

✅ 结论：字节级特征与交互特征具有强互补性，联合建模显著提升分类精度。

2) 开集场景结果（见表 IV）

在开集设定下，我们进一步评估 EBM 分类器 的必要性。表 IV 中指标分别对应三项任务：

Kn/Unk：已知/未知判别（AUC）；
Kn：已知类分类（F1）；
Unk：未知类聚类（AMI）。

关键发现如下：

移除 BFE 或 FIE 使 AUC 从 99.13% 骤降至 86.42% 和 80.35%，证明二者对区分已知/未知流量至关重要；
包头特征对判别能力的贡献显著高于载荷特征。

为深入验证 EBM 的优势，我们将分类头替换为 Softmax 置信度分类器 ，并在Ck+1C_k + 1Ck+1类设定下模拟开集任务。结果显示：

Softmax 方法的 AUC 仅为 89.65%；
如图 11 所示，Softmax 对已知类输出高置信度 （0.8--1.0），但未知类置信度分布与其存在显著重叠，极易将未知流量误判为已知类；
相比之下，EBM 能清晰分离已知与未知的能量分布，边界明确、重叠极少。

✅ 核心洞见 ：

Softmax 的归一化机制在开集场景中存在固有缺陷 ------它强制所有输入分配高置信度，无法可靠拒识未见类别；而 EBM 通过显式建模全局能量分布差异，实现了对未知流量的鲁棒识别，显著提升了开放世界下的泛化能力。

综合结论

消融实验与概念漂移评估共同验证了 FEC-OSL 的三大设计支柱：

双分支特征提取（字节 + 交互）提供互补、细粒度的判别信号；
能量模型（EBM）克服 Softmax 的过度自信问题，实现可靠开集判别；
联合优化框架赋予模型对动态网络环境（如攻击演化、协议变更）的强大适应力。

这些特性使 FEC-OSL 在真实、开放且不断演化的网络环境中具备显著优势。

以下是对您提供的 Section IV-G. Sensitivity Analysis 的精准、结构清晰且学术化的中文翻译，保留所有实验细节、参数影响趋势与最优配置选择依据，适用于论文实验分析章节：

G. 超参数敏感性分析

为系统评估超参数对 FEC-OSL 性能的影响，我们在 USTC-TFC-2016 数据集上开展了深入的敏感性分析。重点考察以下五个关键参数：

流头部矩阵维度mhcm_h^cmhc与载荷矩阵维度mpcm_p^cmpc；
流交互图节点数NvN_vNv；
能量阈值τ\tauτ；
温度参数TTT；
能量边界参数mkm_kmk与mum_umu。

1) 流头部/载荷矩阵维度

在双分支特征提取模块中，我们评估不同矩阵尺寸对模型性能的影响。

头部矩阵维度mhcm_h^cmhc （图 12(a)）：

当尺寸过小（如10×1010 \times 1010×10）时，因信息表达不足导致轻微性能下降；

尺寸增至20×2020 \times 2020×20时，F1 分数显著提升至 99.59% ；

继续增大后性能趋于稳定，波动极小。

→ 结论：mhc=20m_h^c = 20mhc=20已能充分表征包头结构，更大尺寸仅引入冗余。
载荷矩阵维度mpcm_p^cmpc （图 12(b)）：

随尺寸从20×2020 \times 2020×20增至50×5050 \times 5050×50，性能总体呈上升趋势，并在40×4040 \times 4040×40处达到峰值。

→ 结论：综合考虑性能增益与计算开销，选定mpc=40m_p^c = 40mpc=40。

2) 流交互图节点数NvN_vNv

当NvN_vNv过低（如 10 或 20）时，因无法捕获足够交互上下文，性能略降；
Nv=30N_v = 30Nv=30时性能最优；
继续增至 40 时，性能反而下降，可能因引入噪声或稀疏连接。

→ 结论：Nv=30N_v = 30Nv=30是平衡信息完整性与图结构质量的最佳配置。

3) 能量阈值τ\tauτ

在已知/未知类比例为 16:4 的设定下，我们通过调整 Weibull 分布的分位数水平 来设定τ\tauτ。结果如图 12(d) 所示：

当分位数较低（如 0.1--0.5）时，AUC 与 F1 均保持高且稳定；
分位数超过 0.5 后，性能逐渐下降。

→ 结论：较低分位数 （如 0.1），因此最终采用 0.1 分位数 确定τ\tauτ。

4) 温度参数TTT

温度参数TTT用于平滑 logits 输出并调节能量函数的敏感度。我们在对数尺度上进行网格搜索，候选集为{0.01,0.1,1.0,10,100}\{0.01, 0.1, 1.0, 10, 100\}{0.01,0.1,1.0,10,100}，以 AUC 为指标选择最优值。

如图 12(e) 所示，当T=10T = 10T=10时，已知/未知类的能量分离效果最佳 。

→ 结论：选定T=10T = 10T=10作为最终配置。

5) 能量边界参数mkm_kmk与mum_umu

-mkm_kmk：已知类能量的上界；

-mum_umu：未知类能量的下界。

我们基于训练集中已知类与辅助未知类的平均能量构建候选集：

-mk∈{−8,−10,−12,−14,−16}m_k \in \{-8, -10, -12, -14, -16\}mk∈{−8,−10,−12,−14,−16}（向下偏移步长为 2）；

-mu∈{−7,−6,−5,−4,−3}m_u \in \{-7, -6, -5, -4, -3\}mu∈{−7,−6,−5,−4,−3}（向上偏移步长为 1）。

为确保两类能量分布存在清晰间隔，施加约束mu>mkm_u > m_kmu>mk。实验结果（图 13）表明：

当能量边界间距∣mu−mk∣∈[5,7]|m_u - m_k| \in [5, 7]∣mu−mk∣∈[5,7]时，AUC 普遍较高；
最优组合为mk=−10m_k = -10mk=−10,mu=−5m_u = -5mu=−5，此时已知与未知类的能量分布分离最显著。

→ 结论：采用mk=−10m_k = -10mk=−10、mu=−5m_u = -5mu=−5作为能量正则化边界。

敏感性分析表明，FEC-OSL 在合理参数范围内具有良好的鲁棒性 ，且各组件对超参数的选择具备明确的物理意义与性能拐点。所选默认配置（mhc=20m_h^c=20mhc=20,mpc=40m_p^c=40mpc=40,Nv=30N_v=30Nv=30,τ\tauτ取 0.1 分位数,T=10T=10T=10,mk=−10m_k=-10mk=−10,mu=−5m_u=-5mu=−5）均经过系统验证，为模型在开放世界流量分类任务中的优异表现提供了坚实支撑。

五、讨论

本节从特征可分性 、模型可扩展性与鲁棒性 以及方法局限性三个方面对 FEC-OSL 框架进行深入分析与讨论。

A. 特征表示与类别可分性

在开放世界中实现有效的加密流量分类，关键在于构建一个已知类与未知类清晰可分的特征空间 。FEC-OSL 采用双分支特征提取器 ，同时捕获字节级结构特征 与流间交互特征：

卷积增强的 Transformer 建模细粒度协议字段模式（如 TCP 标志、窗口大小）；
流交互图 通过图卷积捕捉时序依赖与传输方向性。

这两类特征具有强互补性 ，并在分类损失与聚类损失的联合监督下，有效促进类内紧凑性 与类间分离性。这种表征机制不仅提升了已知类别的分类精度，也为未知类别的细粒度聚类奠定了基础。

B. 可扩展性与鲁棒性

双分支模块中的字节矩阵 与交互图 均采用固定维度设计 ，确保单流计算开销恒定，整体推理成本随流量规模线性增长 ，具备良好的可扩展性，适用于大规模网络环境。

此外，在概念漂移实验中，FEC-OSL 表现出稳定的性能，验证了其对动态变化的流量模式（如攻击工具更新、通信行为演化）具有较强的适应能力与现实部署鲁棒性。

C. 局限性与未来工作

当前 FEC-OSL 仅利用每条流的前 30 个数据包 提取字节级特征，可能遗漏后期才显现的攻击行为 （如慢速渗透或延迟触发恶意载荷）。未来可探索变长输入建模 或上下文感知的流表示机制 。

此外，双分支特征提取与自适应聚类过程引入了一定的计算开销 ，在低延迟或资源受限场景（如边缘设备）中可能受限。后续工作可研究轻量化替代架构（如知识蒸馏、稀疏注意力）或近似计算策略，以降低整体计算负担。

六、结论

本文提出了一种面向开集场景的端到端多任务加密流量分类方法------FEC-OSL ，旨在实现对已知流量的精细分类 与未知流量的自动发现与细分。该方法包含三个核心创新：

双分支流特征提取模块：联合建模字节级结构信息与流间交互行为，捕获流量中的细粒度判别特征；
基于能量的开集识别机制：将流量映射至能量空间，通过能量边界学习，精准区分已知与未知类别；
自适应深度聚类模块：将特征学习与聚类优化相结合，实现对未知流量的进一步细粒度划分。

在多个主流基准数据集上的大量实验表明，FEC-OSL 在已知类分类 、未知类检测 与未知类聚类三项任务上均显著优于现有方法。

展望未来，我们将探索测试时训练 （test-time training）或在线自适应学习 机制，使模型能在推理阶段动态调整参数，从而更有效地应对完全新颖且不断演化的未知流量模式 （如新型APT攻击或零日漏洞利用）。最终，本研究致力于为网络安全领域提供更可靠、更灵活、更具前瞻性的智能流量分析解决方案。

参考文献

$1\] F. Santoso and A. Finn, "An in-depth examination of artificial intelligence-enhanced cybersecurity in robotics, autonomous systems, and critical infrastructures," *IEEE Trans. Services Comput.* , vol. 17, no. 3, pp. 1293--1310, May 2024. \[2\] E. Papadogiannaki and S. Ioannidis, "A survey on encrypted network traffic analysis applications, techniques, and countermeasures," *ACM Comput. Surv.* , vol. 54, no. 6, pp. 1--35, Jul. 2022. \[3\] S. Rezaei and X. Liu, "Deep learning for encrypted traffic classification: An overview," *IEEE Commun. Mag.* , vol. 57, no. 5, pp. 76--81, May 2019. \[4\] M. Shen, M. Wei, L. Zhu, and M. Wang, "Classification of encrypted traffic with second-order Markov chains and application attribute bigrams," *IEEE Trans. Inf. Forensics Security* , vol. 12, no. 8, pp. 1830--1843, Aug. 2017. \[5\] Z. Ling, J. Luo, K. Wu, W. Yu, and X. Fu, "TorWard: Discovery of malicious traffic over tor," in *Proc. IEEE Conf. Comput. Commun. (INFOCOM)* , Apr. 2014, pp. 1402--1410. \[6\] N. Hua, H. Song, and T. V. Lakshman, "Variable-stride multi-pattern matching for scalable deep packet inspection," in *Proc. IEEE Conf. Comput. Commun. (INFOCOM)* , Apr. 2009, pp. 415--423. \[7\] Zscaler ThreatLabz. (Dec. 2023). *2023 State of Encrypted Attacks Report* . Zscaler. \[Online\]. Available: https://www.zscaler.com/resources/industry-reports/threatlabz-2023-state-of-encrypted-attacks-report.pdf \[8\] R. R. Jagat, D. S. Sisodia, and P. Singh, "Detecting web attacks from HTTP weblogs using variational LSTM autoencoder deviation network," *IEEE Trans. Services Comput.* , vol. 17, no. 5, pp. 2210--2222, Sep. 2024. \[9\] T. van Ede et al., "FlowPrint: Semi-supervised mobile-app fingerprinting on encrypted network traffic," in *Proc. Netw. Distrib. Syst. Secur. Symp. (NDSS)* , Feb. 2020, pp. 1--18. \[10\] X. Hu, W. Gao, G. Cheng, R. Li, Y. Zhou, and H. Wu, "Toward early and accurate network intrusion detection using graph embedding," *IEEE Trans. Inf. Forensics Security* , vol. 18, pp. 5817--5831, 2023. \[11\] M. Lotfollahi, M. J. Siavoshani, R. S. H. Zade, and M. Saberian, "Deep packet: A novel approach for encrypted traffic classification using deep learning," *Soft Comput.* , vol. 24, no. 3, pp. 1999--2012, Feb. 2020. \[12\] Y. Yue, X. Chen, Z. Han, X. Zeng, and Y. Zhu, "Contrastive learning enhanced intrusion detection," *IEEE Trans. Netw. Service Manage.* , vol. 19, no. 4, pp. 4232--4247, Dec. 2022. \[13\] E. M. Rudd, A. Rozsa, M. Gunther, and T. E. Boult, "A survey of stealth malware attacks, mitigation measures, and steps toward autonomous open world solutions," *IEEE Commun. Surveys Tuts.* , vol. 19, no. 2, pp. 1145--1172, 2017. \[14\] W. J. Scheirer, A. de Rezende Rocha, A. Sapkota, and T. E. Boult, "Toward open set recognition," *IEEE Trans. Pattern Anal. Mach. Intell.* , vol. 35, no. 7, pp. 1757--1772, Jul. 2013. \[15\] J. Jia and P. K. Chan, "Representation learning with function call graph transformations for malware open set recognition," in *Proc. Int. Joint Conf. Neural Netw. (IJCNN)* , Jul. 2022, pp. 1--8. \[16\] S. Dang, Z. Cao, Z. Cui, Y. Pi, and N. Liu, "Open set incremental learning for automatic target recognition," *IEEE Trans. Geosci. Remote Sens.* , vol. 57, no. 7, pp. 4445--4456, Jul. 2019. \[17\] Z. Zhao, Z. Li, Z. Song, W. Li, and F. Zhang, "Trident: A universal framework for fine-grained and class-incremental unknown traffic detection," in *Proc. ACM Web Conf.* , May 2024, pp. 1608--1619. \[18\] S.-J. Xu, G.-G. Geng, X.-B. Jin, D.-J. Liu, and J. Weng, "Seeing traffic paths: Encrypted traffic classification with path signature features," *IEEE Trans. Inf. Forensics Security* , vol. 17, pp. 2166--2181, 2022. \[19\] H. Jiang, B. Kim, M. Y. Guan, and M. R. Gupta, "To trust or not to trust a classifier," in *Proc. Adv. Neural Inf. Process. Syst. (NeurIPS)* , 2018, pp. 5546--5557. \[20\] D. Hendrycks, "A baseline for detecting misclassified and out-of-distribution examples in neural networks," in *Proc. Int. Conf. Learn. Represent. (ICLR)* , Apr. 2017, pp. 1--12. \[21\] J. Zhang, F. Li, F. Ye, and H. Wu, "Autonomous unknown-application filtering and labeling for DL-based traffic classifier update," in *Proc. IEEE Conf. Comput. Commun. (INFOCOM)* , Jul. 2020, pp. 397--405. \[22\] J. Yang, X. Chen, S. Chen, X. Jiang, and X. Tan, "Conditional variational auto-encoder and extreme value theory aided two-stage learning approach for intelligent fine-grained known/unknown intrusion detection," *IEEE Trans. Inf. Forensics Security* , vol. 16, pp. 3538--3553, 2021. \[23\] M. Ester, H. Kriegel, J. Sander, and X. Xu, "A density-based algorithm for discovering clusters in large spatial databases with noise," in *Proc. 2nd Int. Conf. Knowl. Discovery Data Mining (KDD)* , 1996, pp. 226--231. \[24\] A. M. Ikotun, A. E. Ezugwu, L. Abualigah, B. Abuhaija, and J. Heming, "K-means clustering algorithms: A comprehensive review, variants analysis, and advances in the era of big data," *Inf. Sci.* , vol. 622, pp. 178--210, Apr. 2023. \[25\] Q. Zhou, L. Wang, H. Zhu, T. Lu, and V. S. Sheng, "WF-transformer: Learning temporal features for accurate anonymous traffic identification by using transformer networks," *IEEE Trans. Inf. Forensics Security* , vol. 19, pp. 30--43, 2024. \[26\] Y. Mirsky, T. Doitshman, Y. Elovici, and A. Shabtai, "Kitsune: An ensemble of autoencoders for online network intrusion detection," in *Proc. Netw. Distrib. Syst. Secur. Symp. (NDSS)* , Feb. 2018, pp. 1--15. \[27\] L. Yang et al., "CADE: Detecting and explaining concept drift samples for security applications," in *Proc. 30th USENIX Secur. Symp. (USENIX Secur.)* , Aug. 2021, pp. 2327--2344. \[28\] X. Han et al., "ContraMTD: An unsupervised malicious network traffic detection method based on contrastive learning," in *Proc. ACM Web Conf.* , May 2024, pp. 1680--1689. \[29\] X. Han et al., "DE-GNN: Dual embedding with graph neural network for fine-grained encrypted traffic classification," *Comput. Netw.* , vol. 245, May 2024, Art. no. 110372. \[30\] H. Zhang et al., "TFE-GNN: A temporal fusion encoder using graph neural networks for fine-grained encrypted traffic classification," in *Proc. ACM Web Conf.* , Apr. 2023, pp. 2066--2075. \[31\] X. Han, S. Liu, J. Liu, B. Jiang, Z. Lu, and B. Liu, "ECNet: Robust malicious network traffic detection with multi-view feature and confidence mechanism," *IEEE Trans. Inf. Forensics Security* , vol. 19, pp. 6871--6885, 2024. \[32\] A. Dosovitskiy et al., "An image is worth 16x16 words: Transformers for image recognition at scale," in *Proc. Int. Conf. Learn. Represent. (ICLR)* , May 2021, pp. 1--22. \[33\] A. Vaswani et al., "Attention is all you need," in *Proc. Adv. Neural Inf. Process. Syst. (NeurIPS)* , vol. 30, 2025, pp. 5998--6008. \[34\] Y.-H. Cao, H. Yu, and J. Wu, "Training vision transformers with only 2040 images," in *Proc. Eur. Conf. Comput. Vis. (ECCV)* , 2022, pp. 220--237. \[35\] M. Shen, J. Zhang, L. Zhu, K. Xu, and X. Du, "Accurate decentralized application identification via encrypted traffic analysis using graph neural networks," *IEEE Trans. Inf. Forensics Security* , vol. 16, pp. 2367--2380, 2021. \[36\] M. Shen, Y. Liu, L. Zhu, X. Du, and J. Hu, "Fine-grained webpage fingerprinting using only packet length information of encrypted traffic," *IEEE Trans. Inf. Forensics Security* , vol. 16, pp. 2046--2059, 2021. \[37\] J. Du, S. Zhang, G. Wu, J. M. F. Moura, and S. Kar, "Topology adaptive graph convolutional networks," in *Proc. Int. Conf. Learn. Represent. (ICLR)* , 2017, pp. 1--13. \[38\] W. Grathwohl et al., "Your classifier is secretly an energy-based model and you should treat it like one," in *Proc. Int. Conf. Learn. Represent. (ICLR)* , Apr. 2020, pp. 1--23. \[39\] R. Peng, H. Zou, H. Wang, Z. YaWen, Z. Huang, and J. Zhao, "Energy-based automated model evaluation," in *Proc. Int. Conf. Learn. Represent. (ICLR)* , May 2024, pp. 1--39. \[40\] C. Lai, D. N. P. Murthy, and M. Xie, "Weibull distributions and their applications," in *Springer Handbooks* . Cham, Switzerland: Springer, 2006, pp. 63--78. \[41\] W. Wang, M. Zhu, X. Zeng, X. Ye, and Y. Sheng, "Malware traffic classification using convolutional neural network for representation learning," in *Proc. Int. Conf. Inf. Netw. (ICOIN)* , Jan. 2017, pp. 712--717. \[42\] Canadian Institute for Cybersecurity. (2018). *CSE-CIC-IDS2018 on AWS* . Canadian Institute for Cybersecurity. \[Online\]. Available: https://www.unb.ca/cic/datasets/ids-2018.html \[43\] A. H. Lashkari, G. D. Gil, M. S. I. Mamun, and A. A. Ghorbani, "Characterization of Tor traffic using time based features," in *Proc. 3rd Int. Conf. Inf. Syst. Secur. Privacy (ICISSP)* , Feb. 2017, pp. 253--262. \[44\] H. Y. He, Z. Guo Yang, and X. N. Chen, "PERT: Payload encoding representation from transformer for encrypted traffic classification," in *Proc. ITU Kaleidoscope, Ind.-Driven Digit. Transformation (ITU K)* , Dec. 2020, pp. 1--8. \[45\] X. Lin, G. Xiong, G. Gou, Z. Li, J. Shi, and J. Yu, "ET-BERT: A contextualized datagram representation with pre-training transformers for encrypted traffic classification," in *Proc. ACM Web Conf.*, Apr. 2022, pp. 633--642.$