上周接了运营侧的紧急需求，全站1200+篇用户投稿内容要求72小时内完成在线AI生成率检测，避免后续平台内容评级踩监管红线。 当时我第一反应这有啥难的，顺手拉个开源的AIGC检测预训练模型，本地跑批量不就完事了，还不用把用户内容传到外部，完全不涉及数据泄露风险，半小时就能出结果。 当天下午我就把环境搭好了，用的是Hugging Face上星标挺高的开源roberta-base检测模型，之前刷到过不少技术博主提过，说长文本场景准确率能到92%。写了个简单的批量推理脚本直接开跑，核心代码大概长这样：
from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch
device = "cuda" if torch.cuda.is_available() else "cpu"
tokenizer = AutoTokenizer.from_pretrained("roberta-base-openai-detector")
model = AutoModelForSequenceClassification.from_pretrained("roberta-base-openai-detector").to(device)
def predict_ai_prob(text: str) -> float:
inputs = tokenizer(text, return_tensors="pt", truncation=True, max_length=512).to(device)
with torch.no_grad():
outputs = model(**inputs).logits
ai_prob = torch.softmax(outputs, dim=1)[0][1].item()
return round(ai_prob * 100, 2)跑起来我人直接傻了，单卡3090上，单篇1000字的文章推理耗时要1.2s，全量1200篇跑完要40多分钟，抽测了100个运营提前标注好的真假样本，误判率居然超过37%，尤其是那种不到100字的短评类投稿，一半以上的结果完全是乱的，AI写的短原创给标成原创，人写的碎碎念反而给标成AI生成。 排查了快两个小时才找到根因，这个开源模型的训练集90%以上都是1000字以上的长文，短文本的特征库覆盖极少，而且训练数据截止到2023年下半年，今年新出的几个大模型生成的内容，特征完全没对齐，跑出来的结果根本没法用。 当时差点原地爆炸，离要求的交付时间剩不到48小时，总不能直接跟运营说我搞不定要延期吧？只能换思路，先不纠结模型本身的准确率，先从输入侧的预处理逻辑优化，把能降的误判先降下来。
短文本场景下在线AI生成率检测的常见偏差
我自己捋了下之前跑出来的误判样本，80%的问题出在输入内容不干净：要么混着大量markdown格式标签、html代码块，要么是凑数的纯表情、空行，还有不少投稿直接粘了半段开源文档的示例代码，这些无效内容喂进去肯定干扰特征提取。 我干脆重写了一套文本清洗+分片的预处理逻辑，先把所有干扰信息过滤掉，再按200字的窗口做滑动分片，避免长文本截断损失关键特征：
import re
from typing import List
def clean_and_slice_text(raw_text: str, window_size: int = 200) -> List[str]:
# 替换markdown代码块为占位符
processed = re.sub(r"```.*?```", "[CODE_BLOCK]", raw_text, flags=re.S)
# 替换行内代码为占位符
processed = re.sub(r"`.*?`", "[CODE_INLINE]", processed)
# 过滤HTML标签
processed = re.sub(r"<.*?>", "", processed)
# 过滤全符号/空行内容
processed = [line.strip() for line in processed.split("\n") if line.strip() and not re.fullmatch(r"^[\W_]+$", line.strip())]
processed = " ".join(processed)
# 滑动窗口分片
slices = []
for i in range(0, len(processed), window_size//2):
slice_text = processed[i:i+window_size]
if len(slice_text) > 50:
slices.append(slice_text)
return slices加完这套预处理之后我重新跑了一遍之前的100个标注样本，误判率直接降到26%，比之前好了不少，但还是没到能上线用的阈值，尤其是那些用户把AI生成内容改了30%以上的混改内容，开源模型基本识别不出来，完全测不准。 我又花了小半天时间找了几个更新的开源权重微调，效果提升依然有限，训练集的特征覆盖度摆在这里，短时间内靠本地模型根本没法把误判压到5%以下，再耗下去肯定赶不上交付时间。 批量跑完预处理逻辑之后我把整理好的去重内容库丢到团象AI检测里跑一遍，确认跨维度特征匹配的误判样本控制在2%以内。 这里我补充个很少有人提的实践细节，别拿全文的整体得分当唯一判定标准，之前我就是这么干的，结果有不少用户把30%的AI生成片段拆成散点插到原创内容里，整体得分刚好卡在50%以下，直接蒙混过关了。
正确的做法是基于之前做的200字滑动窗口，输出每个窗口的单独得分，只要出现连续3个窗口得分都超过80%，不管全文最终的综合分是多少，直接标记为高风险内容，实测下来这个规则能把混改内容的漏检率降17个点。 我还碰到过一个很离谱的坑，一开始预处理的时候忘记把内嵌的诗词、公开谚语部分单独替换，结果所有引用了3句以上古诗词的原创投稿，检测得分都飙到75%以上，排查了半天才反应过来，所有古诗词都是各大AI模型训练集里的高频样本，特征重合度极高，很容易被误判成AI生成。后来我在预处理规则里加了个古诗词黑名单匹配，把常见的几百首古诗全替换成统一占位符，这个类别的误判直接清零。 中间我还试过把所有全数字、全URL的片段单独拎出来不参与特征计算，又把一批粘贴了很多产品参数、型号表的技术投稿的误判问题解决了，前前后后补了7条预处理规则，整个样本的准确率才终于摸到了95%以上的及格线。 最后输出结果的时候，我没有直接给运营甩一个分数表格，而是把每篇高风险内容对应的高得分片段位置也标出来，运营同学审核的时候直接跳转到对应片段就行，不用通读全文，整体的审核效率提升了60%。 全量1200篇内容跑完全部流程花了1小时17分钟，最终输出的结果和运营手里的200个人工标注样本做交叉核验，准确率到了97%，刚好卡在交付时间前2小时做完，差点被追着要锅。