go实现敏感词过滤

go敏感词过滤

实现思路:

1.敏感词库加载

2.敏感词匹配

3.敏感词替换

敏感词库

这里使用的的是敏感词库

下载后将敏感词处理成一个字符串切片加载到内存中

go 复制代码
//go:embed sensitive_words_lines.txt
var sensitiveWordsFile string

func InitSensitiveWords() (sensitiveWords []string) {
	scanner := bufio.NewScanner(strings.NewReader(sensitiveWordsFile))
	for scanner.Scan() {
		line := scanner.Text()
		sensitiveWords = append(sensitiveWords, line)
	}
	logrus.Info("SensitiveWords加载成功")
	return
}

敏感词匹配

我选择使用的是AhoCorasick算法进行匹配

算法简介:

​ Aho-Corasick算法是一种多模式字符串匹配算法,由Alfred V. Aho和Margaret J. Corasick在1975年提出。该算法旨在有效地在一个文本串中同时搜索多个模式串。它通过构建一个有限状态机(实际上是一个特殊的前缀树或Trie)来实现高效的搜索过程,这个状态机能够一次性处理所有模式串的搜索请求。

算法原理

  1. 构建Trie树:首先将所有的模式串插入到一个Trie树(也称作字典树)中。每个节点代表一个字符,从根节点开始,沿着路径向下可以找到对应的模式串。
  2. 添加失败指针:接下来为Trie树中的每个节点计算"失败指针"(failure link)。失败指针的作用类似于KMP算法中的部分匹配表,用于当当前字符不匹配时跳转到另一个可能的匹配位置。具体来说,对于某个节点n,如果从根到n表示的字符串是s,那么n的失败指针指向的是最长的、既是s的一个后缀又是某个模式串前缀的字符串所对应的节点。这一步骤确保了在搜索过程中遇到不匹配字符时,算法能够快速地重新尝试匹配而不需要回溯。
  3. 模式匹配:使用构建好的自动机对目标文本进行扫描。从根节点开始,根据当前读取的字符移动到下一个节点;如果不存在对应边,则跟随失败指针直到找到一个存在对应边的节点或者回到根节点。每当到达一个终止节点(即表示一个完整模式串的节点),就报告一次匹配。

特点与优势

  • 高效性:Aho-Corasick算法的时间复杂度为O(n + m + z),其中n是文本长度,m是所有模式串的总长度,z是输出结果的数量。这种效率使得它非常适合需要在大量文本中查找多个关键字的应用场景。
  • 一次性处理多个模式串:相比于逐一应用单模式匹配算法(如KMP),Aho-Corasick算法只需遍历文本一次即可完成所有模式串的匹配工作。
  • 广泛的应用领域:包括但不限于文本编辑器中的查找功能、网络入侵检测系统(NIDS)、生物信息学中的DNA序列分析等。

第三方AhoCorasick库

https://github.com/cloudflare/ahocorasick

使用时需要预先加载词库到算法中

go 复制代码
func InitAhoCorasick() (ahoCorasick *ahocorasick.Matcher) {
	ahoCorasick = ahocorasick.NewStringMatcher(global.SensitiveWords)
	logrus.Info("敏感词匹配AhoCorasick加载成功")
	return
}

敏感词匹配和替换

go 复制代码
// ReplaceSensitiveWords 替换敏感词
func ReplaceSensitiveWords(text string, replaceWord string) string {
	// 将匹配位置转换为区间
	//hits := ahocorasick.NewStringMatcher(global_gse.SensitiveWords).Match([]byte(text))
	hits := AhoCorasick.Match([]byte(text))
	for _, val := range hits {
		oldReplaceWord := global.SensitiveWords[val]
		text = strings.Replace(text, oldReplaceWord, strings.Repeat(replaceWord, len([]rune(oldReplaceWord))), -1)
	}
	return text
}
//使用
text = ReplaceSensitiveWords(text, "*")

完整代码

go 复制代码
//go:embed files/sensitive_words_lines.txt
var sensitiveWordsFile string

func InitSensitiveWords() (sensitiveWords []string) {
	scanner := bufio.NewScanner(strings.NewReader(sensitiveWordsFile))
	for scanner.Scan() {
		line := scanner.Text()
		sensitiveWords = append(sensitiveWords, line)
	}
	logrus.Info("SensitiveWords加载成功")
	return
}

func InitAhoCorasick() (ahoCorasick *ahocorasick.Matcher) {
	ahoCorasick = ahocorasick.NewStringMatcher(global.SensitiveWords)
	logrus.Info("敏感词匹配AhoCorasick加载成功")
	return
}

// ReplaceSensitiveWords 替换敏感词
func ReplaceSensitiveWords(text string, replaceWord string) string {
	// 将匹配位置转换为区间
	//hits := ahocorasick.NewStringMatcher(global_gse.SensitiveWords).Match([]byte(text))
	hits := AhoCorasick.Match([]byte(text))
	for _, val := range hits {
		oldReplaceWord := SensitiveWords[val]
		text = strings.Replace(text, oldReplaceWord, strings.Repeat(replaceWord, len([]rune(oldReplaceWord))), -1)
	}
	return text
}


func main(){
    text:="xxx"
    SensitiveWords:=InitSensitiveWords()
    AhoCorasick:=InitAhoCorasick()
    text:ReplaceSensitiveWords(text,"*")
    fmt.Println(text)
}
相关推荐
舒一笑1 天前
大模型时代的程序员成长悖论:如何在AI辅助下不失去竞争力
后端·程序员·掘金技术征文
lang201509281 天前
Spring Boot优雅关闭全解析
java·spring boot·后端
Dfreedom.1 天前
一文掌握Python四大核心数据结构:变量、结构体、类与枚举
开发语言·数据结构·python·变量·数据类型
一半烟火以谋生1 天前
Python + Pytest + Allure 自动化测试报告教程
开发语言·python·pytest
虚行1 天前
C#上位机工程师技能清单文档
开发语言·c#
小羊在睡觉1 天前
golang定时器
开发语言·后端·golang
用户21411832636021 天前
手把手教你在魔搭跑通 DeepSeek-OCR!光学压缩 + MoE 解码,97% 精度还省 10-20 倍 token
后端
追逐时光者1 天前
一个基于 .NET 开源、功能强大的分布式微服务开发框架
后端·.net
CoderCodingNo1 天前
【GESP】C++四级真题 luogu-B4068 [GESP202412 四级] Recamán
开发语言·c++·算法
刘一说1 天前
Spring Boot 启动慢?启动过程深度解析与优化策略
java·spring boot·后端