使用springboot实现过滤敏感词功能

一,在springboot项目的resources目录里创建sensitive-words.text(敏感词文本)

每个词独自一行

列如:

赌博

吸毒

开票

二,在util创建工具类SensitiveFilter

js 复制代码
package com.nowcoder.community.util;

@Component
public class SensitiveFilter{

	private static final Logger logger = LoggerFactory.getLogger(SensitiveFilter.class);

	// 替换符
	private static final String REPLACMENT = "***";

	// 根节点
	private TrieNode rootNode = new TrieNode();
	
	@PostConstruct
	public void init(){
		try(
			InputStream is = this.getClass().getClassLoader().getResourceAsStream("sebsitive-words.txt");
			BufferedReader reader = new BufferedReader(new InputStreamReader(is));
		){
			String keyword;
			while((keyword = reader.readLine()) != null){
				// 添加到前缀树
				this.addkeyword(keyword);
			}
		} catch(IOException e){
			logger.error("加载敏感词文件失败:"+ e.getMessage())
		}
	}
	
	// 将一个敏感词添加到前缀树里
	private void addKeyword(String keyword) {	
		TrieNode tempNode = rootNode;
		for(int i = 0; i < keyword.length(); i++ ){
			char c = keyword.charAT(i);
			TrieNode subNode = tempNode.getSubNode(c);

			if(subNode == null){
				// 初始化子节点
				subNode = new TrieNode();
				tempNode.addSubNode(c,subNode);
			}
			
			// 指向子节点,进入下一轮循环
			tempNode = subNode;
			
			// 设置结束标识
			if(i == keyword.length() - 1){
				tempNode.setKeywordEnd(true);
			}
		}
	}
	
	/**
	* 过滤敏感词
	*
	* @param text 待过滤文本
	* @return 过滤后的文本
	*/
	public String filter(String text){
		if(StringUtils.isBlank(text)){
			return null;
		}
		
		// 指针1
		TrieNode tempNode = rootNode;
		// 指针2
		int begin = 0;
		// 指针3
		int position = 0;
		// 结果
		StringBuilder sb = new StringBuilder();
		
		while (position < text.length()){
			char c = text.charAt(position);
			// 跳过符号
			if(isSymbol(c)){
				// 若指针1处于根节点,将此符号计入结果,让指针2向下走一步
				if(tempNode == rootNode){
					sb.appenf(c);
					begin++;
				}
				// 无论符号在开头或中间,指针3都向下走一步
				position++;
				continue;
			}
			
			// 检查下级节点
			tempNode = tempNode.getSubNode(c);
			if(tempNode == null){
				// 以begin开头的字符串不是敏感词
				sb.apped(text.charAt(begin));
				// 进入下一个位置
				position = ++begin;
				// 重新指向根节点
				tempNode = rootNode;
			} else if(tempNode.isKeywordEnd()){
			 	// 发现敏感词,将begin~position字符串替换掉
			 	sb.append(REPLACEMENT);
			 	// 进入下一个位置
			 	begin = ++position;
			}else {
				// 检查下一个字符
				position++;
			}
		}
		// 将最后一批字符计入结果
		sb.append(text.substring(begin));

		return sb.toString();
	}
	
	// 判断是否为符号
	private boolean isSymbol(Character c){
		// 0x2E80 ~ 0x9FFF 是东亚文字范围
		return !Charutils.isAsciiAlphanumeric(c) && (c < 0x2E80 || c > 0x9FFF);
	}
	
	// 前缀树
	private class TrieNode{
		
		// 关键词结束标识
		privte boolean isKeywordEnd = false;
		
		// 子节点(key是下级字符,value是下级节点)
		private Map<Character,TrieNode> subNodes = new HashMap<>();
		
		// get和set方法
		public boolean isKeywordEnd(){
			return isKeywordEnd;
		}
		
		public void setKeywordEnd(boolean keywordEnd){
			isKeywordEnd = keywordEnd;
		}
		
		// 添加子节点
		public void addSubNode(Character c,TrieNode node){
			subNodes.put(c,node);
		}

		// 获取子节点
		public TrieNode getSubNode(Character c){
			return subNodes.get(c);
		}
    }
}

三,创建Sensitive,进行调用

js 复制代码
public class Sensitive {
	@Autowired
	private SensitiveFilter sensitiveFilter;
	
	@Override
	public void SensitiverFilter(String name){
		filter = sensitiveFilter.filter(name);
		System.out.println(filter)
	}
}
相关推荐
bysking2 分钟前
GitHub Actions 快速入门+场景实践案例
前端·后端·github
开开心心就好31 分钟前
两张表格数据对比工具,不用写函数也能查
算法·spring·智能手机·pdf·电脑·intellij-idea·音视频
顧棟1 小时前
【ES实战】 索引模板「可追溯、可校验」:一种模板治理的工程化思路
java·数据库·elasticsearch
对象存储与RustFS2 小时前
对象锁遇上版本化:删掉的对象还在,真删的又删不掉
后端·docker·云原生
玄昌盛不会编程2 小时前
LeetCode——2243. 计算字符串的数字和
java·算法·leetcode
七夜zippoe2 小时前
流式输出:让 AI 回答像打字机一样实时返回(SSE 全链路实战)
人工智能·spring·ai·流式输出·ssf
文丑颜不良啊2 小时前
LeetCode3061~3080题目解析
java·leetcode
装不满的克莱因瓶3 小时前
【AI时代必学】一篇文章教会你从零搭建Serverless架构
java·人工智能·ai·云原生·架构·serverless
CappuccinoRose3 小时前
Redis 学习文档
redis·后端·学习·缓存·session·非关系型数据库·gossip
我不会起名字3224 小时前
WebSocket 停机与在线状态:Shutdown 返回后还需要清理什么
redis·后端·websocket·go·即时通讯·im·故障排查