文本归一化 - 文本归一化技术,学习,经验文章

红红谈说

3 小时前

内容过滤与替换引擎怎么做？一次词表匹配的工程复盘一、一篇稿子过滤要二十三秒年初我们把过滤这一环拖出来单独压过一轮，一篇一千八百字的稿子，走完五轮不同的处理策略要四点七秒，因为每一轮都是拿两万六千条词表逐条去做字符串替换，一轮一次全量扫描。我们一天要生成四百篇左右，光过滤就吃掉二十多分钟的 CPU，接在生成接口后面的那一段，响应时间的九十五分位从两秒出头涨到了九秒。