常见的中文分词库
开源库 | 语言 | 说明 |
---|---|---|
jieba | Python | 最好的 Python 中文分词组件 |
HanLP | Python | 一系列模型与算法组成的NLP工具包 |
FoolNLTK | Python | 可能是最准的开源中文分词 |
Jcseg | Java | 轻量级 Java 中文分词器 |
Ansj | Java | 基于 n-Gram+CRF+HMM 的中文分词的 Java 实现 |
word | Java | Java 分布式中文分词组件 |
huichen/sego | Go | 纯 go 实现中文分词 github |
wangbin/jiebago | Go | 纯 go 实现 jiebago |
go-ego/gse | Go | 借鉴前两者设计,纯 go 实现 github |
yanyiwu/gojieba | Go | 核心算法底层由C++实现,不能跨平台编译 gojieba |