什么是 Gensim？
Gensim（Generate Similarities）是一个开源的 Python 库，专注于无监督主题建模 和文档相似度计算。它由 Radim Řehůřek 于 2009 年开发，专为处理大规模文本数据而设计，支持在线算法和内存效率优化，适用于从几 MB 到数百 GB 的语料库。
与其他 NLP 工具不同，Gensim 不提供分词、词性标注等基础预处理功能，而是专注于"文本到向量"的转换过程，尤其擅长以下任务：
- 主题建模（如 LDA、LSI）
- 词向量训练（如 Word2Vec、FastText、Doc2Vec）
- 文档相似度计算
- 文本索引与检索
安装 Gensim
安装 Gensim 非常简单，使用 pip 即可完成：
python
pip install gensim此外，建议配合使用 nltk 或 jieba（中文分词）进行文本预处理。
核心功能与使用示例
1. 文本预处理
Gensim 期望输入的是已经分词的文本列表。以下是一个简单的英文文本预处理示例：
python
from gensim.utils import simple_preprocess
from nltk.corpus import stopwords
import nltk
nltk.download('stopwords')
stop_words = set(stopwords.words('english'))
# 示例文本
texts = [
"Machine learning is a subset of artificial intelligence",
"Natural language processing helps computers understand text",
"Gensim is great for topic modeling and word embeddings"
]
# 简单预处理：分词 + 去停用词
processed_texts = [
[word for word in simple_preprocess(text) if word not in stop_words]
for text in texts
]
print(processed_texts)输出：
[['machine', 'learning', 'subset', 'artificial', 'intelligence'],
['natural', 'language', 'processing', 'helps', 'computers', 'understand', 'text'],
['gensim', 'great', 'topic', 'modeling', 'word', 'embeddings']]2. 构建词袋模型（Bag-of-Words）
Gensim 使用 Dictionary 和 Corpus 来表示文本数据。
python
from gensim.corpora import Dictionary
# 创建词典
dictionary = Dictionary(processed_texts)
# 将文本转换为词袋向量
corpus = [dictionary.doc2bow(text) for text in processed_texts]
print(corpus[0]) # 示例：第一个文档的词袋表示输出（可能类似）：
[(0, 1), (1, 1), (2, 1), (3, 1), (4, 1)]表示词汇表中第 0 个词出现了 1 次，依此类推。
3. 主题建模：LDA（Latent Dirichlet Allocation）
LDA 是 Gensim 最经典的应用之一，用于从文档集合中发现潜在主题。
python
from gensim.models import LdaModel
# 训练 LDA 模型
lda_model = LdaModel(
corpus=corpus,
id2word=dictionary,
num_topics=2,
random_state=42,
passes=10
)
# 查看主题
topics = lda_model.print_topics(num_words=4)
for topic in topics:
print(topic)输出示例：
(0, '0.015*"text" + 0.014*"processing" + 0.013*"language" + 0.012*"natural"')
(1, '0.018*"learning" + 0.017*"machine" + 0.016*"intelligence" + 0.015*"artificial"')可以看到，模型自动发现了"自然语言处理"和"机器学习"两个主题。
4. 词向量：Word2Vec
Word2Vec 能够学习词语的分布式表示，捕捉语义关系。
python
from gensim.models import Word2Vec
# 训练 Word2Vec 模型
model = Word2Vec(
sentences=processed_texts,
vector_size=100,
window=5,
min_count=1,
workers=4,
sg=0 # 0 表示使用 CBOW，1 表示使用 Skip-gram
)
# 获取词向量
vector = model.wv['machine']
print(vector[:5]) # 输出前5个维度
# 查找相似词
similar_words = model.wv.most_similar('machine', topn=3)
print(similar_words)输出可能包含：
[('learning', 0.85), ('intelligence', 0.79), ('artificial', 0.76)]这表明"machine"与"learning"等词在语义上相近。
5. 文档相似度计算
Gensim 支持基于 TF-IDF 或 LSI 的文档相似度检索。
python
from gensim.models import TfidfModel
from gensim.similarities import SparseMatrixSimilarity
# 训练 TF-IDF 模型
tfidf = TfidfModel(corpus)
corpus_tfidf = tfidf[corpus]
# 建立相似度索引
index = SparseMatrixSimilarity(corpus_tfidf, num_docs=len(corpus))
# 查询新文档的相似文档
query_text = "I love artificial intelligence and machine learning"
query_bow = dictionary.doc2bow(simple_preprocess(query_text))
query_tfidf = tfidf[query_bow]
similarity_scores = index[query_tfidf]
print(list(enumerate(similarity_scores)))输出为每个文档与查询的相似度得分，可用于信息检索或推荐系统。
Gensim 的优势
- 高效处理大规模数据：支持流式处理，无需将全部数据加载到内存。
- 算法实现成熟稳定：LDA、Word2Vec 等算法经过工业级验证。
- 易于扩展：支持自定义模型、在线学习（online learning）。
- 良好的文档与社区支持：官方文档详尽，示例丰富。
实际应用场景
- 新闻文章主题分类
- 用户评论情感分析预处理
- 智能客服中的语义匹配
- 学术论文关键词提取与推荐
- 构建搜索引擎的语义层
总结
Gensim 是 Python 生态中不可或缺的 NLP 工具之一。它虽然不直接处理原始文本清洗，但在文本向量化、主题发现和语义理解方面表现出色。无论是研究人员还是工程师，掌握 Gensim 都能显著提升文本分析的效率与深度。
通过本文的介绍，相信你已经对 Gensim 的核心功能有了初步了解。下一步，不妨尝试在自己的数据集上运行 LDA 或训练一个 Word2Vec 模型，亲身体验其强大之处！
参考链接：
- Gensim 官方文档：https://radimrehurek.com/gensim/
- GitHub 项目：https://github.com/RaRe-Technologies/gensim