文章目录
自然语言处理
自然语言处理(Natural Language Processing, NLP)是一种计算机科学和人工智能的交叉学科，致力于使计算机能够理解、分析、生成和处理自然语言文本（如英语、中文等）。这种技术涉及到语言学、统计学、机器学习、人工智能等领域的知识和技术。
NLP的目标是使计算机能够像人类一样理解自然语言，并与人类进行自然的交流。具体来说，NLP可以用于文本分类、信息提取、问答系统、自然语言生成、机器翻译、语音识别等方面。
在NLP技术中，常用的方法包括词法分析、语法分析、语义分析和自然语言生成。其中，词法分析是将输入文本分解成单词、标点符号等基本元素的过程；语法分析则是确定这些基本元素之间的规则和关系；语义分析则是理解文本的含义，并从中提取出相关信息；自然语言生成是通过一些规则和模板，将计算机生成的数据转化为符合自然语言规则的文本。
NLP的应用非常广泛。在搜索引擎中，NLP可以帮助搜索引擎优化搜索结果，并提供更准确的信息；在垃圾邮件过滤中，NLP可以检测和过滤掉垃圾邮件；在文本分类中，NLP可以将文本分为不同的类别，用于信息管理和数据分析；在机器翻译中，NLP可以将一种语言翻译成另一种语言。
尽管NLP已经在许多领域得到了广泛应用，但它仍然面临着许多挑战。其中最大的挑战之一是语言的多义性。由于自然语言的歧义性很高，NLP系统必须具备高度的智能才能正确地解释文本的意义。此外，不同语言之间的差异以及不同人之间的不同表达方式也给NLP技术带来了一定的挑战。
总的来说，NLP是非常有前途的技术，其可以帮助人们更好地理解和处理自然语言文本，并在许多领域发挥重要作用。通过不断的改进和创新，NLP将会在未来的科技发展中扮演越来越重要的角色。
分词技术
1. 正向最大匹配算法
python
# -*- coding: utf-8 -*-
# MM
# 使用正向最大匹配算法实现中文分词
dic = []
MAX_LENGTH = 5
def init():
"""
读文件
获取中文词典
:return:
"""
input = open("test.txt")
lines = input.readlines()
for line in lines:
temp = line.split(',')
dic.append(temp[0])
for d in dic:
print(d)
def if_contain(words):
"""
判断当前词在词典中是否存在
:param words:
:return:
"""
flag = False
for d in dic:
if d == words:
flag = True
break
return flag
def spl(sentence):
"""
正向最大匹配算法的主要实现部分
从后向前切割字符串，直到切割出的子串与词典中的词匹配
:param sentence:
:return:
"""
result = ''
words = []
while len(sentence) > 0:
except_flag = False
for i in range(MAX_LENGTH, 0, -1):
temp = sentence[:i] # 中文字符串切割方式
print(i,temp)
flag = if_contain(temp)
if flag:
words.append(temp)
sentence = sentence[i:]
except_flag = True
break
if not except_flag:
# 判断当前字符串是否在词典中并不存在，若该字符串从头切割到尾都没有词典中的词则认为无法切割并且
# 词典中不存在，此时直接将该词当成切割后的结果加入结果列表
words.append(sentence)
break
for w in words:
result += (w + '/')
return result
def main():
"""
与用户交互接口
:return:
"""
init()
while True:
input_str = input(">")
if not input_str:
break
result = spl(input_str)
print("分词结果为：")
print(result)
if __name__ == "__main__":
main()研究
研究生
生命
命
的
起源
研究生命的起源
5 研究生命的
4 研究生命
3 研究生
5 命的起源
4 命的起源
3 命的起
2 命的
1 命
5 的起源
4 的起源
3 的起源
2 的起
1 的
5 起源
分词结果为：
研究生/命/的/起源/
2. HanLP常用方法
python
from pyhanlp import *
print(HanLP.segment('你好，欢迎在Python中调用HanLP的API'))[你好/vl, ，/w, 欢迎/v, 在/p, Python/nx, 中/f, 调用/v, HanLP/nx, 的/ude1, API/nx]
python
for term in HanLP.segment('下雨天地面积水'):
print('{}\t{}'.format(term.word, term.nature)) # 获取单词与词性
testCases = [
"商品和服务",
"结婚的和尚未结婚的确实在干扰分词啊",
"买水果然后来世博园最后去世博会",
"中国的首都是北京",
"欢迎新老师生前来就餐",
"工信处女干事每月经过下属科室都要亲口交代24口交换机等技术性器件的安装工作",
"随着页游兴起到现在的页游繁盛，依赖于存档进行逻辑判断的设计减少了，但这块也不能完全忽略掉。"]
for sentence in testCases: print(HanLP.segment(sentence))下雨天 n
地面 n
积水 n
[商品/n, 和/cc, 服务/vn]
[结婚/vi, 的/ude1, 和/cc, 尚未/d, 结婚/vi, 的/ude1, 确实/ad, 在/p, 干扰/vn, 分词/n, 啊/y]
[买/v, 水果/n, 然后/c, 来/vf, 世博园/n, 最后/f, 去/vf, 世博会/n]
[中国/ns, 的/ude1, 首都/n, 是/vshi, 北京/ns]
[欢迎/v, 新/a, 老/a, 师生/n, 前来/vi, 就餐/vi]
[工信处/n, 女干事/n, 每月/t, 经过/p, 下属/v, 科室/n, 都/d, 要/v, 亲口/d, 交代/v, 24/m, 口/n, 交换机/n, 等/udeng, 技术性/n, 器件/n, 的/ude1, 安装/v, 工作/vn]
[随着/p, 页游/nz, 兴起/v, 到/v, 现在/t, 的/ude1, 页游/nz, 繁盛/a, ，/w, 依赖于/v, 存档/vi, 进行/vn, 逻辑/n, 判断/v, 的/ude1, 设计/vn, 减少/v, 了/ule, ，/w, 但/c, 这/rzv, 块/q, 也/d, 不能/v, 完全/ad, 忽略/v, 掉/v, 。/w]
python
# 关键词提取
document = "水利部水资源司司长陈明忠9月29日在国务院新闻办举行的新闻发布会上透露，" \
"根据刚刚完成了水资源管理制度的考核，有部分省接近了红线的指标，" \
"有部分省超过红线的指标。对一些超过红线的地方，陈明忠表示，对一些取用水项目进行区域的限批，" \
"严格地进行水资源论证和取水许可的批准。"
print(HanLP.extractKeyword(document, 2)) [水资源, 陈明忠]
python
# 自动摘要
print(HanLP.extractSummary(document, 3)) [严格地进行水资源论证和取水许可的批准, 水利部水资源司司长陈明忠9月29日在国务院新闻办举行的新闻发布会上透露, 有部分省超过红线的指标]
python
# 依存句法分析
print(HanLP.parseDependency("徐先生还具体帮助他确定了把画雄鹰、松鼠和麻雀作为主攻目标。"))1 徐先生 徐先生 nh nr _ 4 主谓关系 _ _
2 还 还 d d _ 4 状中结构 _ _
3 具体 具体 a ad _ 4 状中结构 _ _
4 帮助 帮助 v v _ 0 核心关系 _ _
5 他 他 r r _ 4 兼语 _ _
6 确定 确定 v v _ 4 动宾关系 _ _
7 了 了 u u _ 6 右附加关系 _ _
8 把 把 p p _ 15 状中结构 _ _
9 画 画 v v _ 8 介宾关系 _ _
10 雄鹰 雄鹰 n n _ 9 动宾关系 _ _
11 、 、 wp w _ 12 标点符号 _ _
12 松鼠 松鼠 n n _ 10 并列关系 _ _
13 和 和 c c _ 14 左附加关系 _ _
14 麻雀 麻雀 n n _ 10 并列关系 _ _
15 作为 作为 v v _ 6 动宾关系 _ _
16 主攻 主攻 v vn _ 17 定中关系 _ _
17 目标 目标 n n _ 15 动宾关系 _ _
18 。 。 wp w _ 4 标点符号 _ _
3. Jieba常用方法
python
# encoding=utf-8
import jieba
# 全模式
seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
print("Full Mode: " + "/ ".join(seg_list))
print(seg_list)Building prefix dict from the default dictionary ...
Loading model from cache /tmp/jieba.cache
Loading model cost 0.743 seconds.
Prefix dict has been built successfully.
Full Mode: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学
<generator object Tokenizer.cut at 0x7f2b1147e408>
python
# 精确模式
seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
print("Default Mode: " + "/ ".join(seg_list)) Default Mode: 我/ 来到/ 北京/ 清华大学
python
# 默认是精确模式
seg_list = jieba.cut("他来到了网易杭研大厦")
print(", ".join(seg_list))他, 来到, 了, 网易, 杭研, 大厦
python
# 搜索引擎模式
seg_list = jieba.cut_for_search("我来到北京清华大学")
print("/".join(seg_list))我/来到/北京/清华/华大/大学/清华大学
python
seg_list = jieba.lcut("我来到北京清华大学", cut_all=True)
print(seg_list)['我', '来到', '北京', '清华', '清华大学', '华大', '大学']
python
# encoding=utf-8
text1 = '李小福是创新办主任也是云计算方面的专家'
seg_list1 = jieba.cut(text1, cut_all=False)
print("/ ".join(seg_list1))李小福/ 是/ 创新/ 办/ 主任/ 也/ 是/ 云/ 计算/ 方面/ 的/ 专家
python
# 自定义词典
text1 = '李小福是创新办主任也是云计算方面的专家'
# 'userdict.txt'为自定义词典的路径
jieba.load_userdict('userdict.txt')
seg_list1 = jieba.cut(text1, cut_all=False)
print("/ ".join(seg_list1))李小福/ 是/ 创新办/ 主任/ 也/ 是/ 云计算/ 方面/ 的/ 专家
构建词向量
1. 基于sklearn构建One-hot词向量
python
from numpy import array
from numpy import argmax
from sklearn.preprocessing import LabelEncoder
from sklearn.preprocessing import OneHotEncoder
from warnings import filterwarnings
filterwarnings('ignore')
# define example
data = ['cold', 'cold', 'warm', 'cold', 'hot', 'hot', 'warm', 'cold', 'warm', 'hot']
values = array(data)
print(values)
# integer encode
label_encoder = LabelEncoder()
integer_encoded = label_encoder.fit_transform(values)
print(integer_encoded)
# binary encode
onehot_encoder = OneHotEncoder(sparse=False)
integer_encoded = integer_encoded.reshape(len(integer_encoded), 1)
onehot_encoded = onehot_encoder.fit_transform(integer_encoded)
print(onehot_encoded)
# invert first example
inverted = label_encoder.inverse_transform([argmax(onehot_encoded[0, :])])
print(inverted)['cold' 'cold' 'warm' 'cold' 'hot' 'hot' 'warm' 'cold' 'warm' 'hot']
[0 0 2 0 1 1 2 0 2 1]
[[1. 0. 0.]
[1. 0. 0.]
[0. 0. 1.]
[1. 0. 0.]
[0. 1. 0.]
[0. 1. 0.]
[0. 0. 1.]
[1. 0. 0.]
[0. 0. 1.]
[0. 1. 0.]]
['cold']
2. 基于gensim构建word2vec词向量
python
# -*- coding: utf-8 -*-
import jieba
import jieba.analyse
jieba.suggest_freq('沙瑞金', True)
jieba.suggest_freq('田国富', True)
jieba.suggest_freq('高育良', True)
jieba.suggest_freq('侯亮平', True)
jieba.suggest_freq('钟小艾', True)
jieba.suggest_freq('陈岩石', True)
jieba.suggest_freq('欧阳菁', True)
jieba.suggest_freq('易学习', True)
jieba.suggest_freq('王大路', True)
jieba.suggest_freq('蔡成功', True)
jieba.suggest_freq('孙连城', True)
jieba.suggest_freq('季昌明', True)
jieba.suggest_freq('丁义珍', True)
jieba.suggest_freq('郑西坡', True)
jieba.suggest_freq('赵东来', True)
jieba.suggest_freq('高小琴', True)
jieba.suggest_freq('赵瑞龙', True)
jieba.suggest_freq('林华华', True)
jieba.suggest_freq('陆亦可', True)
jieba.suggest_freq('刘新建', True)
jieba.suggest_freq('刘庆祝', True)
with open('./in_the_name_of_people.txt') as f:
document = f.read()
#document_decode = document.decode('GBK')
document_cut = jieba.cut(document)
#print ' '.join(jieba_cut) //如果打印结果，则分词效果消失，后面的result无法显示
result = ' '.join(document_cut)
result = result.encode('utf-8')
with open('./in_the_name_of_people_segment.txt', 'wb') as f2:
f2.write(result)
f.close()
f2.close()Building prefix dict from the default dictionary ...
Dumping model to file cache /tmp/jieba.cache
Loading model cost 1.790 seconds.
Prefix dict has been built successfully.
python
# import modules & set up logging
import logging
import os
from gensim.models import word2vec
logging.basicConfig(format='%(asctime)s : %(levelname)s : %(message)s', level=logging.INFO)
sentences = word2vec.LineSentence('./in_the_name_of_people_segment.txt')
model = word2vec.Word2Vec(sentences, hs=1,min_count=1,window=3)
python
#沙书记最相近的一些3个字的词（主要是人名）如下：
#gensim.models.Word2Vec.similar_by_wordword [，topn，restrict_vocab]）：找到前N个最相似的单词。
req_count = 5
for key in model.wv.similar_by_word('沙瑞金'.encode('utf-8').decode('utf-8'), topn =100):
if len(key[0])==3:
req_count -= 1
print(key[0], key[1])
if req_count == 0:
break;高育良 0.9653146862983704
田国富 0.953415036201477
侯亮平 0.9278725385665894
李达康 0.9275027513504028
易学习 0.9119865298271179
python
#看两个词向量的相近程度
#gensim.models.Word2Vec.similarity（ws1，ws2）：计算两个单词之间的余弦相似度。
print(model.wv.similarity('沙瑞金'.encode('utf-8').decode('utf-8'), '钟小艾'.encode('utf-8').decode('utf-8')))
print(model.wv.similarity('沙瑞金'.encode('utf-8').decode('utf-8'), '李达康'.encode('utf-8').decode('utf-8')))0.85246694
0.9275029
python
#找出不同类的词
print(model.wv.doesnt_match(u"沙瑞金 高育良 李达康 钟小艾".split()))钟小艾