自然语言处理学习笔记(十一)————简繁转换与拼音转换

目录

1.简繁转换

2.拼音转换


1.简繁转换

简繁转换指的是简体中文和繁体中文之间的相互转换。可能有的人觉得,这很简单,按字转换 就好了。HanLP提供了这样的朴素实现**CharTable,**用来执行字符正规化(繁体->简体,全角->半角,大写->小写)

复制代码
System.out.println(CharTable.convert("愛聽4G"));
打印结果为:爱听4G

事实上,汉字历史悠久,地域复杂,在字符级别存在"一简对多繁"和"一繁对多简"的情况。在词语级别上存在"简繁分歧词",按字转换容易出错。

eg:"代码","代碼",台湾称为"程式碼",这就是"简繁分歧词"。

eg:"头发"、"发财"对应的繁体字为"頭髮"和"發財",这里的"发"就是一简对多繁。

这启示我们不能按字转换,最起码是按词转换。

s:简体

t:繁体

tw:台湾繁体

hk:香港繁体

HanLP.convertToTraditionalChinese:简转繁

HanLP.s2t:简转繁

HanLP.s2tw:简转香港繁体

HanLP.s2hk:简转香港繁体

2.拼音转换

拼音转换涉及到多音字的问题,仍然需要按词转换

相关推荐
XH华14 分钟前
数据结构第九章:树的学习(下)
数据结构·学习
He少年25 分钟前
【基础知识、Skill、Rules和MCP案例介绍】
java·前端·python
AI_Claude_code28 分钟前
ZLibrary访问困境方案四:利用Cloudflare Workers等边缘计算实现访问
javascript·人工智能·爬虫·python·网络爬虫·边缘计算·爬山算法
jedi-knight1 小时前
AGI时代下的青年教师与学术民主化
人工智能·python·agi
迷藏4941 小时前
**eBPF实战进阶:从零构建网络流量监控与过滤系统**在现代云原生架构中,**网络可观测性**和**安全隔离**已成为
java·网络·python·云原生·架构
迷藏4941 小时前
**发散创新:基于Solid协议的Web3.0去中心化身份认证系统实战解析**在Web3.
java·python·web3·去中心化·区块链
weixin_156241575761 小时前
基于YOLOv8深度学习花卉识别系统摄像头实时图片文件夹多图片等另有其他的识别系统可二开
大数据·人工智能·python·深度学习·yolo
AI_Claude_code1 小时前
ZLibrary访问困境方案三:Web代理与轻量级转发服务的搭建与优化
爬虫·python·web安全·搜索引擎·网络安全·web3·httpx
小陈工2 小时前
2026年4月7日技术资讯洞察:下一代数据库融合、AI基础设施竞赛与异步编程实战
开发语言·前端·数据库·人工智能·python
时空无限2 小时前
ansible 由于不同主机 python 版本不同执行报错
python·ansible