华为OD-2024年E卷-中文分词模拟器[200分] -- python

问题描述:

给定一个连续不包含空格的字符串,该字符串仅包含英文小写字母及英文标点符号(逗号、分号、句号),同时给定词库,对该字符串进行精确分词。

说明:

  1. 精确分词:字符串分词后,不会出现重叠。即"ilovechina",不同词库可分割为"i,love,china","ilove,china",不能分割出现重叠的"i,ilove,china",i 出现重叠
  2. 标点符号不成词,仅用于断句
  3. 词库:根据外部知识库统计出来的常用词汇例:dictionary = ["i", "love", "china", "lovechina", "ilove"]
  4. 分词原则:采用分词顺序优先且最长匹配原则"ilovechina",假设分词结果 [i,ilove,lo,love,ch,china,lovechina],则输出 [ilove,china]

错误输出:[i,lovechina],原因:"ilove" > 优先于 "lovechina" 成词

错误输出:[i,love,china],原因:"ilove" > "i"遵循最长匹配原则

输入描述

第一行输入待分词语句 "ilovechina"

字符串长度限制:0 < length < 256

第二行输入中文词库 "i,love,china,ch,na,ve,lo,this,is,this,word"

词库长度限制:1 < length < 100000

输出描述

按顺序输出分词结果 "i,love,china"

复制代码
ilovechina
i,love,china,ch,na,ve,lo,this,is,the,word

i,love,china

iat
i,love,china,ch,na,ve,lo,this,is,the,word,beauti,tiful,ful

i,a,t
#说明:单个字母,不在词库中且不成词则输出单个字母

解题思路:

按照分词规则:

  1. 分词顺序优先、不能重叠:分词从头开始,分完一个进入下一个
  2. 最长匹配原则:优先匹配最长符合条件的单词
  3. 英文标点符号:处理时将其加入ans结果列表,在输出ans时,判断是否需要额外补逗号','

可能的问题:由示例2可看出并没有保证词库单词能完全匹配目标字符串,如果当前最长匹配的单词,后续却没有其他单词能够与其组成目标字符串,会输出单个字母

代码实现:

python 复制代码
s = input()
arr = input().split(',')
ans = []
i = 0
while i < len(s):
    #标点符号处理:直接加入ans并跳过后续单词处理
    if not ('a' <= s[i] <= 'z'):
        ans.append(s[i])
        i += 1
        continue
    temp = s[i]
    curr_temp = s[i]
    curr_i = i+1
    #从当前字符开始,最长匹配,若curr_temp能在词库找到,则更新加入ans的temp及当前索引
    for j in range(i+1,len(s)):
        curr_temp += s[j]
        if curr_temp in arr:
            curr_i = j+1
            temp = curr_temp
    i = curr_i
    ans.append(temp)
#判断是否需要输出逗号','
for i in range(len(ans)):
    print(ans[i],end = '',sep = '')
    if i+1 < len(ans) and 'a' <= ans[i][0] <= 'z' and 'a' <= ans[i+1][0] <= 'z':
        print(',',end = '',sep = '')
相关推荐
小白学大数据23 分钟前
Scrapling:极简高效的 Python 智能爬虫框架
开发语言·爬虫·python·数据分析
辣椒思密达26 分钟前
Python爬虫中如何正确配置住宅IP代理?新手避坑指南
c语言·python
ZhiqianXia27 分钟前
流畅的Python笔记
笔记·python
财经资讯数据_灵砚智能42 分钟前
基于全球经济类多源新闻的NLP情感分析与数据可视化(夜间-次晨)2026年5月20日
人工智能·python·信息可视化·自然语言处理·ai编程·灵砚智能
布吉岛的石头1 小时前
Java 程序员第 18 阶段:实战Agent工作流:Java搭建自动化业务智能体
java·python·自动化
Jurio.1 小时前
使用.py脚本下载并加载开源大模型LLMs
python·ai·llama
张哈大1 小时前
解密Function Calling:AI Agent工具调用的标准化核心
人工智能·python·ai
子榆.1 小时前
CANN ATC编译器:模型从Python到达芬奇指令走了多远
开发语言·python·neo4j
lookaroundd1 小时前
llm-compressor 普通量化调用链分析
python·算法
Loo国昌1 小时前
从 Agent 编排到 Skill Runtime:企业 AI 工程化的下一层抽象
大数据·人工智能·后端·python·自然语言处理