【py】使用numpy读取文件,并统计

我们需要编写一个脚本来读取文本文件,然后进行字数统计和词频统计。

以下是一个简单的Python脚本,它使用numpy来处理数据。

首先,确保你已经安装了numpy库。如果没有安装,可以通过运行pip install numpy来安装。

然后,你可以使用以下脚本:

import numpy as np

import re

from collections import Counter

假设你的文本文件名为'file.txt'

file_path = 'file.txt'

1. 读取文件

with open(file_path, 'r', encoding='utf-8') as file:

text = file.read()

2. 统计文件的总字数

total_words = len(text.split())

print(f'Total number of words: {total_words}')

3. 统计出现频率最高的10个词,并进行排序

使用正则表达式来找到单词,这里假设单词由字母组成

words = re.findall(r'\b\w+\b', text.lower())

word_counts = Counter(words)

获取出现频率最高的10个词

most_common_words = word_counts.most_common(10)

print('Most common words:')

for word, count in most_common_words:

print(f'{word}: {count}')

如果你想使用numpy来处理数据,你可以将文本转换为numpy数组,但这在这个例子中是多余的

text_array = np.array(text)

请将file.txt替换为你的文件名。这个脚本首先读取文件内容,然后统计总字数,接着使用正则表达式来找到所有的单词,并使用collections.Counter来统计每个单词的出现次数,最后输出出现频率最高的10个词。

请注意,这个脚本假设文本文件是UTF-8编码的。如果你的文件使用不同的编码,请相应地更改open函数中的encoding参数。

相关推荐
2601_9669496514 分钟前
Python 量化数据质量校验:如何确保股票历史日线数据不存在缺失交易日?
开发语言·人工智能·爬虫·python·量化策略·量化·quantdash
circuitsosk15 分钟前
Python 文件读写与上下文管理器:with 语句为什么是最佳选择
java·服务器·python·文件操作·上下文管理器·contextlib
whcyhhh19 分钟前
头歌实践教学平台:数据科学与大数据技术导论(七下)
大数据·数据库·python
Java后端的Ai之路27 分钟前
05、Python单例模式完全指南
开发语言·人工智能·python·单例模式·oracle
李可以量化30 分钟前
Redis Client 从入门到精通(一)下:redis-py 核心数据结构操作与连接管理
数据结构·redis·python·bootstrap·量化交易·qmt
川石课堂软件测试31 分钟前
自动化测试常见的异常处理
python·jmeter·mysql·docker·容器·单元测试·grafana
荣码34 分钟前
Function Calling:比Agent更靠谱的工具调用,我踩了4个坑
java·python
这就是佬们吗1 小时前
AI 的记忆进化史:从金鱼记忆到学会做梦
人工智能·python·embedding
Csvn1 小时前
🐍 Day 6: Python 异常处理 — 防御式编程的核心
后端·python
朝发如雪1 小时前
快速掌握Linux(2)(时间相关函数)(文件IO)
linux·python·算法