OpenRefine:一款免费开源、功能强大的数据清洗工具

OpenRefine 是一款免费开源、功能强大的数据清洗工具,可以让用户通过图形界面和简单的表达式语言轻松完成数据集清洗、转换、扩展以及探索,而不需要编写复杂的程序。

OpenRefine 主要采用 Java、JavaScript 语言开发,遵循 BSD 3-Clause 开源协议,代码托管在 GitHub:

https://github.com/OpenRefine/OpenRefine

功能特性

  • 跨平台:OpenRefine 支持 Windows、macOS 以及 Linux 操作系统部署,用户通过浏览器进行访问。
  • 数据源:支持各种数据格式,包括 CSV、TSV、JSON、XML、ODS、Excel、数据库(MySQL、MariaDB、PostgreSQL、SQLite 等)、URL、RDF、Google Sheets、Wikibase 等;也可以通过扩展插件支持更多数据格式。
  • 数据转换:提供各种数据清洗与标准化功能,例如大小写转换、移除空白字符、字符串处理(替换、截取、拼接)、拆分列、合并列等。OpenRefine 内置了功能强大且易于学习的表达式语言(GREL),可以通过它实现非常复杂的数据逻辑。
  • 数据筛选:通过数据分面和筛选器,根据某一列的值来快速查看、筛选数据子集。例如,可以筛选出所有"状态"为"未知"或"空值"的记录。
  • 数据分组:通过聚类自动识别出在拼写上相似但略有不同的值,例如"Microsoft"和"Microsft",同时提供一键合并的选项。
  • 数据校正:将数据集与外部源的数据集进行匹配和链接,为数据添加上下文和唯一标识符。
  • 版本历史:OpenRefine 可以记录用户每一步操作,支持随时查看完整的操作历史,并且可以撤消或重做任何操作;同时还可以导出整个处理过程,以便在其他项目上重复使用。
  • 导出数据:可以将处理之后的数据集导出为文件,包括 CSV、TSV、HTML、ODS、Excel、SQL 语句、Wikibase 等。
  • 扩展插件:通过安装扩展插件支持更多功能,例如 AI 大语言模型、Javascript 表达式等。

下载安装

OpenRefine 官方下载网址如下:

https://openrefine.org/download

选择对应操作系统的安装文件进行下载,安装完成之后运行 openrefine.exe(Windows),然后在浏览器中输入以下地址进行访问:

http://127.0.0.1:3333/

点击"Language settings"可以设置中文界面:

点击"新建项目"导入数据。

官方文档:https://openrefine.org/docs

总结

OpenRefine 为数据清理和预处理提供了一个功能强大、灵活且免费的解决方案。

相关推荐
东莞市云毅网络有限公司4 天前
监测问句清单去重:停用词表、数字归一与贪心聚类的参数取法
python·数据清洗·rag·企业知识库·文档解析
Helix2505 天前
Python数据分析实战:Pandas清洗豆瓣短评与情感分析完整指南
python·pandas·数据清洗·情感分析··snownlp·文本数据处理
星夜离尘565 天前
MATLAB 清洗 CSV 采样日志:重复时间戳、无效行、分组统计与自动出图
开发语言·matlab·数据分析·数据清洗·csv
东莞市云毅网络有限公司5 天前
用 Python 给官网做字段级变更监控:快照、比对与变更清单
python·数据清洗·rag·企业知识库·文档解析
梅雅达编程笔记5 天前
15_综合实战全流程
pandas·数据清洗·seaborn·可视化分析·python数据实战·数据分析全流程·系列收尾
Patrick在香港8 天前
pandas 读 CSV 不报错 ≠ 读对了:四个默认参数翻车实测
pandas·数据清洗·数据类型·实测·read_csv
MoRanzhi12038 天前
第 3 篇 · 数据清洗与特征工程:从问题判定到特征构建
python·pandas·数据清洗·特征工程·缺失值处理·异常值检测·特征编码
东莞市云毅网络有限公司10 天前
AI 引用句逐条回指原文:让回答可回溯的校验实现
python·数据清洗·rag·企业知识库·文档解析
mattleeee13 天前
回测数据清洗:如何处理缺失K线和异常数据
数据清洗·k线·异常数据
for_ever_love__15 天前
电商订单数据清洗实战——Pandas 处理缺失值、重复单与异常金额
python·数据分析·pandas·数据清洗