OpenRefine:一款免费开源、功能强大的数据清洗工具

OpenRefine 是一款免费开源、功能强大的数据清洗工具,可以让用户通过图形界面和简单的表达式语言轻松完成数据集清洗、转换、扩展以及探索,而不需要编写复杂的程序。

OpenRefine 主要采用 Java、JavaScript 语言开发,遵循 BSD 3-Clause 开源协议,代码托管在 GitHub:

https://github.com/OpenRefine/OpenRefine

功能特性

  • 跨平台:OpenRefine 支持 Windows、macOS 以及 Linux 操作系统部署,用户通过浏览器进行访问。
  • 数据源:支持各种数据格式,包括 CSV、TSV、JSON、XML、ODS、Excel、数据库(MySQL、MariaDB、PostgreSQL、SQLite 等)、URL、RDF、Google Sheets、Wikibase 等;也可以通过扩展插件支持更多数据格式。
  • 数据转换:提供各种数据清洗与标准化功能,例如大小写转换、移除空白字符、字符串处理(替换、截取、拼接)、拆分列、合并列等。OpenRefine 内置了功能强大且易于学习的表达式语言(GREL),可以通过它实现非常复杂的数据逻辑。
  • 数据筛选:通过数据分面和筛选器,根据某一列的值来快速查看、筛选数据子集。例如,可以筛选出所有"状态"为"未知"或"空值"的记录。
  • 数据分组:通过聚类自动识别出在拼写上相似但略有不同的值,例如"Microsoft"和"Microsft",同时提供一键合并的选项。
  • 数据校正:将数据集与外部源的数据集进行匹配和链接,为数据添加上下文和唯一标识符。
  • 版本历史:OpenRefine 可以记录用户每一步操作,支持随时查看完整的操作历史,并且可以撤消或重做任何操作;同时还可以导出整个处理过程,以便在其他项目上重复使用。
  • 导出数据:可以将处理之后的数据集导出为文件,包括 CSV、TSV、HTML、ODS、Excel、SQL 语句、Wikibase 等。
  • 扩展插件:通过安装扩展插件支持更多功能,例如 AI 大语言模型、Javascript 表达式等。

下载安装

OpenRefine 官方下载网址如下:

https://openrefine.org/download

选择对应操作系统的安装文件进行下载,安装完成之后运行 openrefine.exe(Windows),然后在浏览器中输入以下地址进行访问:

http://127.0.0.1:3333/

点击"Language settings"可以设置中文界面:

点击"新建项目"导入数据。

官方文档:https://openrefine.org/docs

总结

OpenRefine 为数据清理和预处理提供了一个功能强大、灵活且免费的解决方案。

相关推荐
东莞市云毅网络有限公司10 天前
用 SQLite FTS5 给企业文档建本地全文索引:中文分词与权重调优
python·数据清洗·rag·企业知识库·文档解析
Patrick在香港11 天前
Claude Prompt 香港场景:公文里「今日」落在 6 个日历日上,「翌日」锚错了 5 天
python·自然语言处理·正则表达式·claude·数据清洗
2601_9623824316 天前
Python自动化办公实战指南:从入门到精通
数据清洗·python自动化办公·报表生成·文档处理·邮件分发
沙淘金数据服务18 天前
电商订单数据整合难题拆解:多源异构数据如何实现自动化治理?
大数据·人工智能·数据治理·数据清洗·电商·外贸
东莞市云毅网络有限公司20 天前
企业非结构化资料拆分成可引用片段:一套能跑通的预处理流水线
python·数据清洗·rag·企业知识库·文档解析
Patrick在香港25 天前
把 Claude 塞进 pandas 管道:7 条脏地址实测,5 条自动清洗、2 条被闸门拦下
python·pandas·etl·claude·数据清洗
whcyhhh1 个月前
头歌实践教学平台:数据科学与大数据技术导论(十二)
大数据·开发语言·python·数据清洗
CodexDave2 个月前
Python 自动化接单实战(一):把 CSV 需求做成配置驱动解析器
java·python·自动化·json·数据清洗·python自动化·csv处理
想你依然心痛2 个月前
预测未来用电趋势,机器学习算法在能耗管理中的落地
随机森林·django·数据清洗·特征工程·电力负荷预测·时序数据·能耗管理
RestCloud2 个月前
ETL是什么?全域数据集成平台核心能力解析
数据仓库·etl·数据清洗·数据处理·etlcloud·数据集成工具