文档向量化工具(一):Apache Tika介绍

Apache Tika是什么?能干什么?

Apache Tika是一个内容分析工具包。

该工具包可以从一千多种不同的文件类型(如PPT、XLS和PDF)中检测并提取元数据和文本。

所有这些文件类型都可以通过同一个接口进行解析,这使得Tika在搜索引擎索引、内容分析、翻译等方面非常有用。

基于Apache License 2.0

Apache Tika releases are available under the Apache License, Version 2.0

Apache Tika的安装

Apache Tika支持多种方式与业务集成。

Build artifacts说明

tika-core/target/tika-core-*.jar

Tika核心库。包含Tika的核心接口和类,但没有解析器实现。
tika-parsers/tika-parsers-standard/tika-parsers-standard-package/target/tika-parsers-standard-package-*.jar

Tika解析器。基于各种外部解析器库实现Tika Parser接口的类集合。这包括最常用的解析器。用户可能希望添加tika-parser-sqlite3-package和tika-parser-scientific-package科学包或其他解析器模块。

tika-app/target/tika-app-*.jar

Tika应用程序。将上述组件和标准解析器库组合成一个具有GUI和命令行接口的可运行jar。

tika-server/tika-server-standard/target/tika-server-standard-*.jar

Tika JAX-RS REST应用程序。这是一个Jetty web服务器,运行Tika REST服务。

tika-bundles/tika-bundle-standard/target/tika-bundle-standard-*.jar

Tika捆绑包。一个OSGi捆绑包,它将tika解析器与非OSGified解析器库相结合,使它们易于在OSGi环境中部署。

tika-eval/tika-eval-app/target/tika-eval-app-*.jar

Tika评估模块。命令行工具,用于评估Tika的输出或比较两个不同版本的Tika或其他文本提取包的输出。

试用建议用app模式,命令行直接运行。下载地址:

https://dlcdn.apache.org/tika/2.9.1/tika-app-2.9.1.jar​​​​​​​

Apache Tika试用

java -jar tika-app-2.9.1.jar --gui

启动图形界面

直接拖拽一个文件进去

若文件较大,或内容复杂(包括图,表)等,处理过程会比较慢。

GUI会卡主,没关系,等一会就好了

可以切换不同模式显示输出内容。

​​​​​​​

相关推荐
OpenCSG30 分钟前
Kimi-VL:开源多模态视觉语言模型的崭新突破
人工智能·语言模型·自然语言处理
大数据魔法师2 小时前
豆瓣图书数据采集与可视化分析
python·数据分析·数据可视化
Jamence3 小时前
多模态大语言模型arxiv论文略读(二十一)
人工智能·语言模型·自然语言处理
小白学C++.3 小时前
大模型论文:Language Models are Unsupervised Multitask Learners(GPT2)
人工智能·语言模型·自然语言处理
想看雪的瓜4 小时前
Nature图形复现—Origin绘制顶刊水准的多组柱状图
论文阅读·论文笔记
栩栩云生6 小时前
📥 x-cmd install | Toolong - 终端日志分析的瑞士军刀
运维·python·数据分析
计算机视觉小刘7 小时前
Named Entity Recognition with Bidirectional LSTM-CNNs(基于双向LSTM神经网络的命名实体识别)论文阅读
论文阅读·神经网络·自然语言处理·lstm
胡攀峰9 小时前
第3章研究大型语言模型的内部情况
人工智能·语言模型·自然语言处理·transformer
Panesle9 小时前
英伟达开源253B语言模型:Llama-3.1-Nemotron-Ultra-253B-v1 模型情况
人工智能·语言模型·llama·nvidia
Start_Present9 小时前
Pytorch 第十五回:神经网络编码器——GAN生成对抗网络
pytorch·python·神经网络·生成对抗网络·数据分析