【开源初探】基于 Qwen2.5VL的文档解析工具：docext

源码地址： https://github.com/NanoNets/docext

概述

docext 是一个由视觉语言模型（vlm）提供支持的全面的本地文档智能工具包。vlm 使用的是基于 Qwen2.5VL-3B 的模型，应该是在此模型基础上进行的微调。

它提供了三个核心功能：

1.pdf/image 转 markdown：将文档转换为具有智能内容识别的结构化标记，包括 LaTeX 方程、签名、水印、表和语义标记。

2.文档信息提取：从发票、护照和其他文档类型等文档中无 ocr 地提取结构化信息（字段、表等），并进行置信度评分。

3.智能文档处理排行榜（https://idp-leaderboard.org/）：一个全面的基准测试平台，跟踪和评估视觉语言模型在OCR、关键信息提取（Key Information Extraction， KIE）、文档分类、表提取和其他智能文档处理任务中的性能。

核心特点

文档转换

(1) latex 公式识别，行内和块的公式使用 latex 表示
输入：

官方案例部分输出结果如下：

(2) 智能图片描述，对于所有图片，使用去替代原来图片中的内容；
输入：

官方案例部分输出结果如下：

(3)签名/水印/页码的检测，检测和标记文档中的签名、水印和页码，并分别放入到、、<page_number></page_number>中；
输入：

官方案例部分输出结果如下：

输入：

官方案例部分输出结果如下 ：

(4) 复选框和单选按钮：将表单复选框和单选按钮转换为标准化的 Unicode 符号(☐, ☑, ☒)
输入：

官方案例部分结果如下：

(5) 表格检测：将复杂的表格转换成 html 的表格表示
输入：

官方案例部分结果如下：

智能文档处理排行榜

该基准评估七个关键文档智能挑战的性能;

(1) 关键信息提取（KIE）：从非结构化文档文本中提取结构化字段。

(2) 视觉问答（VQA）：通过问答来评估对文档内容的理解。

(3) 光学字符识别（OCR）：测量识别印刷和手写文本的准确性。

(4) 文档分类：评估模型对各种文档类型进行分类的准确性。

(5) 长文档处理：测试模型对冗长的、上下文丰富的文档的推理。

(6) 表提取：从复杂的表格格式中提取基准结构化数据。

(7) 可信度评分校准：评估模型预测的可靠性和置信度。

补充

工具提到可以输出可信度评分，从源码来看主要是将用户的输入以及大模型的输出结果+打分的 prompt 让大模型对用户的输入和大模型的输出结果打分。