研究报告 · 约 30,871 字 · 预计推送 4 部分

文档解析技术对比:HTML、PDF、DOCX、EPUB 的抽取质量与失败模式(横纵综合报告) 未开始

目录

题记与说明

撰写日期:2026-11-04。
综合说明:本报告由同日两份章节稿综合而成——纵轴《发展脉络》(2026-11-04-文档解析技术对比-HTML-PDF-DOCX-EPUB-vertical.md)与横轴《横向对比》(2026-11-04-文档解析技术对比-HTML-PDF-DOCX-EPUB-抽取质量-horizontal.md)。综合时消除两章的重复叙述与过程性注释(正文不再保留合并过程叙事,相关核实说明归档于文末"证据边界"),并统一了四处口径差异:① Mistral OCR 定价按时间线表述(初代 $1/千页 → OCR 3 现价 $2/千页);② "专用模型超越通用大模型"的基线按时间演进表述(2025-09 MinerU2.5 超 Gemini 2.5 Pro → 2026-02 GLM-OCR 94.6 超 Gemini 3 Pro 的 90.3);③ OmniDocBench 页数在 v1 论文(1,651 页)与 LlamaIndex 批评文转述(约 1,355 页)之间不一致,文中如实并注;④ Mistral OCR 4 不在 Mistral 自有定价页的时间线上,仅有经 Azure AI Foundry 渠道的公开定价($4–5/千页),其发布时间未核实到一手公告,2.4 节单独注明。所有关键事实随文标注来源链接;未能核实的事项集中列于文末"证据边界与未决事项"。

TL;DR

四种格式的抽取质量差异,本质是"结构信息在文件里存了多少":EPUB 与 HTML 把语义显式写进文件,解析近零成本、失败模式最少;DOCX 半结构化,难点在修订跟踪与保真;PDF 只存坐标与字形,结构全靠猜,养活了最热闹的解析市场。解析历经四次范式转移:规则解析器、标准化红利、版面感知深度学习、LLM/VLM 端到端。2026-11 截面:0.9B 专用小模型在干净基准上击败通用大模型,退化输入上却集体塌方;OmniDocBench 被指饱和,评测权之争开打;许可证先于精度成为选型门槛。核心建议:最大决策在格式层而非解析器层——能拿 EPUB/DOCX/HTML 就不要拿 PDF;选解析器前,先自建脏数据评测(最小可行流程见第三章末节)。


一、纵轴:发展脉络——四次范式转移,一条驱动逻辑

1.0 主线概览

这个课题表面上比较四种格式的抽取质量,实质上记录的是同一场持续性工程演进的四个切面。三十余年间,文档解析经历了四次范式转移:

  1. 规则解析器时代(1990s–2008):xpdf/pdftotext、pdfminer、BeautifulSoup 这类"把字节流还原成文本"的工具,靠启发式规则硬啃。
  2. 标准化红利时代(2006–2014):OOXML(ECMA-376/ISO 29500)、PDF(ISO 32000-1)、EPUB 2/3、HTML5 相继标准化或开放,格式第一次有了"法定语义"。
  3. 版面感知深度学习时代(2012–2022):GROBID、LayoutLM 系列与云 IDP 服务把"抽取"重建为"视觉+布局+语言"的多模态识别问题。
  4. LLM/VLM 端到端时代(2023–今):Nougat、Marker、MinerU、Docling、Mistral OCR、PaddleOCR-VL、DeepSeek-OCR 等,让"文档→Markdown"成为大模型语料供应链的一等公民。

每一次转移的驱动因素都相同:谁在消费文档。PDF 为打印而生,HTML 为浏览而生,DOCX 为协作编辑而生,EPUB 为再排版阅读而生——没有一个格式是为"机器理解"而生的。抽取质量与失败模式的历史,就是下游消费者(搜索引擎 → 数字图书馆 → RPA/智能文档处理 → RAG/Agent)不断逼问"格式原生语义不足"的历史。而本课题的问题意识——跨格式统一对比、元素级评测——直到 2024 年底 OmniDocBench 出现,才真正有了公共基础设施。

1.1 奠基期(1985–2008):格式诞生与规则解析器

格式诞生(1985–1999)。PDF 由 Adobe 于 1993 年 6 月 15 日随 Acrobat 1.0 发布,定位是"打印的数字化身"——页面由文本定位操作符与字形绘制指令组成,与软硬件无关(Adobe PDF 时间线、History of PDF – Wikipedia、Library of Congress fdd000277)。HTML 由 Tim Berners-Lee 于 1991 年在 CERN 发布,1995 年 HTML 2.0(RFC 1866)成为首个标准化的 HTML 版本;"同一标签既承载内容又承载表现"的先天矛盾从第一天就存在。Microsoft Word 的 .doc 采用 OLE 复合二进制格式(Word 97–2003 时代定型),闭源且实现耦合,第三方抽取只能靠逆向工程。1999 年 Open eBook Forum(2005 年更名 IDPF)发布 Open eBook Publication Structure(OEBPS)1.0,即 EPUB 的直系祖先(W3C EPUB 3 Overview、EDRLab:Open standards – EPUB)。

工具侧的起点也在此时:1995 年 12 月 Derek Noonburg(Glyph and Cog)发布 xpdf 0.2——第一个开源 PDF 查看器,其中的 pdftotext 从此成为三十年不倒的 PDF 抽取基线(xpdfreader.com/about、glyphandcog.com 开源页);Tesseract 则于 1985–1995 年在 HP 实验室作为商业级 OCR 引擎孕育(Ray Smith 论文,Google Research)。

规则解析器时代(1990s–2008)。PDF 抽取工具链成型:2002 年 Ben Litchfield 发起 PDFBox(后成 Apache 顶级项目);2004–2005 年 Yusuke Shinyama 发布纯 Python 的 pdfminer,确立"布局分析式"抽取路线;2005 年 3 月 Kristian Høgsberg 从 xpdf 3.0 fork 出 Poppler,为 Linux 桌面提供统一 PDF 渲染库,pdftotext 从此进入所有发行版(Poppler fork 宣告邮件,freedesktop.org)。HTML 侧 2004 年出现 Leonard Richardson 的 BeautifulSoup、2005 年出现 lxml,"正文/boilerplate 分离"逐步成为独立子问题。2006 年 John MacFarlane 发布 Pandoc、Kovid Goyal 发布 calibre——前者成为此后二十年文档格式互转的瑞士军刀,后者成为电子书(含 EPUB)管理的默认工具。2007 年 Apache Tika 出现,目标是"从一切格式抽文本和元数据"。学术 PDF 解析则以 2008 年 Patrice Lopez 的个人项目 GROBID(GeneRation Of BIbibliographic Data)开端,用 CRF 序列标注解析文献表头与引文,2009 年 ECDL 论文报告表头字段准确率 98.6%(GROBID 文档 Introduction、grobid.org:What is GROBID)。OCR 完成开源化:HP/UNLV 于 2005 年开源 Tesseract,2006 年 8 月 Google 接手赞助,OCR 从商业软件变成公共品(Tesseract – Wikipedia、Google 开发者博客)。

失败模式埋点。这一阶段埋下了本课题全部失败模式的种子:PDF"物理坐标 ≠ 语义顺序"(此后所有 PDF 失败模式的总根源);HTML 的标签汤(tag soup)与表现/内容混杂;DOC 二进制的不可解析性。具体表现为双栏排版下"文字顺序=物理顺序"假设崩溃、ligature(连字)与断词连字符(hyphenation)污染词元、页眉页脚与页码混入正文、.doc 只能靠 antiword/wvWare 等逆向工程滤镜。此阶段"抽取"几乎与"搜索引擎索引"同义,消费者是搜索引擎爬虫、数字图书馆与法律电子取证(eDiscovery)。

1.2 标准化红利期(2006–2014):格式第一次有了"法定语义"

失败模式的新形态:DOCX 证明"XML 化 ≠ 语义化"——标题可以只是加粗的普通段落;EPUB 阅读器碎片化(同一文件在不同阅读器渲染迥异,2.0/3.0 混存);PDF 不带标签则语义不可恢复;XHTML 严格化的失败则证明"格式应该多干净"与"现实文档长什么样"是两回事。这一阶段的驱动因素是 Kindle(2007)与 iPad(2010)掀起的电子书浪潮、政府文档开放与无障碍立法、移动阅读对"可再排版文档"的要求。

1.3 版面工程与多模态文档理解期(2012–2022)

阶段共识与失败模式:到 2019 年前后,"PDF 是打印的终态、归档格式而非交换格式;要从 PDF 恢复语义,必须 OCR+版面分析重建"成为行业共识。云 IDP 在手写、盖章、扫描噪声上表现强,但表格结构还原长期未解;这批服务在"版式化文档"(发票、表单、收据)上强大,在"连续散文型文档"上过度设计——为下一阶段的抱怨埋下伏笔。

1.4 LLM/RAG 与 VLM 直读期(2023–2026.11):本课题的"诞生时刻"

RAG(检索增强生成)让"解析质量决定回答质量"成为共识,"垃圾进、垃圾出"把文档解析从工程细节抬升为数据基础设施问题。跨格式对比抽取质量与失败模式——即本课题的问题意识——正是在此成型。

2023–2024:管线爆发与基准诞生

2025–2026:VLM 直读与小模型军备竞赛

失败模式的重心迁移:从"抽不出来"转向"抽出来但不可信"——幻觉、漏抽、顺序错乱、表格结构失真。此阶段完整的失败模式清单:VLM 视觉抽取幻觉;多栏/跨页阅读顺序错乱;公式与表格还原残缺;扫描件噪声;HTML 侧 JS 渲染页面抓不到正文;DOCX 修订记录/批注/文本框在"扁平化为 Markdown"时被静默丢弃;EPUB 的 DRM 使合法抽取本身不可行。值得注意的是,各格式的结构性缺陷(PDF 无语义、HTML 依赖渲染、DOCX 样式语义、EPUB DRM/碎片化)依旧原样存在,只是被更强的模型部分掩盖而非根治。

剪刀差:格式侧趋于稳定——EPUB 3.3 于 2023 年成为 W3C Recommendation 并纳入 ISO/IEC 23736(W3C EPUB 3.3);PDF 2.0(ISO 32000-2:2017,History of PDF – Wikipedia)之后无破坏性演进;DOCX 实践中仍以 Transitional 为主。格式层"冻结"、解析层"爆炸"的剪刀差是这一阶段的典型景观。

1.5 四种格式失败模式的演化对照

格式先天缺陷(出生自带)规则/深度学习时代(2010s–2022)LLM 时代新失败模式(2023–)
PDF坐标+字形指令,无语义、无阅读顺序双栏错序、ligature/断词、页眉页脚、表格图片化、扫描件 OCR 噪声VLM 幻觉(编造文字)、公式还原失真、跨页表格断裂
HTML表现与内容混杂、tag soup、无强制语义boilerplate(导航/广告/推荐位)、JS 动态渲染、编码陷阱Reader 服务化后质量取决于转换模型(Reader-LM 类);正文/评论/页脚边界误判
DOCX样式 ≠ 语义;前身 .doc 为封闭二进制OOXML Transitional/Strict 碎片化、修订与批注处理分歧、文本框/域代码丢失统一转换器(MarkItDown 等)把 DOCX 当次等公民,复杂结构与脚注静默降级
EPUB容器/包/内容三层元数据复杂性阅读器碎片化、spine 与 TOC 不一致、EPUB2/3 混存DRM 使合法抽取不可行;出版商非标准标记导致同版本书解析结果不一

二、横轴:横向对比——2026 年 11 月的时间截面

2.1 六条技术路线与竞争格局总览

"文档解析"要解决的是同一个问题:把人读的文件变成机器可读、可检索、可喂给大模型的结构化文本。四种主角并不是四个并列的工具,而是四种"结构信息保留程度"完全不同的载体,它们各自拉出了独立的工具市场,并在这个问题上互相构成竞品:HTML 和 EPUB 是"富语义、好解析"的对照组,DOCX 是"半结构化"的中间态,PDF 是"只存视觉、结构全靠猜"的最大难点市场——也正是过去三年文档解析赛道资本与开源火力最密集的地方。当下共有六条技术路线:

总览表(2026-11 截面):

技术路线代表方案能力上限边际成本生态成熟度典型场景
A 格式原生解析trafilatura、ebooklib、python-docx、Pandoc结构由格式保证,上限高≈0(纯 CPU)极成熟、碎片化网页抓取、电子书、Office 文档入库
B 传统 PDF 库PyMuPDF、pdfplumber、pdfminer.six原生文本 PDF 可用,扫描件无能为力≈0(纯 CPU)成熟批量原生 PDF 的轻量抽取
C 开源端到端管线MinerU、Marker、Docling、Unstructured版面/表格/公式全要素,接近生产可用GPU 推理或强 CPU快速成熟中私有化部署、大规模语料建设
D 云端解析 APIAzure DI、Reducto、LlamaParse、Mistral OCR托管 SOTA 管线,含 agentic 抽取$0.0015–0.075/页生产级 SLA企业 RAG、金融/政务文档
E 通用 VLM 直读Gemini、GPT、Claude理解力最强,无结构化输出保证按 token 计价,不可控成熟但贵单份长文档问答、低量级高价值任务
F 专用文档 VLMMinerU2.5、PaddleOCR-VL、GLM-OCR干净基准精度超通用大模型;退化输入鲁棒性塌方自建 GPU 推理(0.9–1.2B 级)2025 下半年快速崛起大规模干净文档语料、私有化批量解析

2.2 四种格式核心对比:结构存量决定失败模式

格式之间的差距,本质是"结构信息在文件里存了多少"。MDPI 2026 年的同行评审论文一针见血:"与 HTML 或 Markdown 不同,PDF 格式聚焦视觉呈现,而较少关注文本序列、段落和层级结构",这直接劣化了 RAG 分块质量(From PDF to RAG-Ready: Evaluating Document Formats)。

核心对比表:

维度HTMLEPUBDOCXPDF
结构语义显式度高(DOM 标签即语义)高(XHTML+语义标签)中高(样式系统间接表达)无(只有坐标与字形)
阅读顺序保真由 DOM 顺序保证由 spine 顺序保证由 XML 文档流保证需算法重建,双栏/跨页常错
表格HTML 表格天然结构化继承 HTML 表格OOXML 表格结构完整,合并单元格是坑全靠检测模型,是主要失败源
公式需 MathML/KaTeX 约定同 HTMLOMML,工具支持参差渲染成图像/字形,需专用 OCR
文本层可靠性无此问题无此问题无此问题扫描件无文本层,需 OCR
典型失败模式模板噪音/广告/懒加载/编码DRM、断章、编码、图片相对路径修订跟踪、样式依赖、域代码、批注丢失阅读顺序、跨页表格、页眉页脚、公式、扫描件
解析成本≈0≈0≈0原生件≈0,扫描件 $0.0015–0.075/页

HTML——竞争最成熟的原生路线,但输给"网页本身很脏"。 HTML 的结构是显式的,难点不在解析而在样板噪音剥离(导航、广告、页脚、"相关推荐")。trafilatura 官方评测显示其在文本抽取上持续领先 boilerpy3、jusText、readability、go-readability 等开源同类(trafilatura 评测页);2026 年新基准 WCXB 号称是最大的开放网页内容抽取基准,覆盖多类页面形态(WCXB 论文),其作者还发布了 Rust 重写的 rs-trafilatura,F1 比 Python 原版高约 6 个点(rs-trafilatura 博文)。HTML 路线的独特风险是内容会变:反爬、懒加载、前端框架重渲染,这使它与浏览器自动化路线(Playwright/无头浏览器)存在竞争交集。

EPUB——被严重低估的"最优输入格式",但生态工具最老化。 无 DRM 的 EPUB 本质是"改了后缀的 ZIP",内含按 spine 排序的 XHTML 文档,解压后用 BeautifulSoup 即可按逻辑阅读顺序抽取(EPUB 抽取实操)。在"抽取质量/失败模式"这把尺子上,EPUB 是四种格式里失败模式最少的:阅读顺序、层级、元数据全部显式。短板在生态:事实标准库 EbookLib(约 1.8k stars,支持 EPUB2/EPUB3)为 AGPL-3.0 许可证,且用户报告存在 Unicode 与图片处理的边角问题(EbookLib GitHub);DRM 保护的 EPUB 则是法律与工程的双重禁区,开源工具一律不碰。

DOCX——半结构化的"中间态",失败模式集中在修订与保真。 DOCX 的 XML 文档流保证了阅读顺序,样式系统携带层级语义,但三大失败模式有据可查:① 修订跟踪(track changes)——python-docx 从 2016 年起就有未解决的 issue,需要手工解析 w:ins/w:del XML 或改用 docx-revisions(python-docx issue #340、docx-revisions);② 表格保真——mammoth 走"语义 HTML"路线时有意丢弃表格尺寸、样式与合并单元格(Stack Overflow 讨论),且不支持分页概念(mammoth #178、#381);③ 工具分化——Pandoc 凭 --track-changes=accept|reject|all 原生处理修订、表格支持最强,第三方对比一致推荐 DOCX→Markdown 首选 Pandoc(Pandoc vs Mammoth 对比、mdisbetter 评测)。

PDF——唯一"没有原生结构"的格式,也是竞争最激烈的市场。 PDF 的所有失败模式(阅读顺序、双栏、跨页表格、页眉页脚污染、公式、扫描件)都源于同一个根因:文件里只有"在哪画什么字",没有"这些字怎么读"。这正是纵轴上四次范式转移反复攻坚的对象,其阵营内部的竞争见下节。

2.3 PDF 阵营的内部竞争

PDF 是四种格式中唯一需要"感知+推理"的市场,2024–2026 年间的竞争集中在三条路线上——沿用 2.1 节的编号,即路线 C(开源端到端管线)、路线 D(云端解析 API)与 2025 年下半年新增的路线 F(专用文档 VLM)。

路线 C|开源端到端管线(自建 GPU 路线)

方案许可证(代码/权重)定位与短板来源
Docling(IBM)MIT / MIT(Granite-Docling)格式覆盖最广、商用最安全;精度居中Docling 论文、Particula 许可证深评
Marker(Datalab)GPL-3.0 / RAIL-M(年收入超 $2M 需商业授权)批量吞吐最快;许可证是商用硬约束同上
MinerU(OpenDataLab)工具链自定义 / AGPL-3.0;依赖 PyMuPDF(AGPL)OmniDocBench 历史精度标杆;SaaS 商用需法务审查同上
UnstructuredApache-2.0 / 托管平台另计格式覆盖广(60+),开源库与商业平台双轨vstorm 盘点
OpenDataLoader新入局者第三方基准称其排名超过 Docling/Marker/MinerU/Unstructured(未经复测)EulerAI 基准

路线 D|云端解析 API(托管路线)——AWS Textract、Google Document AI 与 Azure DI 同属"大厂托管 OCR+结构化抽取"梯队(前两者的现行单价未逐一核实,已核实定价见 2.4 节),定价即定位。

路线 F|专用文档 VLM(新范式)——2025 年下半年起,小参数量端到端文档 VLM 接管了精度榜首。"榜单分"与"鲁棒性"是两把不同的尺子,分列两张表,口径逐格注明、互不可比:

表 1:榜单分(OmniDocBench 系,逐格注口径)

模型参数量出品方/许可证分数口径与来源
GLM-OCR0.9B智谱(zai-org),代码 Apache-2.0 / 模型权重 MIT94.6(新 SOTA,超 Gemini 3 Pro 与 GPT-5.2)OmniDocBench V1.5;LlamaIndex 博客(2026-02)转述,与其官方仓库自述的 94.62 一致
PaddleOCR-VL-1.50.9B百度94.5OmniDocBench v1.5,论文口径
MinerU2.51.2BOpenDataLab发布时称超过 Gemini 2.5 Pro 等通用大模型(具体分数见其论文,本报告未转录)OmniDocBench v1 口径(2025-09),论文
Gemini 3 Pro未公开(闭源)Google90.3(前沿实验室最佳)LlamaIndex 博客(2026-02)转述,基准版本未注明
DeepSeek-OCR(Gundam)未核实DeepSeek已被 PaddleOCR-VL 团队录入 OmniDocBench v1.5 榜单(具体分数本报告未记录)HF 讨论

表 2:鲁棒性(Docsumo 退化测试,干净 → 退化对值;与表 1 口径不可比)

模型干净文档退化文档来源
PaddleOCR-VL(前代)91.9372.19Docsumo 评测
MinerU2.590.6770.91Docsumo 评测

两组数字需要按时间口径理解:MinerU2.5 发布时(2025-09,OmniDocBench v1 口径)的卖点是"超过 Gemini 2.5 Pro 等通用大模型";到 2026-02,前沿基线已换成 Gemini 3 Pro(90.3),榜首则由 GLM-OCR(94.6)占据——并非数据矛盾,而是基线本身在半年内换了两代;另注意 v1 与 v1.5 口径的分数不可直接互比,故表 1 逐格注明口径。

Roboflow 的横向观察点破了这轮竞争的本质:0.9B 的专用模型在 OmniDocBench 上击败了 235B 参数的通用 VLM——经核对 Roboflow 原文,所指为 Qwen3-VL-235B(89.78 分,被 0.9B–1.2B 的专用模型以 95 分档超越;注意该文用的是 OmniDocBench v1.6 口径,与表 1 的 v1.5 分数不可互比)(Roboflow 开源 OCR 模型盘点);olmOCR(AI2)则代表从模型到数据全开放迭代的另一条路线(olmOCR ACL 2026 Demo)。

但"榜首分数"与"生产质量"之间有一道鲁棒性鸿沟:Docsumo 的退化文档测试显示(表 2),PaddleOCR-VL 从 91.93 掉到 72.19,MinerU2.5 从 90.67 掉到 70.91(Docsumo)——真实世界的倾斜扫描、低分辨率传真件上,榜首模型的表现塌方。这是选择任何 VLM 解析方案前必须自建脏数据测试集的原因(最小可行流程见第三章末节)。

2.4 成本结构:格式选对了,钱就省了

云端 API 的公开定价:

服务基础解析高级版面/抽取来源
Azure DI Read(纯 OCR)$1.50/千页(超 100 万页/月降至 $0.60/千页)Layout/预置模型 $10/千页;自定义 ~$30/千页Azure 定价页
Mistral OCR 3$2/千页(Batch $1/千页;初代曾为 $1/千页)标注抽取(Document AI)$3/千页;OCR 4(经 Azure AI Foundry)$4–5/千页Mistral 定价、定价文档、Azure Foundry Models 定价(Mistral)
LlamaParse标准 ~$0.003/页Premium ~$0.045–0.075/页;Auto 模式仅对复杂页升级以省约 80%LlamaIndex 定价
Reducto$0.01/页(含表格)Extract $0.02/页;Deep/Agentic ~$0.04/页Reducto 定价
Gemini 直读按 token 计价—Gemini 文档处理

表中"OCR 4(经 Azure AI Foundry)"需要单独说明:OCR 4 是 Mistral 在 OCR 3(mistral-ocr-2512)之后的新一代模型,未出现在 Mistral 自有定价页,而是经 Azure AI Foundry 模型市场售卖——标准解析 $4/千页、Annotated $5/千页(Azure Foundry Models 定价(Mistral));其发布时间与 OCR 3 的迭代关系未核实到一手公告,故不写入 1.4 时间线,仅按 Azure 定价页现行口径(2026-11)记录。

成本结构的横向结论有三层:第一层断崖在格式之间——HTML/EPUB/DOCX 原生解析是纯 CPU 的零边际成本,PDF 扫描件则要付出每千页 $1.5–75 的真金白银,所以"源头用什么格式交付"本身就是最大的成本决策;第二层断崖在 API 与自建之间——大规模语料(千万页级)下自建 0.9B 模型(PaddleOCR-VL)或 olmOCR 的 GPU 成本通常低于按页付费(盈亏平衡点取决于 GPU 利用率,未做实测);第三层是"复杂度感知路由"正在成为行业默认——LlamaParse Auto 与 Reducto 的分档定价都在把便宜模型用在简单页上,这间接承认了"多数页面并不难"。

2.5 许可证:选型的第一道门槛

工具代码许可证权重/模型许可证商用注意点
DoclingMITMIT最宽松,无营收门槛
MarkerGPL-3.0RAIL-M($2M 营收阈值)超阈值企业需购买商业授权
MinerU自定义工具链许可AGPL-3.0网络服务需开源义务;PyMuPDF 依赖叠加 AGPL
Unstructured(库)Apache-2.0—商业平台另行收费
EbookLibAGPL-3.0—EPUB 生态事实标准,但 AGPL 对 SaaS 不友好
PyMuPDFAGPL-3.0—可用商业许可证替代,费用另计
trafilaturaApache-2.0 / LGPL 兼容(组件级,未逐一核实)—社区默认可商用
PandocGPL-2.0+(二进制调用不受传染)—CLI 调用是安全的隔离模式

来源:Particula 代码与模型许可证深评、Roboflow 许可证对比、EbookLib GitHub。横向看,许可证已经从"法务 footnote"变成选型第一轮筛选条件:Docling 的 MIT 双许可(代码+权重)正是它在大企业渗透率迅速上升的直接原因;而 MinerU 虽然基准上最强,AGPL 权重+AGPL 依赖的组合让 SaaS 团队普遍绕行。

2.6 基准测试格局:一场正在爆发的评测权之争

OmniDocBench(CVPR 2025,OpenDataLab)是当前默认基准:v1 论文口径 1,651 页 PDF、覆盖学术论文/财报/教材/试卷等 9 类文档,带版面、文本、表格三层标注(OmniDocBench GitHub、论文 v2)。注意一个未能消除的口径差异:LlamaIndex 的批评文将同一基准描述为"约 1,355 页、9 类文档",与 v1 论文的 1,651 页不一致——可能是评测子集或版本口径差异,本报告如实并注。

但它有两个公认的争议:其一,它与 MinerU 同出 OpenDataLab,社区因此讨论过基准中立性(HN 讨论);其二,LlamaIndex 在 2026 年 2 月公开发难,称其已经饱和——偏重学术论文与文本/表格/公式,缺少财报演示、法律卷宗、保险单据、表单手写等真实形态;且固定编辑距离/TEDS/CDM 指标对"语义正确但字面不同"的输出判零分——他们给出了 LlamaParse 在公式表格上语义正确却只得 0.63 TEDS 的实例,并点名 OlmOCR-Bench、OCR-Bench v2 作为更难的真实世界替代基准(OmniDocBench is Saturated)。

横向解读这场评测权之争:OpenDataLab 用 OmniDocBench 把 MinerU 推上精度神坛;LlamaIndex 批评它的"精确匹配"逻辑,是在为语义保真路线(自己的产品)争夺话语权;Docsumo 的鲁棒性测试、CRKN 的低置信度词分析(OCR-Evaluations)、socOCRbench(社科文档含手写表格,评测页)则各自从垂直切口另立标准。对使用者的启示是:不要只用一个榜单选型,要用自己领域的脏数据自建评测。


三、交叉洞察:两轴合读说明了什么

1. 四种格式的竞争,本质是"结构信息存量"的竞争——纵轴的起点就是横轴的终局。 纵轴显示,四种格式在 1985–1999 年间为人类读者而生(打印、浏览、协作编辑、再排版阅读),无一为机器理解而生;横轴显示,三十多年后的工具市场结构完全由这一出生设定决定:EPUB/HTML 把结构写进文件,解析是工程问题;DOCX 半显式半隐式;PDF 把结构完全外包给视觉呈现,解析是感知问题。这解释了为什么 PDF 解析能养活一个从开源模型到云 API 的完整市场,而 EPUB 的专用第三方库近乎只有 AGPL 的 EbookLib 一个,实践中普遍退回通用 HTML 工具链(BeautifulSoup/Pandoc/calibre)——需求密度与结构存量共同决定了市场厚度。

2. 四次范式转移共用同一条驱动逻辑:谁在消费文档。 搜索引擎时代成就了 pdftotext/BeautifulSoup,数字图书馆与学术挖掘时代成就了 GROBID/Tabula,智能文档处理时代成就了 LayoutLM/云 IDP,RAG/Agent 时代则把"文档→Markdown"变成供应链基础设施,并最终催生了本课题的问题意识与公共评测设施。每一次消费者升级,都是对"格式原生语义不足"的再一次逼问;而格式的先天缺陷从未被根治,只是被每一次新范式部分掩盖。

3. 竞争焦点三年三级跳,鲁棒性鸿沟是最新一课。 2024 年竞"文本完整性",2025 年竞"版面/表格/公式"(OmniDocBench 时代),2026 年竞"语义正确性+鲁棒性"(LlamaIndex 对饱和基准的批评+退化文档测试的流行)。纵轴记录的失败模式重心迁移("抽不出来"→"抽出来但不可信")与横轴的量化证据(干净文档 91.9 分 → 退化文档 72.2 分)在同一结论上会师:榜首分数 ≠ 生产质量。基准上 0.9B 打败 235B 参数通用模型(Qwen3-VL-235B)的故事,在脏数据面前要重新讲一遍。

4. 专用小模型 vs 前沿通用 VLM 的拉锯,真实分界是吞吐量而非精度。 0.9B 专用模型在干净基准上打赢 235B 参数的通用模型(Qwen3-VL-235B),但在退化输入上塌方;Gemini 们则靠长上下文把"解析"和"理解"合并成一步,且前沿基线半年换两代(Gemini 2.5 Pro → Gemini 3 Pro)。DeepSeek-OCR 甚至把"解析"重新定义为"压缩"。两条路线将长期共存:小模型管批量语料的成本与吞吐,通用模型管单份高价值文档的理解上限。

5. 评测权之争是纵轴与横轴的交汇点:同一基准的两副面孔。 纵轴把 2024-12 的 OmniDocBench 记录为"分水岭"——它让跨工具、跨方法的统一评测第一次成为可能;横轴记录了 2026 年对它的两面夹击——中立性质疑(与 MinerU 同出 OpenDataLab)与饱和性批评(精确匹配指标对语义正确输出判零分)。这不是矛盾,而是基础设施的成熟轨迹:先有公共基准,才有对公共基准的争夺。谁定义"正确",谁就定义了市场。

6. 许可证成为比精度更早的筛选条件。 MIT(Docling)对 AGPL(MinerU/EbookLib/PyMuPDF)对 GPL+RAIL-M(Marker),先砍掉一半候选名单,再谈分数。这也是纵轴上"开源公共品传统"(Tesseract、Poppler、GROBID)在商业时代的新变体:许可证不再是法务 footnote,而是生态战略与市场准入。

对用户的判断与建议

最大的省钱与质量决策在格式层而不是解析器层。 能拿到 EPUB/DOCX/HTML 就不要拿 PDF;能拿到原生 PDF 就不要拿扫描件。解析器的军备竞赛,本质上是在为"格式选错"的下游买单(MDPI 论文、Markdown for RAG)。

场景决策矩阵(2026-11 版):

场景首选路线备选决策理由
能控制源头的知识库建设让上游交 EPUB/DOCX/HTML,转 Markdown 入库—结构自带,零解析成本
网页/在线文档语料trafilatura(或 rs-trafilatura)Jina Reader、Readability 系样板剥离精度领先(trafilatura 评测)
大规模干净扫描件/原生学术 PDF 语料自建 PaddleOCR-VL / MinerU2.5 / olmOCRDoclingGPU 摊薄成本,0.9B 模型在干净输入上已够用(Roboflow);倾斜/低分辨率等退化件见下行
企业 RAG、量小价高文档Azure DI / Reducto / LlamaParseDocling 私有化托管 SLA+复杂度路由(Reducto 指南)
金融/政务高合规私有化 Docling 或商用授权 MarkerAzure DI 专属部署许可证与数据出境约束
电子书/长篇阅读入库EPUB 直解(zip+BeautifulSoup)Calibre 转换失败模式最少的输入格式
单份高价值长文档问答Gemini 直读(1M 上下文)Claude/GPT 直读跳过解析中间损耗(Gemini 文档)
退化件:手写/表单/盖章/倾斜扫描/低分辨率传真云端 agentic 抽取(Reducto Deep)先人工预处理再走开源小模型开源小模型在退化输入上鲁棒性塌方(Docsumo)

上表"干净"与"退化件"两行的分流标准是输入图像质量而非文档数量:文本层完整的原生 PDF、图像清晰无倾斜的扫描件走自建小模型;倾斜、低分辨率、手写、盖章、传真件走云端 agentic 或人工预处理——分界依据是 2.3 节的鲁棒性鸿沟(干净 → 退化普遍下跌约 20 分)。

三条元规则收尾:① 先筛许可证,再比分数;② 不要只用一个榜单选型,用自己领域的脏数据自建评测(最小可行流程见下节);③ 结论以半年为周期滚动更新——本课题横跨的赛道里,前沿基线半年换两代、基准一年内从分水岭变成"饱和",任何静态结论的有效期都不会更长。本课题(四格式抽取质量与失败模式对比)恰好覆盖路线 A 的输入端(HTML/DOCX/EPUB 原生解析)与 B/C/D/E/F 路线共同的输入端(PDF),是所有路线的"元问题"——失败模式清单(阅读顺序、修订跟踪、样板噪音、DRM、扫描件)本身就是各家产品 README 里的 roadmap。

自建脏数据评测的最小可行流程

元规则②落在操作上是四步:

  1. 抽样(200–500 页):从自己的真实业务里抽 200–500 页文档,按文档类型配比抽样(如论文 30%、财报 20%、表单 20%、扫描合同 15%、手写/批注 15%)——不要用模型厂商的样例页,它们的"干净程度"与你的真实数据不具可比性。
  2. 分层(对齐 1.5 节失败模式清单):把样本按失败模式分层覆盖——双栏/多栏、跨页表格、公式、页眉页脚污染、扫描倾斜、低分辨率、手写、盖章、修订/批注(DOCX)、DRM(EPUB);每层至少 20–30 页,保证"干净层"与"退化层"可分开计分。
  3. 指标(复用公共基准口径):文本用编辑距离/归一化字符准确率,表格用 TEDS,公式用 CDM,阅读顺序用顺序准确率——与 OmniDocBench 同口径,便于把自建分数与榜单分对照;再加 5–10% 的人工抽检,专门核对"语义对但字面不同"被机械判零分的样本(即 2.6 节 LlamaIndex 指出的 TEDS/编辑距离盲区)。
  4. 对齐与决策:先让候选解析器在同一公开基准(如 OmniDocBench 公开子集)上跑通并校准复现性,再跑自建集,报告"干净层分 − 退化层分"的落差;落差达到两位数(Docsumo 退化测试的塌方量级为 91.9 → 72.2)即触发上文决策矩阵的分流——干净场景用开源小模型,退化场景上云端 agentic 或人工预处理。

本节是最小可行起点;更完整的评测方法论(标注规范、统计显著性、回归测试)超出本报告范围,另文展开。


四、参考来源

格式标准与历史:Adobe PDF 时间线 · History of PDF – Wikipedia · ISO 32000-1:2008 全文(Adobe 镜像) · PDF Association:ISO 32000-1 · LoC fdd000277(PDF) · Office Open XML – Wikipedia · ECMA-376 官方页 · LoC fdd000397(DOCX) · W3C EPUB 3 Overview · IDPF EPUB 3.0 Changes · LoC fdd000310(EPUB) · EDRLab:Open standards – EPUB · W3C HTML5 REC(2014) · WHATWG HTML Living Standard

解析工具与模型(早期):xpdfreader.com/about · glyphandcog.com 开源页 · Poppler fork 宣告(2005) · Tesseract – Wikipedia · Tesseract GitHub · Tesseract 社区 · Google 博客:Tesseract 赞助 · Ray Smith 论文(Google Research) · GROBID 文档 · grobid.org:What is GROBID · GROBID/INRIA 论文(HAL)

HTML 正文抽取:trafilatura 评测文档 · chuniversiteit 算法对比 · OSTI 独立评测 · WCXB 论文(2026) · rs-trafilatura 博文

2023–2024 管线:Nougat arXiv:2308.13418 · Nougat 项目页 · Nougat GitHub · Surya GitHub · Datalab blog:Marker 2 · marker-pdf PyPI · LlamaParse 发布报道 · LlamaParse 产品页 · Jina Reader · jina-ai/reader GitHub · MinerU GitHub · MinerU 论文 arXiv:2409.18839 · PDF-Extract-Kit · GOT-OCR 2.0 arXiv:2409.01704 · GOT-OCR2.0 GitHub · Docling GitHub · IBM Docling 公告 · Docling 论文 arXiv:2501.17887 · MarkItDown GitHub · unstructured.io 起源博客 · 12 款工具横评(2024-12)

文档理解模型与云服务(2019–2022):LayoutLM arXiv:1912.13318 · LayoutLM KDD 2020 版 · LayoutLMv2 ACL 2021 · LayoutLMv3 arXiv:2204.08387 · Textract 发布报道(Forbes) · Textract 文档

统一基准与 2025–2026 竞赛:OmniDocBench arXiv:2412.07626 · OmniDocBench 论文 v2 · OmniDocBench GitHub · OmniDocBench CVPR 2025 版 · olmOCR 博客(Ai2) · olmOCR ACL 2026 Demo · Mistral OCR 公告 · Mistral OCR 3 · Mistral OCR TechCrunch 报道 · SmolDocling arXiv:2503.11576 · SmolDocling HF 模型页 · Granite-Docling 公告 · MinerU2.5 arXiv:2509.22186 · MonkeyOCR GitHub · PaddleOCR-VL arXiv:2510.14528 · PaddleOCR-VL-1.5 arXiv:2601.21957 · DeepSeek-OCR arXiv:2510.18234 · PaddleOCR-VL HF 讨论(DeepSeek-OCR 入榜) · GLM-OCR 官方仓库(智谱,0.9B,代码 Apache-2.0 / 权重 MIT)

横向对比与选型:A Comparative Study of PDF Parsing Tools(arXiv 2410.09871) · PyMuPDF 官方对比 · pdfplumber GitHub · Docling vs Marker vs MinerU 对比(Medium) · Particula 代码与模型许可证深评 · vstorm:解析服务盘点 · EulerAI 基准(OpenDataLoader) · Roboflow 开源 OCR 模型盘点 · Docsumo OCR 模型评测(鲁棒性) · MDPI:From PDF to RAG-Ready · Markdown for RAG 指南 · Reducto 选型指南 · Gemini API 文档处理 · Gemini 长上下文

成本与许可证官方页:Azure Document Intelligence 定价 · Mistral 定价 · Mistral 定价文档 · LlamaIndex 定价 · Reducto 定价 · Azure Foundry Models 定价(Mistral AI,OCR 4 售卖渠道) · EbookLib GitHub(AGPL-3.0)

DOCX 工具链:python-docx issue #340(修订跟踪) · docx-revisions PyPI · mammoth 表格讨论(Stack Overflow) · mammoth issue #178 · mammoth issue #381 · Pandoc vs Mammoth 对比 · mdisbetter 评测

EPUB 抽取:EPUB 抽取实操(Medium)

基准之争与垂直评测:OmniDocBench is Saturated(LlamaIndex 博客,2026-02) · HN 中立性讨论 · CRKN OCR-Evaluations · socOCRbench 评测页

证据边界与未决事项

← 资料库今日播报 →