题记与说明
撰写日期:2026-11-04。
综合说明:本报告由同日两份章节稿综合而成——纵轴《发展脉络》(2026-11-04-文档解析技术对比-HTML-PDF-DOCX-EPUB-vertical.md)与横轴《横向对比》(2026-11-04-文档解析技术对比-HTML-PDF-DOCX-EPUB-抽取质量-horizontal.md)。综合时消除两章的重复叙述与过程性注释(正文不再保留合并过程叙事,相关核实说明归档于文末"证据边界"),并统一了四处口径差异:① Mistral OCR 定价按时间线表述(初代 $1/千页 → OCR 3 现价 $2/千页);② "专用模型超越通用大模型"的基线按时间演进表述(2025-09 MinerU2.5 超 Gemini 2.5 Pro → 2026-02 GLM-OCR 94.6 超 Gemini 3 Pro 的 90.3);③ OmniDocBench 页数在 v1 论文(1,651 页)与 LlamaIndex 批评文转述(约 1,355 页)之间不一致,文中如实并注;④ Mistral OCR 4 不在 Mistral 自有定价页的时间线上,仅有经 Azure AI Foundry 渠道的公开定价($4–5/千页),其发布时间未核实到一手公告,2.4 节单独注明。所有关键事实随文标注来源链接;未能核实的事项集中列于文末"证据边界与未决事项"。
TL;DR
四种格式的抽取质量差异,本质是"结构信息在文件里存了多少":EPUB 与 HTML 把语义显式写进文件,解析近零成本、失败模式最少;DOCX 半结构化,难点在修订跟踪与保真;PDF 只存坐标与字形,结构全靠猜,养活了最热闹的解析市场。解析历经四次范式转移:规则解析器、标准化红利、版面感知深度学习、LLM/VLM 端到端。2026-11 截面:0.9B 专用小模型在干净基准上击败通用大模型,退化输入上却集体塌方;OmniDocBench 被指饱和,评测权之争开打;许可证先于精度成为选型门槛。核心建议:最大决策在格式层而非解析器层——能拿 EPUB/DOCX/HTML 就不要拿 PDF;选解析器前,先自建脏数据评测(最小可行流程见第三章末节)。
一、纵轴:发展脉络——四次范式转移,一条驱动逻辑
1.0 主线概览
这个课题表面上比较四种格式的抽取质量,实质上记录的是同一场持续性工程演进的四个切面。三十余年间,文档解析经历了四次范式转移:
- 规则解析器时代(1990s–2008):xpdf/pdftotext、pdfminer、BeautifulSoup 这类"把字节流还原成文本"的工具,靠启发式规则硬啃。
- 标准化红利时代(2006–2014):OOXML(ECMA-376/ISO 29500)、PDF(ISO 32000-1)、EPUB 2/3、HTML5 相继标准化或开放,格式第一次有了"法定语义"。
- 版面感知深度学习时代(2012–2022):GROBID、LayoutLM 系列与云 IDP 服务把"抽取"重建为"视觉+布局+语言"的多模态识别问题。
- LLM/VLM 端到端时代(2023–今):Nougat、Marker、MinerU、Docling、Mistral OCR、PaddleOCR-VL、DeepSeek-OCR 等,让"文档→Markdown"成为大模型语料供应链的一等公民。
每一次转移的驱动因素都相同:谁在消费文档。PDF 为打印而生,HTML 为浏览而生,DOCX 为协作编辑而生,EPUB 为再排版阅读而生——没有一个格式是为"机器理解"而生的。抽取质量与失败模式的历史,就是下游消费者(搜索引擎 → 数字图书馆 → RPA/智能文档处理 → RAG/Agent)不断逼问"格式原生语义不足"的历史。而本课题的问题意识——跨格式统一对比、元素级评测——直到 2024 年底 OmniDocBench 出现,才真正有了公共基础设施。
1.1 奠基期(1985–2008):格式诞生与规则解析器
格式诞生(1985–1999)。PDF 由 Adobe 于 1993 年 6 月 15 日随 Acrobat 1.0 发布,定位是"打印的数字化身"——页面由文本定位操作符与字形绘制指令组成,与软硬件无关(Adobe PDF 时间线、History of PDF – Wikipedia、Library of Congress fdd000277)。HTML 由 Tim Berners-Lee 于 1991 年在 CERN 发布,1995 年 HTML 2.0(RFC 1866)成为首个标准化的 HTML 版本;"同一标签既承载内容又承载表现"的先天矛盾从第一天就存在。Microsoft Word 的 .doc 采用 OLE 复合二进制格式(Word 97–2003 时代定型),闭源且实现耦合,第三方抽取只能靠逆向工程。1999 年 Open eBook Forum(2005 年更名 IDPF)发布 Open eBook Publication Structure(OEBPS)1.0,即 EPUB 的直系祖先(W3C EPUB 3 Overview、EDRLab:Open standards – EPUB)。
工具侧的起点也在此时:1995 年 12 月 Derek Noonburg(Glyph and Cog)发布 xpdf 0.2——第一个开源 PDF 查看器,其中的 pdftotext 从此成为三十年不倒的 PDF 抽取基线(xpdfreader.com/about、glyphandcog.com 开源页);Tesseract 则于 1985–1995 年在 HP 实验室作为商业级 OCR 引擎孕育(Ray Smith 论文,Google Research)。
规则解析器时代(1990s–2008)。PDF 抽取工具链成型:2002 年 Ben Litchfield 发起 PDFBox(后成 Apache 顶级项目);2004–2005 年 Yusuke Shinyama 发布纯 Python 的 pdfminer,确立"布局分析式"抽取路线;2005 年 3 月 Kristian Høgsberg 从 xpdf 3.0 fork 出 Poppler,为 Linux 桌面提供统一 PDF 渲染库,pdftotext 从此进入所有发行版(Poppler fork 宣告邮件,freedesktop.org)。HTML 侧 2004 年出现 Leonard Richardson 的 BeautifulSoup、2005 年出现 lxml,"正文/boilerplate 分离"逐步成为独立子问题。2006 年 John MacFarlane 发布 Pandoc、Kovid Goyal 发布 calibre——前者成为此后二十年文档格式互转的瑞士军刀,后者成为电子书(含 EPUB)管理的默认工具。2007 年 Apache Tika 出现,目标是"从一切格式抽文本和元数据"。学术 PDF 解析则以 2008 年 Patrice Lopez 的个人项目 GROBID(GeneRation Of BIbibliographic Data)开端,用 CRF 序列标注解析文献表头与引文,2009 年 ECDL 论文报告表头字段准确率 98.6%(GROBID 文档 Introduction、grobid.org:What is GROBID)。OCR 完成开源化:HP/UNLV 于 2005 年开源 Tesseract,2006 年 8 月 Google 接手赞助,OCR 从商业软件变成公共品(Tesseract – Wikipedia、Google 开发者博客)。
失败模式埋点。这一阶段埋下了本课题全部失败模式的种子:PDF"物理坐标 ≠ 语义顺序"(此后所有 PDF 失败模式的总根源);HTML 的标签汤(tag soup)与表现/内容混杂;DOC 二进制的不可解析性。具体表现为双栏排版下"文字顺序=物理顺序"假设崩溃、ligature(连字)与断词连字符(hyphenation)污染词元、页眉页脚与页码混入正文、.doc 只能靠 antiword/wvWare 等逆向工程滤镜。此阶段"抽取"几乎与"搜索引擎索引"同义,消费者是搜索引擎爬虫、数字图书馆与法律电子取证(eDiscovery)。
1.2 标准化红利期(2006–2014):格式第一次有了"法定语义"
- OOXML/DOCX:Word 2007(Office 2007)把 .docx 设为默认格式;2006 年 12 月 Ecma 国际发布 ECMA-376 第一版(约 6045 页);2008 年获 ISO/IEC 29500 国际标准地位(与 ECMA-376:2006 存在差异),并引入 Transitional / Strict 双轨制——Strict 长期缺乏支持,成为此后十几年 DOCX 解析器碎片化的结构性根源(Office Open XML – Wikipedia、ECMA-376 官方页、LoC fdd000397)。
- PDF 开放:2007 年 1 月 Adobe 将 PDF 1.7 规范捐赠给 ISO;2008 年 7 月 1 日发布 ISO 32000-1:2008(756 页)并授予免费专利许可。此后 PDF/A(归档)、PDF/UA(无障碍)、Tagged PDF 让"语义化 PDF"成为可能,但实际存量文档中带标签者长期是少数(ISO 32000-1 全文(Adobe 镜像)、PDF Association)。
- EPUB 成型:2007 年 10 月 IDPF 批准 EPUB 2.0 取代 OEBPS(2010 年 2.0.1 维护版);2011 年 10 月 11 日 EPUB 3.0 成为 IDPF Recommendation,内容文档转向 HTML5,加入固定版式与多媒体(IDPF EPUB 3.0 Changes、LoC fdd000310)。
- HTML 双轨与 HTML5:W3C 与 WHATWG 分裂后并行推进;2014 年 10 月 28 日 HTML5 成为 W3C Recommendation,WHATWG 转向无版本号的 Living Standard,2019 年 W3C 正式承认后者为唯一 HTML 标准(W3C HTML5 REC、WHATWG HTML Living Standard)。
- 正文抽取工业级化:2009 年 Arc90 发布 Readability 书签栏脚本(后进入 Firefox/Safari 阅读模式),"把页面还原成文章"成为浏览器内置能力;2010 年 TU Dortmund 的 boilerpipe 把 boilerplate 剔除建模为文本块序列分类,摆脱纯 DOM 启发式(chuniversiteit:抽取算法对比研究、trafilatura 评测文档)。
失败模式的新形态:DOCX 证明"XML 化 ≠ 语义化"——标题可以只是加粗的普通段落;EPUB 阅读器碎片化(同一文件在不同阅读器渲染迥异,2.0/3.0 混存);PDF 不带标签则语义不可恢复;XHTML 严格化的失败则证明"格式应该多干净"与"现实文档长什么样"是两回事。这一阶段的驱动因素是 Kindle(2007)与 iPad(2010)掀起的电子书浪潮、政府文档开放与无障碍立法、移动阅读对"可再排版文档"的要求。
1.3 版面工程与多模态文档理解期(2012–2022)
- 表格抽取独立成赛道:2012 年开源工具 Tabula 针对政府 PDF 报告中的表格;2014–2015 年 pdfplumber 在 pdfminer.six 之上提供表格/几何 API;2017 年 camelot 出现。"PDF 表格还原"从此成为独立赛道。
- GROBID 学术化:与 INRIA/Laurent Romary 合作(2015 年论文),从 CRF 工具演化为学术 PDF 解析的事实标准;同期 Allen Institute for AI 推出 science-parse(GROBID/INRIA 论文(HAL))。
- OCR 神经化:Tesseract 4.0(2018 年)引入 LSTM 识别引擎,准确率大幅跃升(Tesseract 社区、GitHub)。
- 版面数据集时代:IBM 发布 PubTabNet(ICCV 2019)等大规模表格/版面数据集,"版面检测→结构识别"两段式范式确立。HTML 侧,Adrien Barbaresi 于 2019 年发布 trafilatura,融合 DOM 检查、XPath 规则与 Readability 式回退,后续评测显示其在正文抽取上综合均值最优、boilerplate 泄漏最少(trafilatura 评测、OSTI 独立研究)。
- LayoutLM 三部曲(Microsoft Research Asia):2019 年 LayoutLM(arXiv:1912.13318,KDD 2020)首次对文本+二维布局联合预训练;2021 年 LayoutLMv2(ACL 2021)加入图像模态;2022 年 LayoutLMv3(arXiv:2204.08387)用统一文本/图像掩码与 ViT patch 简化架构。"文档 AI(Document AI)"正式成为独立研究方向。
- 云 IDP 三巨头:AWS Textract 于 2018 年 11 月 28 日在 re:Invent 发布(Forbes 报道、Textract 文档);Azure Form Recognizer 2019 年 7 月 GA(2023 年更名 Document Intelligence);Google Document AI 2020–2021 年成熟。"抽取质量"第一次成为带 SLA 的商业承诺。
- 为 LLM 服务的预处理出现:2022 年 9 月 unstructured.io 开源
unstructured库,把 PDF/HTML/Word/扫描件统一为"元素流"(unstructured.io:How We Got Started);FUNSD(表单)、SROIE(收据)、CORD、DocVQA(WACV 2020)等基准奠定元素级评测习惯。
阶段共识与失败模式:到 2019 年前后,"PDF 是打印的终态、归档格式而非交换格式;要从 PDF 恢复语义,必须 OCR+版面分析重建"成为行业共识。云 IDP 在手写、盖章、扫描噪声上表现强,但表格结构还原长期未解;这批服务在"版式化文档"(发票、表单、收据)上强大,在"连续散文型文档"上过度设计——为下一阶段的抱怨埋下伏笔。
1.4 LLM/RAG 与 VLM 直读期(2023–2026.11):本课题的"诞生时刻"
RAG(检索增强生成)让"解析质量决定回答质量"成为共识,"垃圾进、垃圾出"把文档解析从工程细节抬升为数据基础设施问题。跨格式对比抽取质量与失败模式——即本课题的问题意识——正是在此成型。
2023–2024:管线爆发与基准诞生
- 2023 年 GPT-4/GPT-4V 让大模型"直接看"页面图像成为抽取选项之一,同时引入全新失败模式:幻觉——模型会"流畅地编造"页面上不存在的文字。
- 2023-08 Nougat(Meta):arXiv:2308.13418,Donut 式端到端 Visual Transformer,学术 PDF→MultiMarkdown,可还原 LaTeX 公式与表格,且不依赖文本层。"PDF→Markdown"从此成为独立产品类别(arXiv、项目页、GitHub)。
- 2023 起 Surya/Marker(Vik Paruchuri):先开源 Surya OCR(OCR+版面+阅读顺序+表格),再开源 Marker(PDF→Markdown),2024 年成立 Datalab;Marker 后重写为 Marker 2(datalab-to/surya、Datalab blog:Marker 2、marker-pdf PyPI)。
- 2024-02-20 LlamaParse:LlamaIndex 随 LlamaCloud 发布的专有解析 API,首次把"复杂 PDF 解析质量"作为 RAG 的一等公民卖点商业化(发布报道、产品页)。
- 2024-04 Jina Reader / 2024-09 Reader-LM:URL 加
r.jina.ai/前缀即得 Markdown;Reader-LM 用小语言模型替代正则清洗 HTML——HTML 抽取第一次由"规则"转交"模型"(jina.ai/reader、jina-ai/reader GitHub)。 - 2024 MinerU(OpenDataLab):以 PDF-Extract-Kit 模型套件为底座的"PDF→Markdown/JSON"全家桶,论文 arXiv:2409.18839,强调低成本高质量,成为中文社区事实上的开源标杆(GitHub、论文、PDF-Extract-Kit)。
- 2024-09 GOT-OCR 2.0:arXiv:2409.01704 提出"OCR-2.0"概念——580M 参数端到端统一模型,覆盖印刷/场景/格式化文本、表格与图表(arXiv、GitHub)。
- 2024-11-12 Docling(IBM)开源:MIT 协议,版面分析+表格结构识别的 PDF 理解管线,技术报告 arXiv:2501.17887(IBM Research 博客、GitHub、arXiv)。
- 2024-12 MarkItDown(Microsoft):12 月中开源的轻量"全格式→Markdown"工具(PDF/Word/PPT/Excel/HTML/图片/音频),为 LLM 摄取而生(GitHub)。
- 2024-12 OmniDocBench(OpenDataLab):arXiv:2412.07626——1,651 页、9 类文档来源(论文/教材/试卷/报纸/杂志/财报/笔记/幻灯片/古籍)、4 种版面类型,提供文本/公式/表格/阅读顺序的元素级标注与多层次评测,后入选 CVPR 2025。这是本课题意义上的分水岭:跨工具、跨方法的统一评测第一次成为可能。(arXiv、GitHub、CVPR 2025 论文)同期中文社区出现 12 款开源 PDF 解析工具的系统性横评,"对比评测"从论文走向大众实践(liduos.com)。
2025–2026:VLM 直读与小模型军备竞赛
- 2025-02-25 olmOCR(Ai2):用 VLM 批量把 PDF 转为"干净文本",配套发布 olmOCR-bench,成为开源评测的另一参照系;项目从模型到数据全开放迭代,后发表 ACL 2026 Demo(Ai2 博客、ACL 2026 Demo 论文)。
- 2025-03-06 Mistral OCR:宣称"世界最佳文档理解 API",初代定价 $1/千页,PDF→Markdown;2025-12-17 迭代至 Mistral OCR 3(
mistral-ocr-2512)并推出 Document AI 界面,现价 $2/千页(Batch $1/千页)(Mistral 公告、TechCrunch、Mistral OCR 3、Mistral 定价)。 - 2025-03-14 SmolDocling(IBM×Hugging Face):仅 256M 参数的端到端 VLM,输出 DoclingTags 通用标记,一次前向完成 OCR+版面+抽取(ICCV 2025);2025-09 升级为 Granite-Docling-258M(arXiv:2503.11576、HF 模型页、IBM 公告)。
- 小模型军备竞赛:2025-04 MonkeyOCR(HUST);2025-07 dots.ocr(小红书 rednote);2025-09 MinerU2.5(1.2B,arXiv:2509.22186,发布时在 OmniDocBench 上超过 Gemini 2.5 Pro 等通用大模型,ACL 2026 Industry track);2025-10-16 PaddleOCR-VL(百度,0.9B,arXiv:2510.14528,109 种语言;其 1.5 版在 OmniDocBench v1.5 报 94.5 分,arXiv:2601.21957);2025-10 DeepSeek-OCR(arXiv:2510.18234)提出"上下文光学压缩"——把长文本压成约少 10 倍的视觉 token,把"解析"重新定义为"压缩"(MinerU2.5、MonkeyOCR、PaddleOCR-VL、PaddleOCR-VL-1.5、DeepSeek-OCR)。Surya OCR 2(Datalab,650M 参数)在 olmOCR-bench 报 83.3%、91 语种评测 87.2%(datalab-to/surya)。
- 2026 年新变量:2026-02 LlamaIndex 发文称 OmniDocBench 已饱和,并报 GLM-OCR 94.6 分为新 SOTA(超过 Gemini 3 Pro 的 90.3 与 GPT-5.2;分数为该博客转述,未经原始榜单核对——但与 GLM-OCR 官方仓库自述的 OmniDocBench V1.5 94.62 分一致;GLM-OCR 为智谱 2026-02 开源的 0.9B 端到端文档 VLM,代码 Apache-2.0、模型权重 MIT);HTML 侧出现号称最大的开放网页内容抽取基准 WCXB(arXiv:2605.21097)与 Rust 重写的 rs-trafilatura(F1 比 Python 原版高约 6 个点,针对 Sphinx/Rustdoc/MDN 等文档框架做页型感知抽取)(LlamaIndex 博客、WCXB 论文、rs-trafilatura 博文)。
失败模式的重心迁移:从"抽不出来"转向"抽出来但不可信"——幻觉、漏抽、顺序错乱、表格结构失真。此阶段完整的失败模式清单:VLM 视觉抽取幻觉;多栏/跨页阅读顺序错乱;公式与表格还原残缺;扫描件噪声;HTML 侧 JS 渲染页面抓不到正文;DOCX 修订记录/批注/文本框在"扁平化为 Markdown"时被静默丢弃;EPUB 的 DRM 使合法抽取本身不可行。值得注意的是,各格式的结构性缺陷(PDF 无语义、HTML 依赖渲染、DOCX 样式语义、EPUB DRM/碎片化)依旧原样存在,只是被更强的模型部分掩盖而非根治。
剪刀差:格式侧趋于稳定——EPUB 3.3 于 2023 年成为 W3C Recommendation 并纳入 ISO/IEC 23736(W3C EPUB 3.3);PDF 2.0(ISO 32000-2:2017,History of PDF – Wikipedia)之后无破坏性演进;DOCX 实践中仍以 Transitional 为主。格式层"冻结"、解析层"爆炸"的剪刀差是这一阶段的典型景观。
1.5 四种格式失败模式的演化对照
| 格式 | 先天缺陷(出生自带) | 规则/深度学习时代(2010s–2022) | LLM 时代新失败模式(2023–) |
|---|---|---|---|
| 坐标+字形指令,无语义、无阅读顺序 | 双栏错序、ligature/断词、页眉页脚、表格图片化、扫描件 OCR 噪声 | VLM 幻觉(编造文字)、公式还原失真、跨页表格断裂 | |
| HTML | 表现与内容混杂、tag soup、无强制语义 | boilerplate(导航/广告/推荐位)、JS 动态渲染、编码陷阱 | Reader 服务化后质量取决于转换模型(Reader-LM 类);正文/评论/页脚边界误判 |
| DOCX | 样式 ≠ 语义;前身 .doc 为封闭二进制 | OOXML Transitional/Strict 碎片化、修订与批注处理分歧、文本框/域代码丢失 | 统一转换器(MarkItDown 等)把 DOCX 当次等公民,复杂结构与脚注静默降级 |
| EPUB | 容器/包/内容三层元数据复杂性 | 阅读器碎片化、spine 与 TOC 不一致、EPUB2/3 混存 | DRM 使合法抽取不可行;出版商非标准标记导致同版本书解析结果不一 |
二、横轴:横向对比——2026 年 11 月的时间截面
2.1 六条技术路线与竞争格局总览
"文档解析"要解决的是同一个问题:把人读的文件变成机器可读、可检索、可喂给大模型的结构化文本。四种主角并不是四个并列的工具,而是四种"结构信息保留程度"完全不同的载体,它们各自拉出了独立的工具市场,并在这个问题上互相构成竞品:HTML 和 EPUB 是"富语义、好解析"的对照组,DOCX 是"半结构化"的中间态,PDF 是"只存视觉、结构全靠猜"的最大难点市场——也正是过去三年文档解析赛道资本与开源火力最密集的地方。当下共有六条技术路线:
- 路线 A|格式原生解析:HTML 用 lxml/BeautifulSoup/trafilatura 直接解析 DOM;EPUB 本质是"打包的 XHTML",解压后套用 HTML 工具链;DOCX 是"打包的 OOXML",用 python-docx/mammoth/Pandoc 读样式与正文。结构信息是文件自带的,抽取几乎零边际成本。
- 路线 B|传统 PDF 解析库:pdfminer.six、PyMuPDF、pdfplumber、pypdfium 等,从 PDF 的文本对象坐标反推文本流。学术基准研究(arXiv 2410.09871)的结论是:纯文本抽取 PyMuPDF 与 pypdfium 领先,表格抽取 pdfplumber 最强(A Comparative Study of PDF Parsing Tools);速度上 PyMuPDF 比 pdfminer.six 快一个到两个数量级(PyMuPDF 官方对比、pdfplumber GitHub)。
- 路线 C|开源端到端转换管线:MinerU(OpenDataLab)、Marker(Datalab)、Docling(IBM)、Unstructured、新入局者 OpenDataLoader——输入 PDF(多数也收 DOCX/HTML/PPTX),输出 Markdown/JSON,内置版面分析、表格识别、公式 OCR。社区共识的分工是:MinerU 精度最强、Marker 批量吞吐最好、Docling 格式覆盖最广且许可证最宽松(MIT)(Docling vs Marker vs MinerU 对比)。
- 路线 D|云端解析 API:Azure Document Intelligence、AWS Textract、Google Document AI、LlamaParse(LlamaIndex)、Reducto、Mistral OCR。按页计费,把 OCR、版面、表格、阅读顺序打包成托管服务。
- 路线 E|通用多模态大模型直读:Gemini(原生视觉读 PDF,1M+ token 上下文约可一次吞 1500 页)、GPT、Claude 等,跳过"解析"中间产物,直接对原始文件提问或整体转写(Gemini API 文档处理、Gemini 长上下文)。这是对"专用解析器"最根本的替代威胁。
- 路线 F|专用文档 VLM:2025 年下半年崛起的小参数量端到端文档视觉模型(MinerU2.5、PaddleOCR-VL、GLM-OCR、DeepSeek-OCR 等),单个模型完成"页面图像 → Markdown/JSON"。它们既是路线 C 各管线的精度引擎,也是路线 E 的低成本竞争者——专用小模型打批量与成本,通用大模型打理解上限(两条路线的拉锯详见 2.3 节)。
总览表(2026-11 截面):
| 技术路线 | 代表方案 | 能力上限 | 边际成本 | 生态成熟度 | 典型场景 |
|---|---|---|---|---|---|
| A 格式原生解析 | trafilatura、ebooklib、python-docx、Pandoc | 结构由格式保证,上限高 | ≈0(纯 CPU) | 极成熟、碎片化 | 网页抓取、电子书、Office 文档入库 |
| B 传统 PDF 库 | PyMuPDF、pdfplumber、pdfminer.six | 原生文本 PDF 可用,扫描件无能为力 | ≈0(纯 CPU) | 成熟 | 批量原生 PDF 的轻量抽取 |
| C 开源端到端管线 | MinerU、Marker、Docling、Unstructured | 版面/表格/公式全要素,接近生产可用 | GPU 推理或强 CPU | 快速成熟中 | 私有化部署、大规模语料建设 |
| D 云端解析 API | Azure DI、Reducto、LlamaParse、Mistral OCR | 托管 SOTA 管线,含 agentic 抽取 | $0.0015–0.075/页 | 生产级 SLA | 企业 RAG、金融/政务文档 |
| E 通用 VLM 直读 | Gemini、GPT、Claude | 理解力最强,无结构化输出保证 | 按 token 计价,不可控 | 成熟但贵 | 单份长文档问答、低量级高价值任务 |
| F 专用文档 VLM | MinerU2.5、PaddleOCR-VL、GLM-OCR | 干净基准精度超通用大模型;退化输入鲁棒性塌方 | 自建 GPU 推理(0.9–1.2B 级) | 2025 下半年快速崛起 | 大规模干净文档语料、私有化批量解析 |
2.2 四种格式核心对比:结构存量决定失败模式
格式之间的差距,本质是"结构信息在文件里存了多少"。MDPI 2026 年的同行评审论文一针见血:"与 HTML 或 Markdown 不同,PDF 格式聚焦视觉呈现,而较少关注文本序列、段落和层级结构",这直接劣化了 RAG 分块质量(From PDF to RAG-Ready: Evaluating Document Formats)。
核心对比表:
| 维度 | HTML | EPUB | DOCX | |
|---|---|---|---|---|
| 结构语义显式度 | 高(DOM 标签即语义) | 高(XHTML+语义标签) | 中高(样式系统间接表达) | 无(只有坐标与字形) |
| 阅读顺序保真 | 由 DOM 顺序保证 | 由 spine 顺序保证 | 由 XML 文档流保证 | 需算法重建,双栏/跨页常错 |
| 表格 | HTML 表格天然结构化 | 继承 HTML 表格 | OOXML 表格结构完整,合并单元格是坑 | 全靠检测模型,是主要失败源 |
| 公式 | 需 MathML/KaTeX 约定 | 同 HTML | OMML,工具支持参差 | 渲染成图像/字形,需专用 OCR |
| 文本层可靠性 | 无此问题 | 无此问题 | 无此问题 | 扫描件无文本层,需 OCR |
| 典型失败模式 | 模板噪音/广告/懒加载/编码 | DRM、断章、编码、图片相对路径 | 修订跟踪、样式依赖、域代码、批注丢失 | 阅读顺序、跨页表格、页眉页脚、公式、扫描件 |
| 解析成本 | ≈0 | ≈0 | ≈0 | 原生件≈0,扫描件 $0.0015–0.075/页 |
HTML——竞争最成熟的原生路线,但输给"网页本身很脏"。 HTML 的结构是显式的,难点不在解析而在样板噪音剥离(导航、广告、页脚、"相关推荐")。trafilatura 官方评测显示其在文本抽取上持续领先 boilerpy3、jusText、readability、go-readability 等开源同类(trafilatura 评测页);2026 年新基准 WCXB 号称是最大的开放网页内容抽取基准,覆盖多类页面形态(WCXB 论文),其作者还发布了 Rust 重写的 rs-trafilatura,F1 比 Python 原版高约 6 个点(rs-trafilatura 博文)。HTML 路线的独特风险是内容会变:反爬、懒加载、前端框架重渲染,这使它与浏览器自动化路线(Playwright/无头浏览器)存在竞争交集。
EPUB——被严重低估的"最优输入格式",但生态工具最老化。 无 DRM 的 EPUB 本质是"改了后缀的 ZIP",内含按 spine 排序的 XHTML 文档,解压后用 BeautifulSoup 即可按逻辑阅读顺序抽取(EPUB 抽取实操)。在"抽取质量/失败模式"这把尺子上,EPUB 是四种格式里失败模式最少的:阅读顺序、层级、元数据全部显式。短板在生态:事实标准库 EbookLib(约 1.8k stars,支持 EPUB2/EPUB3)为 AGPL-3.0 许可证,且用户报告存在 Unicode 与图片处理的边角问题(EbookLib GitHub);DRM 保护的 EPUB 则是法律与工程的双重禁区,开源工具一律不碰。
DOCX——半结构化的"中间态",失败模式集中在修订与保真。 DOCX 的 XML 文档流保证了阅读顺序,样式系统携带层级语义,但三大失败模式有据可查:① 修订跟踪(track changes)——python-docx 从 2016 年起就有未解决的 issue,需要手工解析 w:ins/w:del XML 或改用 docx-revisions(python-docx issue #340、docx-revisions);② 表格保真——mammoth 走"语义 HTML"路线时有意丢弃表格尺寸、样式与合并单元格(Stack Overflow 讨论),且不支持分页概念(mammoth #178、#381);③ 工具分化——Pandoc 凭 --track-changes=accept|reject|all 原生处理修订、表格支持最强,第三方对比一致推荐 DOCX→Markdown 首选 Pandoc(Pandoc vs Mammoth 对比、mdisbetter 评测)。
PDF——唯一"没有原生结构"的格式,也是竞争最激烈的市场。 PDF 的所有失败模式(阅读顺序、双栏、跨页表格、页眉页脚污染、公式、扫描件)都源于同一个根因:文件里只有"在哪画什么字",没有"这些字怎么读"。这正是纵轴上四次范式转移反复攻坚的对象,其阵营内部的竞争见下节。
2.3 PDF 阵营的内部竞争
PDF 是四种格式中唯一需要"感知+推理"的市场,2024–2026 年间的竞争集中在三条路线上——沿用 2.1 节的编号,即路线 C(开源端到端管线)、路线 D(云端解析 API)与 2025 年下半年新增的路线 F(专用文档 VLM)。
路线 C|开源端到端管线(自建 GPU 路线)
| 方案 | 许可证(代码/权重) | 定位与短板 | 来源 |
|---|---|---|---|
| Docling(IBM) | MIT / MIT(Granite-Docling) | 格式覆盖最广、商用最安全;精度居中 | Docling 论文、Particula 许可证深评 |
| Marker(Datalab) | GPL-3.0 / RAIL-M(年收入超 $2M 需商业授权) | 批量吞吐最快;许可证是商用硬约束 | 同上 |
| MinerU(OpenDataLab) | 工具链自定义 / AGPL-3.0;依赖 PyMuPDF(AGPL) | OmniDocBench 历史精度标杆;SaaS 商用需法务审查 | 同上 |
| Unstructured | Apache-2.0 / 托管平台另计 | 格式覆盖广(60+),开源库与商业平台双轨 | vstorm 盘点 |
| OpenDataLoader | 新入局者 | 第三方基准称其排名超过 Docling/Marker/MinerU/Unstructured(未经复测) | EulerAI 基准 |
路线 D|云端解析 API(托管路线)——AWS Textract、Google Document AI 与 Azure DI 同属"大厂托管 OCR+结构化抽取"梯队(前两者的现行单价未逐一核实,已核实定价见 2.4 节),定价即定位。
路线 F|专用文档 VLM(新范式)——2025 年下半年起,小参数量端到端文档 VLM 接管了精度榜首。"榜单分"与"鲁棒性"是两把不同的尺子,分列两张表,口径逐格注明、互不可比:
表 1:榜单分(OmniDocBench 系,逐格注口径)
| 模型 | 参数量 | 出品方/许可证 | 分数 | 口径与来源 |
|---|---|---|---|---|
| GLM-OCR | 0.9B | 智谱(zai-org),代码 Apache-2.0 / 模型权重 MIT | 94.6(新 SOTA,超 Gemini 3 Pro 与 GPT-5.2) | OmniDocBench V1.5;LlamaIndex 博客(2026-02)转述,与其官方仓库自述的 94.62 一致 |
| PaddleOCR-VL-1.5 | 0.9B | 百度 | 94.5 | OmniDocBench v1.5,论文口径 |
| MinerU2.5 | 1.2B | OpenDataLab | 发布时称超过 Gemini 2.5 Pro 等通用大模型(具体分数见其论文,本报告未转录) | OmniDocBench v1 口径(2025-09),论文 |
| Gemini 3 Pro | 未公开(闭源) | 90.3(前沿实验室最佳) | LlamaIndex 博客(2026-02)转述,基准版本未注明 | |
| DeepSeek-OCR(Gundam) | 未核实 | DeepSeek | 已被 PaddleOCR-VL 团队录入 OmniDocBench v1.5 榜单(具体分数本报告未记录) | HF 讨论 |
表 2:鲁棒性(Docsumo 退化测试,干净 → 退化对值;与表 1 口径不可比)
| 模型 | 干净文档 | 退化文档 | 来源 |
|---|---|---|---|
| PaddleOCR-VL(前代) | 91.93 | 72.19 | Docsumo 评测 |
| MinerU2.5 | 90.67 | 70.91 | Docsumo 评测 |
两组数字需要按时间口径理解:MinerU2.5 发布时(2025-09,OmniDocBench v1 口径)的卖点是"超过 Gemini 2.5 Pro 等通用大模型";到 2026-02,前沿基线已换成 Gemini 3 Pro(90.3),榜首则由 GLM-OCR(94.6)占据——并非数据矛盾,而是基线本身在半年内换了两代;另注意 v1 与 v1.5 口径的分数不可直接互比,故表 1 逐格注明口径。
Roboflow 的横向观察点破了这轮竞争的本质:0.9B 的专用模型在 OmniDocBench 上击败了 235B 参数的通用 VLM——经核对 Roboflow 原文,所指为 Qwen3-VL-235B(89.78 分,被 0.9B–1.2B 的专用模型以 95 分档超越;注意该文用的是 OmniDocBench v1.6 口径,与表 1 的 v1.5 分数不可互比)(Roboflow 开源 OCR 模型盘点);olmOCR(AI2)则代表从模型到数据全开放迭代的另一条路线(olmOCR ACL 2026 Demo)。
但"榜首分数"与"生产质量"之间有一道鲁棒性鸿沟:Docsumo 的退化文档测试显示(表 2),PaddleOCR-VL 从 91.93 掉到 72.19,MinerU2.5 从 90.67 掉到 70.91(Docsumo)——真实世界的倾斜扫描、低分辨率传真件上,榜首模型的表现塌方。这是选择任何 VLM 解析方案前必须自建脏数据测试集的原因(最小可行流程见第三章末节)。
2.4 成本结构:格式选对了,钱就省了
云端 API 的公开定价:
| 服务 | 基础解析 | 高级版面/抽取 | 来源 |
|---|---|---|---|
| Azure DI Read(纯 OCR) | $1.50/千页(超 100 万页/月降至 $0.60/千页) | Layout/预置模型 $10/千页;自定义 ~$30/千页 | Azure 定价页 |
| Mistral OCR 3 | $2/千页(Batch $1/千页;初代曾为 $1/千页) | 标注抽取(Document AI)$3/千页;OCR 4(经 Azure AI Foundry)$4–5/千页 | Mistral 定价、定价文档、Azure Foundry Models 定价(Mistral) |
| LlamaParse | 标准 ~$0.003/页 | Premium ~$0.045–0.075/页;Auto 模式仅对复杂页升级以省约 80% | LlamaIndex 定价 |
| Reducto | $0.01/页(含表格) | Extract $0.02/页;Deep/Agentic ~$0.04/页 | Reducto 定价 |
| Gemini 直读 | 按 token 计价 | — | Gemini 文档处理 |
表中"OCR 4(经 Azure AI Foundry)"需要单独说明:OCR 4 是 Mistral 在 OCR 3(mistral-ocr-2512)之后的新一代模型,未出现在 Mistral 自有定价页,而是经 Azure AI Foundry 模型市场售卖——标准解析 $4/千页、Annotated $5/千页(Azure Foundry Models 定价(Mistral));其发布时间与 OCR 3 的迭代关系未核实到一手公告,故不写入 1.4 时间线,仅按 Azure 定价页现行口径(2026-11)记录。
成本结构的横向结论有三层:第一层断崖在格式之间——HTML/EPUB/DOCX 原生解析是纯 CPU 的零边际成本,PDF 扫描件则要付出每千页 $1.5–75 的真金白银,所以"源头用什么格式交付"本身就是最大的成本决策;第二层断崖在 API 与自建之间——大规模语料(千万页级)下自建 0.9B 模型(PaddleOCR-VL)或 olmOCR 的 GPU 成本通常低于按页付费(盈亏平衡点取决于 GPU 利用率,未做实测);第三层是"复杂度感知路由"正在成为行业默认——LlamaParse Auto 与 Reducto 的分档定价都在把便宜模型用在简单页上,这间接承认了"多数页面并不难"。
2.5 许可证:选型的第一道门槛
| 工具 | 代码许可证 | 权重/模型许可证 | 商用注意点 |
|---|---|---|---|
| Docling | MIT | MIT | 最宽松,无营收门槛 |
| Marker | GPL-3.0 | RAIL-M($2M 营收阈值) | 超阈值企业需购买商业授权 |
| MinerU | 自定义工具链许可 | AGPL-3.0 | 网络服务需开源义务;PyMuPDF 依赖叠加 AGPL |
| Unstructured(库) | Apache-2.0 | — | 商业平台另行收费 |
| EbookLib | AGPL-3.0 | — | EPUB 生态事实标准,但 AGPL 对 SaaS 不友好 |
| PyMuPDF | AGPL-3.0 | — | 可用商业许可证替代,费用另计 |
| trafilatura | Apache-2.0 / LGPL 兼容(组件级,未逐一核实) | — | 社区默认可商用 |
| Pandoc | GPL-2.0+(二进制调用不受传染) | — | CLI 调用是安全的隔离模式 |
来源:Particula 代码与模型许可证深评、Roboflow 许可证对比、EbookLib GitHub。横向看,许可证已经从"法务 footnote"变成选型第一轮筛选条件:Docling 的 MIT 双许可(代码+权重)正是它在大企业渗透率迅速上升的直接原因;而 MinerU 虽然基准上最强,AGPL 权重+AGPL 依赖的组合让 SaaS 团队普遍绕行。
2.6 基准测试格局:一场正在爆发的评测权之争
OmniDocBench(CVPR 2025,OpenDataLab)是当前默认基准:v1 论文口径 1,651 页 PDF、覆盖学术论文/财报/教材/试卷等 9 类文档,带版面、文本、表格三层标注(OmniDocBench GitHub、论文 v2)。注意一个未能消除的口径差异:LlamaIndex 的批评文将同一基准描述为"约 1,355 页、9 类文档",与 v1 论文的 1,651 页不一致——可能是评测子集或版本口径差异,本报告如实并注。
但它有两个公认的争议:其一,它与 MinerU 同出 OpenDataLab,社区因此讨论过基准中立性(HN 讨论);其二,LlamaIndex 在 2026 年 2 月公开发难,称其已经饱和——偏重学术论文与文本/表格/公式,缺少财报演示、法律卷宗、保险单据、表单手写等真实形态;且固定编辑距离/TEDS/CDM 指标对"语义正确但字面不同"的输出判零分——他们给出了 LlamaParse 在公式表格上语义正确却只得 0.63 TEDS 的实例,并点名 OlmOCR-Bench、OCR-Bench v2 作为更难的真实世界替代基准(OmniDocBench is Saturated)。
横向解读这场评测权之争:OpenDataLab 用 OmniDocBench 把 MinerU 推上精度神坛;LlamaIndex 批评它的"精确匹配"逻辑,是在为语义保真路线(自己的产品)争夺话语权;Docsumo 的鲁棒性测试、CRKN 的低置信度词分析(OCR-Evaluations)、socOCRbench(社科文档含手写表格,评测页)则各自从垂直切口另立标准。对使用者的启示是:不要只用一个榜单选型,要用自己领域的脏数据自建评测。
三、交叉洞察:两轴合读说明了什么
1. 四种格式的竞争,本质是"结构信息存量"的竞争——纵轴的起点就是横轴的终局。 纵轴显示,四种格式在 1985–1999 年间为人类读者而生(打印、浏览、协作编辑、再排版阅读),无一为机器理解而生;横轴显示,三十多年后的工具市场结构完全由这一出生设定决定:EPUB/HTML 把结构写进文件,解析是工程问题;DOCX 半显式半隐式;PDF 把结构完全外包给视觉呈现,解析是感知问题。这解释了为什么 PDF 解析能养活一个从开源模型到云 API 的完整市场,而 EPUB 的专用第三方库近乎只有 AGPL 的 EbookLib 一个,实践中普遍退回通用 HTML 工具链(BeautifulSoup/Pandoc/calibre)——需求密度与结构存量共同决定了市场厚度。
2. 四次范式转移共用同一条驱动逻辑:谁在消费文档。 搜索引擎时代成就了 pdftotext/BeautifulSoup,数字图书馆与学术挖掘时代成就了 GROBID/Tabula,智能文档处理时代成就了 LayoutLM/云 IDP,RAG/Agent 时代则把"文档→Markdown"变成供应链基础设施,并最终催生了本课题的问题意识与公共评测设施。每一次消费者升级,都是对"格式原生语义不足"的再一次逼问;而格式的先天缺陷从未被根治,只是被每一次新范式部分掩盖。
3. 竞争焦点三年三级跳,鲁棒性鸿沟是最新一课。 2024 年竞"文本完整性",2025 年竞"版面/表格/公式"(OmniDocBench 时代),2026 年竞"语义正确性+鲁棒性"(LlamaIndex 对饱和基准的批评+退化文档测试的流行)。纵轴记录的失败模式重心迁移("抽不出来"→"抽出来但不可信")与横轴的量化证据(干净文档 91.9 分 → 退化文档 72.2 分)在同一结论上会师:榜首分数 ≠ 生产质量。基准上 0.9B 打败 235B 参数通用模型(Qwen3-VL-235B)的故事,在脏数据面前要重新讲一遍。
4. 专用小模型 vs 前沿通用 VLM 的拉锯,真实分界是吞吐量而非精度。 0.9B 专用模型在干净基准上打赢 235B 参数的通用模型(Qwen3-VL-235B),但在退化输入上塌方;Gemini 们则靠长上下文把"解析"和"理解"合并成一步,且前沿基线半年换两代(Gemini 2.5 Pro → Gemini 3 Pro)。DeepSeek-OCR 甚至把"解析"重新定义为"压缩"。两条路线将长期共存:小模型管批量语料的成本与吞吐,通用模型管单份高价值文档的理解上限。
5. 评测权之争是纵轴与横轴的交汇点:同一基准的两副面孔。 纵轴把 2024-12 的 OmniDocBench 记录为"分水岭"——它让跨工具、跨方法的统一评测第一次成为可能;横轴记录了 2026 年对它的两面夹击——中立性质疑(与 MinerU 同出 OpenDataLab)与饱和性批评(精确匹配指标对语义正确输出判零分)。这不是矛盾,而是基础设施的成熟轨迹:先有公共基准,才有对公共基准的争夺。谁定义"正确",谁就定义了市场。
6. 许可证成为比精度更早的筛选条件。 MIT(Docling)对 AGPL(MinerU/EbookLib/PyMuPDF)对 GPL+RAIL-M(Marker),先砍掉一半候选名单,再谈分数。这也是纵轴上"开源公共品传统"(Tesseract、Poppler、GROBID)在商业时代的新变体:许可证不再是法务 footnote,而是生态战略与市场准入。
对用户的判断与建议
最大的省钱与质量决策在格式层而不是解析器层。 能拿到 EPUB/DOCX/HTML 就不要拿 PDF;能拿到原生 PDF 就不要拿扫描件。解析器的军备竞赛,本质上是在为"格式选错"的下游买单(MDPI 论文、Markdown for RAG)。
场景决策矩阵(2026-11 版):
| 场景 | 首选路线 | 备选 | 决策理由 |
|---|---|---|---|
| 能控制源头的知识库建设 | 让上游交 EPUB/DOCX/HTML,转 Markdown 入库 | — | 结构自带,零解析成本 |
| 网页/在线文档语料 | trafilatura(或 rs-trafilatura) | Jina Reader、Readability 系 | 样板剥离精度领先(trafilatura 评测) |
| 大规模干净扫描件/原生学术 PDF 语料 | 自建 PaddleOCR-VL / MinerU2.5 / olmOCR | Docling | GPU 摊薄成本,0.9B 模型在干净输入上已够用(Roboflow);倾斜/低分辨率等退化件见下行 |
| 企业 RAG、量小价高文档 | Azure DI / Reducto / LlamaParse | Docling 私有化 | 托管 SLA+复杂度路由(Reducto 指南) |
| 金融/政务高合规 | 私有化 Docling 或商用授权 Marker | Azure DI 专属部署 | 许可证与数据出境约束 |
| 电子书/长篇阅读入库 | EPUB 直解(zip+BeautifulSoup) | Calibre 转换 | 失败模式最少的输入格式 |
| 单份高价值长文档问答 | Gemini 直读(1M 上下文) | Claude/GPT 直读 | 跳过解析中间损耗(Gemini 文档) |
| 退化件:手写/表单/盖章/倾斜扫描/低分辨率传真 | 云端 agentic 抽取(Reducto Deep) | 先人工预处理再走开源小模型 | 开源小模型在退化输入上鲁棒性塌方(Docsumo) |
上表"干净"与"退化件"两行的分流标准是输入图像质量而非文档数量:文本层完整的原生 PDF、图像清晰无倾斜的扫描件走自建小模型;倾斜、低分辨率、手写、盖章、传真件走云端 agentic 或人工预处理——分界依据是 2.3 节的鲁棒性鸿沟(干净 → 退化普遍下跌约 20 分)。
三条元规则收尾:① 先筛许可证,再比分数;② 不要只用一个榜单选型,用自己领域的脏数据自建评测(最小可行流程见下节);③ 结论以半年为周期滚动更新——本课题横跨的赛道里,前沿基线半年换两代、基准一年内从分水岭变成"饱和",任何静态结论的有效期都不会更长。本课题(四格式抽取质量与失败模式对比)恰好覆盖路线 A 的输入端(HTML/DOCX/EPUB 原生解析)与 B/C/D/E/F 路线共同的输入端(PDF),是所有路线的"元问题"——失败模式清单(阅读顺序、修订跟踪、样板噪音、DRM、扫描件)本身就是各家产品 README 里的 roadmap。
自建脏数据评测的最小可行流程
元规则②落在操作上是四步:
- 抽样(200–500 页):从自己的真实业务里抽 200–500 页文档,按文档类型配比抽样(如论文 30%、财报 20%、表单 20%、扫描合同 15%、手写/批注 15%)——不要用模型厂商的样例页,它们的"干净程度"与你的真实数据不具可比性。
- 分层(对齐 1.5 节失败模式清单):把样本按失败模式分层覆盖——双栏/多栏、跨页表格、公式、页眉页脚污染、扫描倾斜、低分辨率、手写、盖章、修订/批注(DOCX)、DRM(EPUB);每层至少 20–30 页,保证"干净层"与"退化层"可分开计分。
- 指标(复用公共基准口径):文本用编辑距离/归一化字符准确率,表格用 TEDS,公式用 CDM,阅读顺序用顺序准确率——与 OmniDocBench 同口径,便于把自建分数与榜单分对照;再加 5–10% 的人工抽检,专门核对"语义对但字面不同"被机械判零分的样本(即 2.6 节 LlamaIndex 指出的 TEDS/编辑距离盲区)。
- 对齐与决策:先让候选解析器在同一公开基准(如 OmniDocBench 公开子集)上跑通并校准复现性,再跑自建集,报告"干净层分 − 退化层分"的落差;落差达到两位数(Docsumo 退化测试的塌方量级为 91.9 → 72.2)即触发上文决策矩阵的分流——干净场景用开源小模型,退化场景上云端 agentic 或人工预处理。
本节是最小可行起点;更完整的评测方法论(标注规范、统计显著性、回归测试)超出本报告范围,另文展开。
四、参考来源
格式标准与历史:Adobe PDF 时间线 · History of PDF – Wikipedia · ISO 32000-1:2008 全文(Adobe 镜像) · PDF Association:ISO 32000-1 · LoC fdd000277(PDF) · Office Open XML – Wikipedia · ECMA-376 官方页 · LoC fdd000397(DOCX) · W3C EPUB 3 Overview · IDPF EPUB 3.0 Changes · LoC fdd000310(EPUB) · EDRLab:Open standards – EPUB · W3C HTML5 REC(2014) · WHATWG HTML Living Standard
解析工具与模型(早期):xpdfreader.com/about · glyphandcog.com 开源页 · Poppler fork 宣告(2005) · Tesseract – Wikipedia · Tesseract GitHub · Tesseract 社区 · Google 博客:Tesseract 赞助 · Ray Smith 论文(Google Research) · GROBID 文档 · grobid.org:What is GROBID · GROBID/INRIA 论文(HAL)
HTML 正文抽取:trafilatura 评测文档 · chuniversiteit 算法对比 · OSTI 独立评测 · WCXB 论文(2026) · rs-trafilatura 博文
2023–2024 管线:Nougat arXiv:2308.13418 · Nougat 项目页 · Nougat GitHub · Surya GitHub · Datalab blog:Marker 2 · marker-pdf PyPI · LlamaParse 发布报道 · LlamaParse 产品页 · Jina Reader · jina-ai/reader GitHub · MinerU GitHub · MinerU 论文 arXiv:2409.18839 · PDF-Extract-Kit · GOT-OCR 2.0 arXiv:2409.01704 · GOT-OCR2.0 GitHub · Docling GitHub · IBM Docling 公告 · Docling 论文 arXiv:2501.17887 · MarkItDown GitHub · unstructured.io 起源博客 · 12 款工具横评(2024-12)
文档理解模型与云服务(2019–2022):LayoutLM arXiv:1912.13318 · LayoutLM KDD 2020 版 · LayoutLMv2 ACL 2021 · LayoutLMv3 arXiv:2204.08387 · Textract 发布报道(Forbes) · Textract 文档
统一基准与 2025–2026 竞赛:OmniDocBench arXiv:2412.07626 · OmniDocBench 论文 v2 · OmniDocBench GitHub · OmniDocBench CVPR 2025 版 · olmOCR 博客(Ai2) · olmOCR ACL 2026 Demo · Mistral OCR 公告 · Mistral OCR 3 · Mistral OCR TechCrunch 报道 · SmolDocling arXiv:2503.11576 · SmolDocling HF 模型页 · Granite-Docling 公告 · MinerU2.5 arXiv:2509.22186 · MonkeyOCR GitHub · PaddleOCR-VL arXiv:2510.14528 · PaddleOCR-VL-1.5 arXiv:2601.21957 · DeepSeek-OCR arXiv:2510.18234 · PaddleOCR-VL HF 讨论(DeepSeek-OCR 入榜) · GLM-OCR 官方仓库(智谱,0.9B,代码 Apache-2.0 / 权重 MIT)
横向对比与选型:A Comparative Study of PDF Parsing Tools(arXiv 2410.09871) · PyMuPDF 官方对比 · pdfplumber GitHub · Docling vs Marker vs MinerU 对比(Medium) · Particula 代码与模型许可证深评 · vstorm:解析服务盘点 · EulerAI 基准(OpenDataLoader) · Roboflow 开源 OCR 模型盘点 · Docsumo OCR 模型评测(鲁棒性) · MDPI:From PDF to RAG-Ready · Markdown for RAG 指南 · Reducto 选型指南 · Gemini API 文档处理 · Gemini 长上下文
成本与许可证官方页:Azure Document Intelligence 定价 · Mistral 定价 · Mistral 定价文档 · LlamaIndex 定价 · Reducto 定价 · Azure Foundry Models 定价(Mistral AI,OCR 4 售卖渠道) · EbookLib GitHub(AGPL-3.0)
DOCX 工具链:python-docx issue #340(修订跟踪) · docx-revisions PyPI · mammoth 表格讨论(Stack Overflow) · mammoth issue #178 · mammoth issue #381 · Pandoc vs Mammoth 对比 · mdisbetter 评测
EPUB 抽取:EPUB 抽取实操(Medium)
基准之争与垂直评测:OmniDocBench is Saturated(LlamaIndex 博客,2026-02) · HN 中立性讨论 · CRKN OCR-Evaluations · socOCRbench 评测页
证据边界与未决事项
- OmniDocBench 页数口径:v1 论文 1,651 页 vs LlamaIndex 批评文转述约 1,355 页,两者不一致且未能消除(可能为评测子集或版本口径差异),正文已如实并注。
- MinerU 首次开源的确切月份:纵轴章节检索只能确认论文为 2024 年 9 月(arXiv:2409.18839)及 2024 年内密集发版(如 2024-09-09 的 v0.8.0),首次公开日期未回溯到一手发布页,正文按"2024 年"表述。
- pdfminer、BeautifulSoup、Pandoc、calibre、PDFBox 的年份:来自广泛的技术史共识,未逐一回溯一手发布记录,仅供定位参考。
- GPT-4V 文档幻觉的定量研究、PyMuPDF4LLM 等商业/非开源线的时间线未单独核实,正文未给出具体日期。
- MonkeyOCR v2(2026,0.7B)的 SOTA 声明仅来自其 GitHub 仓库自述,未经第三方评测交叉验证。
- GLM-OCR:出品方(智谱/zai-org)、参数量(0.9B)、许可证(代码 Apache-2.0、模型权重 MIT)与 OmniDocBench V1.5 自述分数(94.62)已通过其 GitHub 官方仓库核实(2026-11-04);LlamaIndex 博客转述的 94.6 分仍未直接核对原始榜单。
- Mistral OCR 4 的发布时间未核实到一手公告,其"经 Azure AI Foundry 售卖、$4–5/千页"的定价取自 Azure 定价页现行口径(2026-11),与 Mistral 自有定价页的时间线相互独立,正文已按此注明。
- Qwen3-VL-235B 的 89.78 分来自 Roboflow 盘点文转述(OmniDocBench v1.6 口径),未直接核对原始榜单。
- OpenDataLoader 的"排名第一"仅来自第三方博客基准(EulerAI),本会话未复测,其许可证细节未核实。
- trafilatura 的确切许可证组件构成(Apache-2.0 主体+LGPL 组件)未逐一核实,表中已标注;EbookLib 的 AGPL-3.0 经抓取其 GitHub 仓库页核实(原正文中的核实过程注释已归档至本节)。
- AWS Textract、Google Document AI 的现行单价未单独核实,仅作定性提及;LlamaParse Premium 定价存在区间($0.045–0.075/页),因其积分制历史上多次调整,以官方页实时为准。
- 自建 GPU 与云 API 的盈亏平衡点未做实测,相关表述为方向性判断;Docsumo 鲁棒性测试所用退化集的具体构成未见完整披露,横向可比性有限。
- olmOCR、DeepSeek-OCR-2 的参数量与开源条款未逐一核实;Claude/GPT 的原生文件理解能力细节未在检索中核实,路线 E 的对比以 Gemini 为主依据。
- PaddleOCR-VL 1.5 的 94.5 分:纵轴章节原为检索转述、建议以 arXiv 为准;横轴章节已补 arXiv:2601.21957 论文链接,本报告采用论文口径,但未逐页核对论文原文。
- 2026 年 1 月至 11 月的最新动态覆盖有限,若有 2026 年中的重大发布(新基准、新模型)未列入,属检索覆盖范围所致,非有意遗漏。