重排序模型工程：cross-encoder、LLM reranker 与规则融合的成本边界 未开始

题记与说明

综合报告（修订定稿） · 时间截面与检索时间：2026-11-04 · 本稿按独立审读意见逐条修订（修订记录见文末第五节），未删减初稿内容
本文由同日两份章节研究综合而成：纵轴《发展全史》（2026-11-04-重排序模型工程-cross-encoder-LLM-reranker-成本边界-vertical.md）与横轴《横向对比》（2026-11-04-重排序模型工程横向对比-cross-encoder-LLM-reranker-规则融合-horizontal.md）。所有关键事实均来自两章会话内实际执行的网络检索（WebSearch）与网页读取（WebFetch），来源 URL 随文附注并汇总于文末；凡取自模型既有知识、未能在线核验的条目均单独标注，并汇总于文末"诚实声明"。两章之间的口径冲突（同一模型不同 BEIR 分数、LLM reranker 延迟的数量级差异、榜单聚合口径差异）已在正文统一口径或明确并陈。

TL;DR

重排序的"成本边界"是一条不断被重画的线——全时间线自1994年规则融合起算，RRF自2009年已17年，神经cross-encoder精排自2019年已7年。纵轴：cross-encoder（2019）确立逐对精排范式后，late-interaction、listwise LLM、推理链reranker轮番冲高质量上限，又都被蒸馏与RL压回小模型量级的"新默认"；计价从按次（约$2/1K）走向按token（$0.02–0.05/1M）与自托管摊销。横轴：0.6B–1.5B的CE与4B LLM在BEIR打平，LLM溢价只剩指令定制与领域盲区，代价3–4.5倍时延；自托管满载比API便宜约百倍但利用率敏感，月查询几百万次是分水岭。默认解：RRF融合召回、小CE精排top-50~100、仅对路由判据命中的疑难查询上LLM（判据现状与缺口见3.5节附注）。

一、纵轴：发展脉络（1994–2026）

重排序（reranking）是"先粗排、后精排"两阶段检索范式的第二级：第一级用 BM25、稠密向量或多向量检索从百万级文档里召回 top-N 候选，第二级用更强的打分器对这 N 条逐一重排。课题关注的"成本边界"是三类精排器在精度/延迟/费用三维空间里的取舍：

1. cross-encoder（CE）：query 与文档拼接过编码器，逐对打分。精度高，但计算量随候选数×长度线性增长，是"逐对成本"模型；
2. LLM reranker：用生成式大模型做 pointwise/pairwise/listwise 排序。质量上限最高，但成本惩罚取决于部署方式：走"调前沿 LLM 的滑窗 listwise"路线时，延迟与 token 费用通常比专用 CE 高 1–2 个数量级；自托管开源 4B 级生成式 reranker 的惩罚小得多——时延约为小 CE 的 3–4.5 倍（口径见 2.4 节"LLM reranker 的成本惩罚"）；
3. 规则融合：CombSUM/CombMNZ、RRF（倒数排名融合）等纯算法层融合，近乎零成本，但只做名单合并、不做语义重打分。

这三条技术线在 1994 年以来的三十余年里轮番成为主轴（规则融合线最老，神经 CE 线 2019 年起、LLM reranker 线 2023 年起），而每一次换轴，都由一次"成本结构变化"驱动。

1.1 前史（1994–2018）：规则融合与 Learning to Rank 奠定地基

• 1994：Fox & Shaw 提出 CombSUM / CombMNZ，是最早的多路检索结果融合规则——"规则融合"一词的历史起点（据模型既有知识，未在线核验）。
• 2009：Cormack 等人在 SIGIR 2009 发表 RRF（Reciprocal Rank Fusion），证明按 1/(k+rank) 融合多路名单优于单路学习排序，k=60 从此成为工程默认值。DOI: 10.1145/1571941.1572114（论文细节为模型既有知识，本会话未重新核验原文）。
• 2010：Burges 的《From RankNet to LambdaRank to LambdaMART》（MSR-TR-2010-82，报告号据模型既有知识）把 pairwise LTR 推到工业可用（XGBoost/RankLib 时代）。这一代"精排器"吃的是人工特征，与今天的神经 reranker 无关——它们留下的遗产是"两阶段 + 特征工程"的流水线思想。
• 同期：BM25（Robertson & Zaragoza 2009 综述《The Probabilistic Relevance Framework: BM25 and Beyond》，据模型既有知识，本会话未核验原文）确立为第一级检索的标准基线，这一地位延续至今。

驱动因素：搜索引擎产业的排序质量竞赛。此时"成本"只指特征工程与离线训练成本，推理成本尚不是变量。

1.2 阶段一（2019–2022）：cross-encoder 确立范式，late-interaction 首次"降本"

• 2019-01：Nogueira & Cho《Passage Re-ranking with BERT》（arXiv:1901.04085，https://arxiv.org/abs/1901.04085 ）把 BERT 当逐对分类器用于 MS MARCO，一举刷新纪录。这是现代 cross-encoder reranker 的原点，"两阶段 retrieve-then-rerank"从此有了神经版本。
• 2019：后续工作（monoBERT、duoBERT 等）系统化了"CE 打分 + 派生特征"的多阶段结构；Poly-encoders（arXiv:1905.01969，https://arxiv.org/abs/1905.01969 ）首次显式讨论"精度–推理成本"连续谱：bi-encoder 最快、cross-encoder 最准、中间态可调。
• 2019-08：SBERT/sentence-transformers 开源（arXiv:1908.10084，https://arxiv.org/abs/1908.10084 ），其 CrossEncoder 模块后来提供了 ms-marco-MiniLM-L-6-v2 等级的小型 CE（约 2200 万参数、毫秒级延迟），让"廉价精排"在开源侧普及。
• 2020-04：ColBERT（SIGIR 2020，arXiv:2004.12832，https://arxiv.org/abs/2004.12832 ）提出 late-interaction：保留 token 级向量、用 MaxSim 延迟交互，精度逼近 CE 而成本接近双塔——这是第一条在 CE 与"不重排"之间铺出来的成本中间道路。
• 2021-03：MonoT5（arXiv:2103.09532，https://arxiv.org/abs/2103.09532 ）把 reranker 换成 seq2seq 大模型，预告了"用生成模型打分"的路线。
• 2021-04：BEIR 基准（arXiv:2104.08663，https://arxiv.org/abs/2104.08663 ）发布，证明 BM25 零样本下极强，把"精排器带来多少增益"变成可量化命题，间接催生了此后所有 reranker 榜单文化。
• 2021-12 / 2022-05：ColBERTv2（arXiv:2112.01488，残差压缩）与 PLAID（arXiv:2205.09707，NeurIPS 2022）把 late-interaction 的存储与延迟成本再压一个数量级，多向量精排成为重负载场景的替代选项。

阶段结论：CE 赢得精度，但"逐对算 query×doc"的成本天花板也在此定型；社区第一次认真回答"精排值得花多少算力"——答案是 late interaction 这类折中架构。

1.3 阶段二（2023–2024 初）：RAG 爆发，三条线同场竞技

2022 年底 ChatGPT 引爆 RAG，reranker 从搜索引擎的内部组件变成每个 RAG 应用的标配层。2023 年是三条技术线同一年内齐齐登场的一年：

• 2023-05-01：Cohere 上线 Rerank 端点（https://cohere.com/blog/rerank ），商用 rerank-as-a-service 从此有锚点，按搜索次数计费。
• 2023-04：RankGPT（arXiv:2304.09542，EMNLP 2023，https://arxiv.org/abs/2304.09542 ）提出 listwise 排序提示 + 滑动窗口，并首次系统论证"GPT-4 的排序能力可蒸馏进 4 亿级小模型"——为后来所有"LLM 质量卖 CE 价格"的工作定调。
• 2023-06：PRP（pairwise ranking prompting，NAACL 2024 Findings，https://aclanthology.org/2024.findings-naacl.97.pdf ）补上 pairwise 提示路线。
• 2023-07：《Lost in the Middle》（arXiv:2307.03172，https://arxiv.org/abs/2307.03172 ）证明 LLM 对长上下文中部信息盲视，直接把"必须重排 + 把金块放在窗口头部"变成 RAG 工程共识。
• 2023-06：Elasticsearch 8.8 把 RRF 引入混合搜索 API（technical preview），8.14（2024 年中）GA（https://pureinsights.com/blog/2023/elasticsearch-8-8-highlights ；https://www.elastic.co/docs/reference/elasticsearch/rest-apis/reciprocal-rank-fusion ）——规则融合从论文算法变成数据库产品开关；Weaviate 在 v1.20 前后（2024 年初）于混合检索中提供 rankedFusion（RRF）与 relativeScoreFusion 两种融合算法——精确引入版本介于 v1.19–v1.20 之间，本文统一表述为"v1.20 前后已可用"（https://weaviate.io/blog/hybrid-search-for-web-developers ；版本号级证据缺失见 4.2-8）。
• 2023 年下半年开源侧：BAAI FlagEmbedding 发布 bge-reranker 系列（后演化出基于 bge-m3 的 bge-reranker-v2-m3，https://huggingface.co/BAAI/bge-reranker-v2-m3 ），中文开源 CE 生态成形；12 月出现 FlashRank——无 Torch 依赖、纯 ONNX、CPU 毫秒级的极轻 reranker 库（https://github.com/PrithivirajDamodaran/FlashRank ）；RankZephyr（arXiv:2312.02724，据模型既有知识）把 listwise LLM 排序做进 7B 开源模型。
• 2023-11：Azure AI Search 将"semantic search"更名为"semantic ranker"，云厂商首次把 L2 重排做成托管开关。

阶段结论：驱动因素是 RAG 应用潮 + 上下文窗口经济学（喂给 LLM 的每个 token 都要钱，精排器用毫秒级计算换掉了上下文里的垃圾 token）。三条线的成本画像在此定型：CE 每对一次前向；LLM reranker 走"调前沿 LLM 做滑窗 listwise"路线时，社区实测单查询 4–8 秒、50–100 次并发 API 调用（第三方博客口径，量级可信、绝对值随模型与批次变化，https://www.linkedin.com/pulse/how-we-built-cross-encoder-reranker-matches-llm-quality-oxomc ）；RRF 接近免费但只做融合。

1.4 阶段三（2024）：开源爆发、云托管化与"轻量化"竞赛

• 2024-03-12：Answer.AI（Ben Clavié）发布 rerankers 库，用一个统一 API 包装 CE、ColBERT 式、LLM 式所有 reranker（https://github.com/AnswerDotAI/rerankers ；论文 arXiv:2408.17344）——工程侧开始"去绑定"。
• 2024-04：Cohere Rerank 3 发布（确切日据模型既有知识，未核验），主打延迟降为前代 1/2–1/3、更长上下文与多语言增强（https://cohere.com/blog/rerank ）。
• 2024-06-25：Jina AI 发布 jina-reranker-v2-base-multilingual，定位 Agentic RAG，支持函数调用与代码检索（https://jina.ai/news/jina-reranker-v2-for-agentic-rag-ultra-fast-multilingual-function-calling-and-code-search ；https://huggingface.co/jinaai/jina-reranker-v2-base-multilingual ）。
• 2024-06/07：BAAI 发布 bge-reranker-v2.5-gemma2-lightweight：把 9B 级 LLM 改造成 CE，用 token 压缩 + 分层选择把推理成本压回小模型量级（https://huggingface.co/BAAI/bge-reranker-v2.5-gemma2-lightweight ）——"LLM 化的 CE"与"CE 化的 LLM"开始互相渗透。同期 Google 提出 MUVERA（arXiv:2406.19674，据模型既有知识），把多向量检索近似为单向量以降低第一级成本。
• 2024-07：Azure AI Search 夏季更新用更强（LLM 级）模型升级 semantic ranker 的 L2 排序质量；11 月再上查询改写。云厂商的精排从"一个开关"变成"一个持续迭代的模型资产"。
• 2024-09：mixedbread 发布 mxbai-rerank-large-v1（据模型既有知识），开源侧首次把"BEIR 榜单 + 自家延迟表"作为卖点双指标发布。
• 2024-10-29：Weaviate 1.27 发布（https://weaviate.io/blog/weaviate-1-27-release ），多目标向量搜索等能力继续把融合/精排下沉进数据库。
• 2024-12-01/02：re:Invent 周，Amazon Bedrock 上线 Rerank API，同时提供 Amazon Rerank 1.0 与 Cohere Rerank 3.5（https://aws.amazon.com/blogs/machine-learning/cohere-rerank-3-5-is-now-available-in-amazon-bedrock-through-rerank-api ；https://aws-news.com/article/2024-12-01-amazon-bedrock-now-supports-rerank-api-to-improve-accuracy-of-rag-applications ）；Cohere Rerank 3.5 同步发布，官方宣称比混合检索 +23.4%、比 BM25 +30.8%（https://cohere.com/blog/rerank-3pt5 ；https://www.hpcwire.com/bigdatawire/this-just-in/cohere-releases-rerank-3-5-with-enhanced-reasoning-and-multilingual-capabilities ）。至此"rerank 即服务"被 AWS/Oracle/Azure 全部收编。

阶段结论：驱动因素是"基础设施收编"——数据库、云、RAG 框架（LangChain/LlamaIndex 同期内置各类 reranker 组件）把精排变成托管的中间件，采购决策随之从"要不要精排"变成"选哪一档成本"。

1.5 阶段四（2025）：推理型 reranker、生成式开源主力与成本研究成型

• 2025 年初：vLLM 的 Score/Rerank API（/v1/rerank，兼容 Jina/Cohere 接口）进入主干（https://docs.vllm.ai/en/v0.8.4/serving/openai_compatible_server.html ）；HuggingFace TEI 的 /rerank 端点早已支持 bge/jina 系（https://github.com/huggingface/text-embeddings-inference ）。自托管 CE 的吞吐工程（Flash Attention、动态 batch）至此标准化。
• 2025-02：Rank1（arXiv:2502.18418，https://arxiv.org/abs/2502.18418 ；https://github.com/orionw/rank1 ）发布，从 R1 蒸馏 60 万条推理链，做出第一个"先思考再打分"的 reasoning reranker——test-time compute 思想正式进入 reranking。
• 2025-03：sentence-transformers v4.0 重构 CrossEncoder 训练 API，v4.1 增加 ONNX/OpenVINO 后端，官方宣称 2–3 倍提速（https://github.com/UKPLab/sentence-transformers/releases ；https://pypi.org/project/sentence-transformers ）。
• 2025-03-13：mixedbread 发布 mxbai-rerank-v2（0.5B/1.5B，RL 训练），large 版自评 BEIR 57.49 登顶其口径榜单，同时公布 A100 延迟表（https://www.mixedbread.com/blog/mxbai-rerank-v2 ；https://huggingface.co/mixedbread-ai/mxbai-rerank-large-v2 ；https://github.com/mixedbread-ai/mxbai-rerank ）。
• 2025-04-08：Jina 发布 jina-reranker-m0，多语言多模态解码器式 reranker（https://jina.ai/news/jina-reranker-m0-multilingual-multimodal-document-reranker ）。
• 2025-05-30：Google Vertex AI Ranking API v2 GA，按"被排序文档数"计费，精排正式进入按量计费的云原语清单（Ranking API 的 query+documents 重排接口与计费口径见官方文档 https://docs.cloud.google.com/generative-ai-app-builder/docs/ranking 与定价页 https://cloud.google.com/generative-ai-app-builder/pricing ，单价数字本会话未核验；v2 GA 确切日期据前期检索记录，本修订会话未重新核验）。
• 2025-06-04/05：Qwen3-Embedding / Qwen3-Reranker 系列开源（0.6B/4B/8B，32K 上下文，Apache 2.0，arXiv:2506.05176，https://arxiv.org/abs/2506.05176 ；https://qwenlm.github.io/blog/qwen3-embedding ；https://huggingface.co/Qwen/Qwen3-Reranker-0.6B ），生成式 reranker 一举成为开源权重榜单的常驻头部。
• 2025-08：ReasonRank（arXiv:2508.07050，https://arxiv.org/abs/2508.07050 ；相关 RL 工作见 R1-Ranker，arXiv:2506.21638）系统研究"推理链带来的质量增益 vs 延迟代价"的权衡；Voyage 发布 rerank-2.5 / 2.5-lite（32K 上下文，$0.05/$0.02 每 1M token 计价）；Contextual AI 开源 Reranker v2（https://contextual.ai/blog/rerank-v2 ）。
• 2025-09：ZeroEntropy 发布成本研究《Should you use LLMs for reranking?》，实测结论：专用 CE 在主流基准上以低得多的延迟追平甚至超过 LLM 排序（https://zeroentropy.dev/articles/should-you-use-llms-for-reranking-a-deep-dive-into-pointwise-listwise-and-cross-encoders ）；随后按 zELO 方法（LLM 集成两两对战造合成标签）训练并开源 zerank-2（https://zeroentropy.dev/news ；https://huggingface.co/zeroentropy/zerank-2-reranker ；https://tensorpool.dev/blog/zeroentropy-zerank-training ）。
• 2025-12-11：Cohere Rerank 4 发布，Fast/Pro 双档——把"成本边界"直接产品化为两档 SKU（https://cohere.com/blog/rerank-4 ；https://techcommunity.microsoft.com/blog/azure-ai-foundry-blog/introducing-cohere-rerank-4-0-in-microsoft-foundry/4477076 ）。

阶段结论：三条驱动力交汇——(1) 推理模型（R1/o 系）让"花更多算力换排序质量"重新变得值得研究；(2) RL + 合成标签让 0.5B–1.5B 小模型吃进 LLM 判别力；(3) 推理框架（vLLM/TEI/sentence-transformers v4）让自托管 CE 的单位成本降到按 token 计费 API 的零头。LLM reranker 的合理位置被压缩到"离线/低 QPS/高价值查询"。

1.6 阶段五（2026 至今）："成本边界"成为产品主轴

• 2026-01：Qwen3-VL-Embedding / VL-Reranker（arXiv:2601.04720）把重排序延伸到多模态检索。
• 2026-07-27：mixedbread 发布 mxbai-rerank-v3.1-listwise，与 Wholembed v3 协同设计，宣称在 ViDoRe v3 上以约 61 倍更低延迟达到 gpt-5.6-sol 级质量（https://www.mixedbread.com/blog/mxbai-rerank-v3-1-listwise ）——listwise 架构自 RankGPT（2023-04）三年后，终于以"成本优势"而非"质量优势"的姿态回归。
• 2026-09-30：Voyage 发布 rerank-3 / rerank-3-lite，延续 token 计价（$0.05 / $0.02 每 1M token，与 rerank-2.5 同价；官方公告 https://blog.voyageai.com/2026/09/30/rerank-3 ）。
• 2026-10-21：Cohere Rerank 5（Pro/Fast）发布，新增 Context Focus（段级上下文聚焦）与校准分数，营销语直接写"sharper search, fewer tokens"（https://cohere.com/blog/rerank-5 ；https://docs.cohere.com/v2/changelog/rerank-v5 ；https://www.marktechpost.com/2026/10/22/cohere-rerank-5-context-focus ；https://techcommunity.microsoft.com/blog/azure-ai-foundry-blog/cohere-rerank-v5-is-now-available-in-microsoft-foundry/4566311 ）。
• 2026 年格局：Qwen3-Reranker 仍是开源权重生成式 reranker 的头部代表——初稿"约 77% 均分（聚合口径）"经修订复核，其唯一可考出处是 Qwen 一方评测表中 Qwen3-Reranker-8B 的 CMTEB-R（中文检索子集，即 MTEB(cmn, v1) retrieval）77.45（4B 为 75.94、0.6B 为 71.31；同表 MMTEB-R 多语言列 8B 为 72.94；首轮统一为 Qwen3-Embedding-0.6B top-100；https://qwenlm.github.io/blog/qwen3-embedding ，本修订会话实读确认），属厂商一方口径而非第三方聚合榜单，"居开源榜首"未获第三方榜单独立确认（见 4.2-6）；bge-reranker-v2-m3 仍是轻量默认选择；社区共识流程固化为"RRF 融合多路召回 → 小型/中型 CE 精排 → 仅对路由判据命中的疑难查询上 LLM/推理 reranker"（判据现状见 3.5 节附注；2025–2026 多份选型综述与基准的汇合结论，例：https://zeroentropy.dev/articles/should-you-use-llms-for-reranking-a-deep-dive-into-pointwise-listwise-and-cross-encoders ；学术对比 arXiv:2602.22219）。

1.7 纵轴小结：三条贯穿全时间线（1994–2026）的成本主线

1. 算力形态的迁移：逐对 CE（2019）→ late-interaction 折中（2020–2022）→ LLM listwise（2023；调前沿 LLM 滑窗时贵 1–2 个数量级，自托管开源 4B 约 3–4.5 倍时延）→ 推理链 reranker（2025，质量上限换延迟）→ 蒸馏/RL 压缩回小模型（2023 蒸馏思想 → 2025 RL → 2026 listwise 引擎 61 倍降延迟）。每一步都是"把上一代的上限，做成这一代的默认"。
2. 融合规则的退与进：CombSUM/RRF 在神经时代被按下不表，却在 2023 年随混合检索标准化（ES 8.8、Weaviate、各数据库）强势回归——因为它以近零成本解决"多路召回合并"，正好补齐"精排只看 top-50"的经济性缺口。规则融合没有消失，而是变成了精排器的"上游减负层"。
3. 计价方式的演化即成本边界的显影：按搜索次数（Cohere 2023，约 $2/1K 量级）→ 按 token（Jina/Voyage，$0.02–0.05/1M）→ 按被排序文档数（Vertex Ranking）→ 自托管摊销（TEI/vLLM + 0.5B 模型）。商用侧最终用 Fast/Pro 双档 SKU（Rerank 4/5、Voyage lite）把边界写成菜单；"成本边界"从工程口口相传的经验，变成 2025–2026 年的公开基准研究论文与选型文章。

二、横轴：横向对比（2026-11 时间截面）

2.1 对比格局：四个家族

在 2026-11 这个时间截面上，RAG/搜索管线中第二阶段排序的方案可以划成四个家族：

关键区分：D 家族不引入任何模型推理，RRF 只对排名做倒数求和（1/(k+rank)），天然规避多路召回分数不可比的问题，被视为近乎零成本的"第一阶段融合器"；A/B/C 则是真正的神经重排，按质量递增、成本递增排列。"融合在先、重排在后"的分层共识是当前生态的默认架构（来源：https://www.digitalapplied.com/blog/hybrid-search-bm25-vector-reranking-reference-2026 ；https://glaforge.dev/posts/2026/02/10/advanced-rag-understanding-reciprocal-rank-fusion-in-hybrid-search ；https://blog.serghei.pl/posts/reciprocal-rank-fusion-explained ）。RRF 原始论文为 Cormack 等 2009 年 SIGIR（细节为模型既有知识，未在本会话重新核验）。

2.2 总对比表

注：质量行的 BEIR 数字全部来自 Jina 一方评测（经第三方汇总文章 https://iotdigitaltwinplm.com/rag-reranker-benchmark-cohere-bge-jina-colbert-2026 转载，首轮统一为 jina-embeddings-v3 top-100），同一行内可比；Cohere 的 BRIGHT 82.2 是另一口径（RCP-nDCG@10、厂商自评），不能与 BEIR 数字直接相减。时延行数字（188ms / 243ms / Qwen3-4B >1s）来自 aimultiple 实测：H100 PCIe 80GB（Runpod）、英文 Amazon Reviews Multi 约 145k 文档、multilingual-e5-base 召回 top-100、300 条查询（https://aimultiple.com/rerankers ）。

2.3 能力维度：没有全能冠军，参数量不被奖励

第三方汇总评测（https://iotdigitaltwinplm.com/rag-reranker-benchmark-cohere-bge-jina-colbert-2026 ，其核心表为 Jina 一方跑的 BEIR/MIRACL/MKQA/CoIR，nDCG@10，首轮统一为 jina-embeddings-v3 top-100）显示：

• BEIR：jina-reranker-v3 61.94 > mxbai-large-v2 61.44 > Qwen3-Reranker-4B 61.16 > mxbai-base-v2 58.40 > bge-reranker-v2-m3 56.51 ≈ Qwen3-0.6B 56.28。
• 多语言 MIRACL：bge-reranker-v2-m3 69.32 反而全场最高，但它在代码检索 CoIR 上只有 36.28，被 Qwen3-4B 的 73.91 碾压——每个模型都有明显的盲区。
• 规模换质量不成立：Qwen3-4B 在 MTEB-R（69.76）上胜过自家 8B（69.02），4B 不一定输 8B。
• 厂商自评必须交叉看：Qwen 一方评测（首轮 Qwen3-Embedding top-100）里 BGE-v2-m3 只有 MTEB-R 57.03，与 Jina 一方评测的排名不同——首轮检索器不同导致跨表数字不可直接比较，这是全部厂商基准的共同问题。mxbai 的"双数字"（自评 57.49 / Jina 口径 61.44）即此通病的实例，两者并存并非矛盾。
• 榜单口径需区分：纵轴引述的"约 77% 均分"经修订复核，可考出处是 Qwen 一方评测表中 Qwen3-Reranker-8B 的 CMTEB-R（中文检索子集）77.45（https://qwenlm.github.io/blog/qwen3-embedding ，首轮统一为 Qwen3-Embedding-0.6B top-100），属厂商一方口径；横轴匹配条件（首轮统一）下的 BEIR 数字里 Qwen3-4B（61.16）与 jina v3（61.94）、mxbai（61.44）在 1 点内打平。两者回答的不是同一个问题：CMTEB-R 均分反映中文检索综合能力，匹配评测反映同条件下的精排能力。
• Cohere 官方不提供 BEIR 口径的可复现分数，Rerank 5 用自家 RCP-nDCG@10（BRIGHT 82.2，领先 Voyage Rerank 3 5.8 分、领先自家 Rerank 4 Pro 12.4 分；https://cohere.com/blog/rerank-5 ）。
• 另一份独立第三方实测（https://aimultiple.com/rerankers ，英文电商评论 145k 文档、multilingual-e5-base 召回 top-100、H100）给出无重排基线 Hit@1 62.67%，最好重排后 83.00%（+20.33pp）；149M 的 gte-reranker-modernbert 与 1.2B 的 llama-nemotron-rerank 并列第一，而 Qwen3-4B 付出 4.5 倍时延反而低 5.3pp。

小结：能力维度上，0.6B~1.5B 的 cross-encoder/listwise 模型与 4B LLM reranker 在 BEIR 口径几乎打平；真正拉开差距的不是参数量，而是训练目标与领域匹配。

2.4 成本维度：四种计费单位与一条 100 倍曲线（本课题核心命题）

计费单位的分裂本身就是成本边界的一部分。 截至时间截面存在四种计费方式（与 1.7 的演化序列一致）：

1. 按次搜索计费：Cohere Rerank 3.5 为 $2.00/1K 次搜索（https://llmpricingtable.com/models/cohere-rerank-v3.5 ；https://faun.dev/toolbox/cohere-rerank-vs-voyage-rerank ）；Rerank 4 时代 Pro 约 $0.0025/次、Fast 约 $0.002/次（https://openrouter.ai/cohere/rerank-4-pro ）。纵轴概述中"约 $2/1K 请求"的量级表述与上述精确口径一致。
2. 按处理 token 计费：Voyage rerank-2.5 $0.05/1M token、lite 版 $0.02/1M（https://docs.voyageai.com/docs/pricing ）；Cohere Rerank 5 也转向了该模式：Pro $0.05/1M token、Fast $0.02/1M（https://cohere.com/blog/rerank-5 ）。按 token 计费把成本转嫁给了候选文档长度，长文档场景下"每千次搜索"的固定报价会严重低估真实账单。

按 token 计费换算算例（本文推算）：一次典型查询 = 100 候选 × 平均 400 token + query 约 20 token ≈ 4 万 token。按 Pro 档 $0.05/1M 折算 ≈ $0.002/次——恰好与"$2/1K 次搜索"的按次报价同量级；按 Fast/lite 档 $0.02/1M 则 ≈ $0.0008/次。账单随候选长度线性放大：候选是长文档（平均 2,000 token）时，同样 100 候选就是 20 万 token/次 → Pro 档 $0.01/次，"$2/1K"的固定报价将低估账单 5 倍。月账单锚点：100 万次/月 × 4 万 token/次 = 400 亿 token → Pro 约 $2,000/月、Fast 约 $800/月；长文档场景 Pro 约 $10,000/月。

1. 按被排序文档数计费：Google Vertex AI Ranking API 按"被排序文档数"计费（接口与计费口径见 https://docs.cloud.google.com/generative-ai-app-builder/docs/ranking 、定价页 https://cloud.google.com/generative-ai-app-builder/pricing ，单价数字本会话未核验），适合"文档数固定、长度不固定"的语料。
2. 自托管摊销：开源权重免费，只付 GPU 时（社区常用估算口径约 $3/GPU 时；该单价是估算输入而非实测报价，未绑定 GPU 型号、被测模型与 batch 大小，量级对应主流云端单卡租赁价）。

自托管 vs API 的量化边界（数字出自 2026 基准文章的估算模型；其输入假设 $3/GPU 时、40 QPS 满载，原文未绑定 GPU 型号、被测模型与 batch 大小，应视作"一台以 40 QPS 服务 0.5B–1.5B 级 CE 的主流云端单卡"的量级假设，本文保留其未绑定状态并单独标示）：按该假设满载算，自托管单次查询约 $0.00002，是 API $0.002/次的 1/100；但 GPU 有效利用率降到 5% 时差距缩至约 5 倍。经验法则：月查询量低于几百万次时托管 API 更划算，超过则自托管占优。 一个算例：2000 万次/月、$2/千次、25% 缓存命中 → 约 $30,000/月。

"月几百万次"分水岭的盈亏平衡推导（本文推算，原引文章只给经验法则）：设常驻 GPU 台数 N（7×24，月 720 小时）、GPU 时价 $P、托管 API 每次查询 $c_API，则自托管月成本 ≈ N·720·P（近似固定），API 月成本 = Q·c_API（随量线性），盈亏平衡点为 Q\* ≈ N·720·P / c_API。代入 P=$3、c_API=$0.002/次：N=1 时 Q\* ≈ 108 万次/月；生产常配 2–3 台（冗余 + 预发/开发），Q\* 即 216 万–324 万次/月——这就是"月查询几百万次"分水岭的来历。利用率角度互证：一台 40 QPS GPU 满载月容量约 1.04 亿次查询（40 × 86,400 × 30），若长期有效利用率只有 5%，等于只服务约 520 万次/月，此时单次成本 ≈ $0.0004、约为 API 的 1/5，与"5% 利用率下差距缩至约 5 倍"一致；只要有效利用率高于约 1%（对应 Q ≈ 108 万次/月），自托管就不输 $0.002/次的 API。Rerank 5 转 token 计价后分水岭会移动：c_API 不再是常数——4 万 token/次（100 候选 × 400 token）时 Pro 档折回 $0.002/次、Q\* 不变；长文档 20 万 token/次折回 $0.01/次时，Q\*（N=1）降至约 22 万次/月（自托管更早占优）；Fast 档折回 $0.0008/次时 Q\* 抬至约 270 万次/月（托管更耐用量）。结论：token 计价把分水岭从"只看查询量"变成"查询量 × 候选长度"的二元函数。

时延边界：同一文章给出的预算算例——1.5s 首 token 目标 − 600ms 生成器 − 80ms 首轮检索 − 100ms 网络 → reranker 预算约 700ms p95，足够跑 API + 100 候选；若总预算压到 300ms，只剩小模型 + 20~30 候选。算力侧的 FLOPs 算例（同一文章；注意其硬件假设是 T4 级，与本段 $3/GPU 时假设、上文时延表的 H100 实测三者口径互不相同，不可混用）：BGE 0.6B 对 100 候选约 4.8e13 FLOPs/查询，T4 级算力最坏约 2.4s，把候选从 100 降到 30 可提速约 3 倍。

LLM reranker 的成本惩罚（两章数字口径统一）：场景不同，量级不同——(a) RankGPT 式调用前沿 LLM 的滑窗 listwise：社区实测单查询 4–8 秒、50–100 次 API 调用（第三方博客口径，量级可信、绝对值随批次变化）；(b) 自托管 4B 级生成式 reranker：aimultiple 实测 Qwen3-4B 每查询超 1 秒（约为 SequenceClassification nemotron 1.2B 的 4.5 倍），superlinked 估计 4B 相对 0.6B 时延约 3 倍、服务成本约 4 倍（https://superlinked.com/blog/qwen3-embedding-reranker-guide ）；(c) RankGPT 式 listwise 调用前沿 LLM 的每 token 账单远高于任何专用 reranker（https://zeroentropy.dev/concepts/listwise-reranking ）。共同结论：任何 LLM reranker 都进不了 sub-100ms 在线热路径。

RRF 的成本是零：无推理、无 GPU，这正是它 17 年长盛的原因；但它的质量上限由首轮召回决定，无法做语义级精排。

2.5 生态与成熟度

生态：

• 托管侧：Cohere Rerank 5 官方兼容 LangChain、Haystack、Elasticsearch、Weaviate，可经 MS Foundry、SageMaker、VPC/私有化部署（https://cohere.com/blog/rerank-5 ）；Rerank 4 已进 Microsoft Foundry 与 OCI（https://docs.oracle.com/en-us/iaas/Content/generative-ai/cohere-rerank-4-0.htm ）。
• 开源推理侧：BGE 系已被 Xinference、Ollama 集成；TEI（Text Embeddings Inference）在 GPU 上服务 cross-encoder 是社区标准做法（https://www.spheron.network/blog/self-host-embedding-reranker-tei-gpu-cloud ），Infinity 亦可跑 mxbai-v2（https://pub.towardsai.net/run-mxbai-rerank-v2-with-infinity-4b73858cd644 ）。
• 数据库内置：RRF 在 Elasticsearch、OpenSearch、Weaviate、Qdrant、Azure AI 中开箱即用；Qdrant 1.12 常被用作 rerank 基准的召回层（aimultiple 实测环境）。
• CausalLM reranker 的生态摩擦：Qwen3-Reranker 是 CausalLM 架构，早期 TEI 支持不完整，社区长期用 HuggingFace transformers + flash attention 自行部署，部署摩擦显著高于 SequenceClassification 系。

成熟度与迭代节奏：

成熟度结论：规则融合最老最稳；cross-encoder 是"新而稳"；LLM reranker 是"新而快变"——选 C 家族意味着接受更高的版本迭代与许可风险。

2.6 适用场景

• 规则融合（RRF）：多路召回（BM25+向量）合并、无标注数据、延迟预算极紧时，它是唯一免费选项，也是一切管线的默认第一级。
• cross-encoder：在线亚秒级热路径、月查询百万级以上、需要可校准分数做阈值过滤。aimultiple 同时给出反面警示：mxbai-xsmall 的提升在 300 查询噪声内——重排器并非总是有益，检索器质量决定上限（顶级重排器 Hit@10 收敛于 87–88%，top-250 候选几乎无改善）。
• LLM reranker：top-k 质量敏感（法律/医疗/代码）、候选池 ≤64、离线批处理，或"分层重排"——cross-encoder 先排，只对 top-N 做 LLM 精排（https://www.splunk.com/en_us/blog/artificial-intelligence/reranker-models.html ；https://www.emergentmind.com/topics/cross-encoder-reranking-9dd25a04-77c6-4f44-807d-cb5f2256901b ）。Qwen3-Reranker 支持用户自定义指令、可按任务/语言/场景定制相关性定义（官方标注 Instruction Aware，https://qwenlm.github.io/blog/qwen3-embedding ）；初稿所写"平均 +1~5%"的量化增益在 Qwen 官方博客与论文（arXiv:2506.05176，本修订会话实读全文）中均无出处，已撤回，实际增益以各自验证集实测为准。
• 托管 API：月查询几百万以内、无 GPU 运维能力；Rerank 5 的校准分数（期望校准误差约 0.06，Rerank 4 Pro 为 0.384）适合需要"概率化相关性"的过滤架构（https://cohere.com/blog/rerank-5 ）。

2.7 成本边界的五条量化分界线

把上面所有数字合并，本课题所研究的"成本边界"可以落成五条可检验的分界线：

1. 规则融合 ↔ 神经重排：首轮融合候选池的召回上限决定精排上限（两阶段检索的结构性约束：精排不可能排出候选池里没有的文档）。"recall@pool > 90%" 这一具体阈值是工程经验法则，本文未找到直接文献出处；"无标注 → RRF+CE" 的因果是：无标注数据就无法训练或校准自定义精排器，只能选免训练的通用预训练 CE + 免训练的 RRF。合并成默认解：测得首轮 recall@pool > 90%（经验值）且无标注时，RRF + cross-encoder 只对 top 50~100 精排；reranker 引入前必须先测首轮召回，否则上限被锁死。
2. cross-encoder ↔ LLM reranker（时延）：p95 预算 >700ms 可容纳 100 候选的 API 重排；≤300ms 只够小模型 + 20~30 候选；任何 listwise LLM 方案都进不了 sub-100ms 在线路径（Qwen3-4B 单次 >1s 实测）。
3. cross-encoder ↔ LLM reranker（质量）：BEIR 口径上 0.6B listwise（Jina 61.94/63.20）≈ 1.5B cross-encoder（mxbai 61.44）≈ 4B LLM（Qwen3 61.16），质量边界并不奖励参数量，只在领域盲区（代码检索、指令定制）上 LLM reranker 有溢价。
4. 托管 ↔ 自托管（账单）：满载 GPU 下自托管便宜约 100 倍，5% 利用率下缩至约 5 倍，月查询几百万次是分水岭（分水岭的盈亏平衡推导见 2.4；Rerank 5 转 token 计价后，长文档场景分水岭下移至约 22 万次/月、Fast 短文档场景上移至约 270 万次/月）。
5. 重排收益 ↔ 噪声：候选 250 以上无增益、小模型增益可能落在评测噪声内（aimultiple 自述局限：300 条查询下差距 <2pp 可能是噪声，https://aimultiple.com/rerankers ）。"分辨 1 点 nDCG 差异需要多少标注查询"没有找到直接文献，以下为本文按该口径的外推估计：把"300 条下 <2pp 可能是噪声"解读为 2σ≈2pp（σ₃₀₀≈1pp）、噪声随 1/√N 收缩，则要把 1 点差异做到约 2σ 显著需 N ≈ 1,200 条；若读得更保守（2pp≈1σ）则需约 4,800 条。据此，初稿"≥100~200 条"的说法不能成立，只应作为同质场景粗筛/冒烟测试的经验下限。

这五条边界正是四个家族厂商基准都刻意不回答的部分：Cohere/Voyage 不公布自托管对比，Jina/Qwen 的榜单互不兼容（首轮不同），AIMultiple 只测质量时延不测账单。本课题把计费单位、利用率、候选数、时延预算放进同一个成本模型，恰好填上了横向格局中各家自说自话留下的空档——这是课题相对每个单一竞品的差异化价值。

三、交叉洞察：两轴结合说明了什么

3.1 成本边界是一条会移动的线，而且移动方向可预测

纵轴给出的时间序列与横轴给出的截面数据拼在一起，得出本报告最重要的判断："成本边界"不是三种技术之间的一条静态分界线，而是一条随时间单调向"更便宜的质量"移动的线。证据链是完整的：

• RankGPT（2023）证明 GPT-4 的排序能力可蒸馏进 4 亿级小模型——这是路线图；
• Qwen3-Reranker（2025-06）用 Apache-2.0 的 0.6B–8B 生成式模型占据开源权重榜单头部——这是兑现；
• mxbai-rerank-v2（2025-03，RL 训练）与 zerank-2（2025-09，zELO 合成标签）把 0.5B–1.5B 小模型推到与 4B LLM 打平的 BEIR 位置——这是横轴截面上的"打平"；
• mxbai-rerank-v3.1-listwise（2026-07）宣称以 61 倍更低延迟达到前沿 LLM 级质量——这是"上限变成默认"的最新一步。

对用户的含义：任何"今天 LLM reranker 更准所以选它"的决策，保质期有限——"12–18 个月"是本文的经验估计而非实测结论。上述证据链只支持定性判断"上限会变成默认"；把历史间隔量化：RankGPT 2023-04 亮相 → 2025-03 mxbai-v2 / 2025-06 Qwen3 兑现约 23–26 个月，2025-09 zerank-2 → 2026-07 mxbai v3.1 约 10 个月，即"上限亮相 → 被压成默认"的历史区间约 10–26 个月，本文取其中段 12–18 个月作为规划假设。正确的姿势不是押注某个家族，而是把自己的精度/延迟/预算三条约束写成可检验的分界线（见 2.7 节），并每年重画一次——因为厂商会用蒸馏、RL 和新架构，把上一代的上限做成这一代的默认。

3.2 计价方式的演化史，就是成本边界从经验变成菜单的过程

纵轴的计价演化（按次 → 按 token → 按文档数 → 自托管摊销）与横轴的账单分水岭（月查询几百万次、利用率敏感）互相印证出一个容易忽略的事实：当一种成本结构从口口相传的经验变成 SKU 菜单时，说明市场已经完成了这次收敛。三个信号依次出现：2023-11 Azure 把 semantic ranker 做成托管开关（选择被产品化）；2025-12 Cohere Rerank 4 分出 Fast/Pro 双档（成本边界被产品化）；2026-10 Rerank 5 转向按 token 计费并宣传"sharper search, fewer tokens"（成本的计量单位被产品化）。

按 token 计费的普及还有一层工程后果，横轴已量化：候选文档长度进入了账单公式。"$2/1K 次搜索"时代的固定报价，在长文档场景会严重低估真实账单（一笔 100 候选 × 400 token ≈ $0.002/次、长文档 20 万 token/次 ≈ $0.01/次的换算账见 2.4）——重排器的成本不再只由"候选数 × 模型大小"决定，还由"候选平均长度"决定。这直接改变了长文档 RAG（合同、论文、财报）的选型权重：要么压缩候选长度（Context Focus 这类段级聚焦功能因此出现），要么把成本模型从"按次"改成"按 token"重新算账。

3.3 规则融合的辩证法：从被淘汰到成为"上游减负层"

两轴结合还纠正了一个常见误判——"神经重排取代了规则融合"。纵向看，RRF 在 2019–2022 的神经时代确实被按下不表；但它 2023 年随混合检索标准化强势回归，且横轴显示它今天内置于所有主流数据库。真正的解释是：精排只看 top-50~100，而多路召回的合并发生在精排之前——RRF 以近零成本解决"多路名单合并"（回避分数不可比问题），正好补齐"精排器不可能扫描全库"的经济性缺口。于是"成本边界"最终不是 CE/LLM/规则三者之间的胜负线，而是一条分工线：规则融合管第一级合并（免费），CE 管第二级精排（毫秒级），LLM 管路由判据命中的疑难查询的最后一程（秒级、按需；判据现状见 3.5 节附注）。纵轴的"上游减负层"判断与横轴的"融合在先、重排在后"分层共识，是同一个结论的两面。

3.4 "上限变成默认"解释了横向为什么打平

横轴最难解释的现象——"0.6B–1.5B 与 4B 在 BEIR 打平、149M 与 1.2B 并列第一"——放进纵轴就自然了：这是蒸馏与 RL 两条压缩管线（2023 RankGPT 蒸馏思想 → 2025 RL + 合成标签）持续运转 12–36 个月后的必然截面。同理，纵轴"LLM reranker 被压缩到离线/低 QPS/高价值查询"的阶段结论，与横轴"分层重排：CE 先排、只对 top-N 上 LLM"的适用场景描述，也是同一件事的纵向因果与横向表现。

反过来，横轴也暴露了纵轴时间线之外的空间摩擦：领域盲区不可压缩——bge-v2-m3 多语言全场最高却在代码检索上被 Qwen3-4B 碾压（36.28 vs 73.91），说明"上限变成默认"只在通用基准上成立，领域场景里训练目标的匹配度仍然是第一变量。这为"LLM reranker 的溢价只剩指令定制与领域盲区"这一横轴结论提供了唯一例外的注脚。

3.5 对用户的判断与建议

把两轴的结论合并成一份可执行的决策清单：

1. 先测首轮召回，再谈精排。首轮 recall@pool > 90% 且无标注时，"RRF 融合多路召回 + CE 只精排 top-50~100"是默认解；召回不够，任何精排器都是替召回还债。
2. 按时延预算定档：p95 预算 >700ms（1.5s 首 token 目标扣除生成/首轮/网络）可跑 API + 100 候选；≤300ms 只够小模型 + 20~30 候选；sub-100ms 热路径排除一切 LLM reranker。
3. 按账单定托管形态：月查询几百万以内用托管 API（分水岭的盈亏平衡推导见 2.4：约等于常驻 GPU 台数 × 720 × $3 ÷ 单次 API 价）；超过且 GPU 能满载（约 40 QPS）则自托管便宜约 100 倍；利用率只有 5% 时差距缩到 5 倍——先算利用率，再算账。2000 万次/月、$2/千次、25% 缓存命中的算例约 $30,000/月，可作为预算锚点；Rerank 5 转 token 计价后，长文档场景分水岭下移（约 22 万次/月）、Fast 短文档场景上移（约 270 万次/月），算法见 2.4。
4. 按 token 计费时代重估长文档成本：候选平均长度进入账单公式，长文档 RAG 要么压候选长度、要么按 token 重算报价。
5. CE 是默认精排器，0.6B–1.5B 已够用：bge-reranker-v2-m3（多语言强、轻量默认）、mxbai-rerank-v2（Apache-2.0、RL 训练）、gte-reranker-modernbert-base（149M 已与 1.2B 并列第一）；开源推理用 TEI/vLLM/Infinity。
6. LLM reranker 只在四种场景付溢价：指令定制相关性定义（Qwen3-Reranker 官方支持自定义指令；初稿"+1~5%"量化增益无出处已撤回，见 2.6）、领域盲区（如代码检索）、top-k 质量敏感（法律/医疗/代码）、离线批处理；在线路径一律走"分层重排"（CE 先排、只对 top-N 上 LLM）。"仅对疑难查询上 LLM"的路由判据现状与缺口见本清单末尾附注。
7. 评测纪律：候选 >250 基本无增益；小模型增益可能落在噪声内；按 aimultiple 口径外推，分辨 1 点 nDCG 差异约需 1,200 条标注查询（保守读法约 4,800 条），"100~200 条"只够做同质场景粗筛（推算见 2.7-5）；重排器并非总有益，mxbai-xsmall 的"提升"在 300 查询噪声内就是反例。
8. 管住许可与版本风险：开源侧优先 Apache-2.0（Qwen3、mxbai-v2），Jina v3 是 CC-BY-NC；托管侧把版本迁移写进运维流程——Cohere Rerank 3.5 已于 2026-07 在 Pinecone 弃用、8-31 起由 rerank-4-fast 兜底，不接受版本迁移的托管用户会付出沉没成本。
9. 选托管 API 时把校准当加分项：Rerank 5 的校准分数（ECE 约 0.06，对比 Rerank 4 Pro 的 0.384）适合需要"概率化相关性"做阈值过滤的架构。

附：'疑难查询才上 LLM'的路由判据现状（修订补充）——本文多处默认解依赖"仅对疑难查询上 LLM"，但检索到的文献中没有任何一份给出经过验证的查询级路由方法；当前工程上可用的做法有四类，均属经验做法而非研究结果：

1. CE 分数阈值升级：CE 打分低于阈值 τ 的查询升级到 LLM 精排。校准分数使 τ 可按概率语义选取（Rerank 5 类校准分数 ECE≈0.06 时，"分数 <0.5"接近"该查询一半候选疑似不相关"），τ 实际按各自验证集的分数分布取分位数（如取分数最低的 P20 查询升级），没有公认默认值。
2. 候选级分层重排（当前最可执行的默认）：不判查询、只分层——CE 全排后仅对 top-N（如 top-5）做 LLM listwise 精排（2.6 引 splunk/emergentmind 的"分层重排"即此类），无需任何判定器。
3. 分歧检测：多路召回（BM25/向量）与 CE 排序的秩相关低、或两路召回结果重叠小的查询视为疑难升级；同样没有公认阈值。
4. 预算法：低 QPS/离线全量上 LLM，在线高峰只走 CE。

结论：查询级"疑难判定"没有成熟方法论，判据待研究；在方法论出现之前，建议默认用做法 2，把做法 1/3 作为可 A/B 的实验项。

3.6 下一步值得跟踪的信号

• listwise 以成本优势回归：mxbai v3.1 的"61 倍更低延迟"是厂商自评，若被独立复现，将改写 2.7 节第 2 条时延分界线；
• 校准分数的工程化：Rerank 5 的 ECE 0.06 是否推动"概率化相关性过滤"成为新默认，值得观察 Rerank 6 与开源侧跟进；
• 推理链 reranker 的量化账：Rank1/ReasonRank 一系的"质量增益 vs 延迟代价"尚无权威权衡结论，是 LLM reranker 溢价叙事的最后悬念；
• 计费口径是否继续收敛：按 token / 按文档数是否会取代按次计费，以及自托管 GPU 时的市场价格变化；
• 多模态重排的独立成本曲线：Qwen3-VL-Reranker（2026-01）、jina-reranker-m0（2025-04）之后，多模态检索精排何时形成自己的基准与价格。

四、参考来源与诚实声明

4.1 参考来源（按主题分组；除标注"据模型既有知识"者外，均于两章会话内实际检索/读取）

学术论文与基准：

• RRF（SIGIR 2009）：DOI 10.1145/1571941.1572114（细节据模型既有知识，未重新核验原文）
• BM25 综述：Robertson & Zaragoza《The Probabilistic Relevance Framework: BM25 and Beyond》（FnTIR 2009，据模型既有知识，未核验原文）
• Burges《From RankNet to LambdaRank to LambdaMART》：MSR-TR-2010-82（报告号据模型既有知识）
• BERT Passage Re-ranking：<https://arxiv.org/abs/1901.04085>
• Poly-encoders：<https://arxiv.org/abs/1905.01969>
• SBERT：<https://arxiv.org/abs/1908.10084>
• ColBERT：<https://arxiv.org/abs/2004.12832>；ColBERTv2：<https://arxiv.org/abs/2112.01488>；PLAID：<https://arxiv.org/abs/2205.09707>
• MonoT5：<https://arxiv.org/abs/2103.09532>；BEIR：<https://arxiv.org/abs/2104.08663>
• RankGPT：<https://arxiv.org/abs/2304.09542>；PRP：<https://aclanthology.org/2024.findings-naacl.97.pdf>；Lost in the Middle：<https://arxiv.org/abs/2307.03172>
• RankZephyr：<https://arxiv.org/abs/2312.02724>（据模型既有知识）；rerankers 库论文：<https://arxiv.org/abs/2408.17344>；MUVERA：<https://arxiv.org/abs/2406.19674>（据模型既有知识）
• Rank1：<https://arxiv.org/abs/2502.18418>；R1-Ranker：<https://arxiv.org/abs/2506.21638>；ReasonRank：<https://arxiv.org/abs/2508.07050>
• Qwen3-Embedding/Reranker：<https://arxiv.org/abs/2506.05176>（HTML 版 <https://arxiv.org/html/2506.05176v1>）
• jina-reranker-v3：<https://arxiv.org/html/2509.25085v2>；v3.5：<https://arxiv.org/html/2607.18152v1>
• Qwen3-VL-Embedding/VL-Reranker：arXiv:2601.04720；2026 学术对比：arXiv:2602.22219

厂商与产品：

• Cohere Rerank 端点（2023）：<https://cohere.com/blog/rerank>；Rerank 3.5：<https://cohere.com/blog/rerank-3pt5>；Rerank 4：<https://cohere.com/blog/rerank-4>（VentureBeat 解读：<https://venturebeat.com/orchestration/coheres-rerank-4-quadruples-the-context-window-to-cut-agent-errors-and-boost>）；Rerank 5：<https://cohere.com/blog/rerank-5>（变更日志：<https://docs.cohere.com/v2/changelog/rerank-v5>；Marktechpost：<https://www.marktechpost.com/2026/10/22/cohere-rerank-5-context-focus>；MS Foundry：<https://techcommunity.microsoft.com/blog/azure-ai-foundry-blog/cohere-rerank-v5-is-now-available-in-microsoft-foundry/4566311>；Rerank 4 进 Foundry：<https://techcommunity.microsoft.com/blog/azure-ai-foundry-blog/introducing-cohere-rerank-4-0-in-microsoft-foundry/4477076>）
• 定价：Rerank 3.5 <https://llmpricingtable.com/models/cohere-rerank-v3.5> 与 <https://faun.dev/toolbox/cohere-rerank-vs-voyage-rerank>；Rerank 4 <https://openrouter.ai/cohere/rerank-4-pro>；Voyage <https://docs.voyageai.com/docs/pricing>（rerank-3 公告，2026-09-30，$0.05/$0.02 每 1M token：<https://blog.voyageai.com/2026/09/30/rerank-3>，修订会话经搜索确认）
• Google Vertex Ranking API：Ranking API 文档 <https://docs.cloud.google.com/generative-ai-app-builder/docs/ranking>；定价 <https://cloud.google.com/generative-ai-app-builder/pricing>（单价数字未核验）
• Pinecone 上 Rerank 3.5 弃用公告：<https://docs.pinecone.io/models/cohere-rerank-3.5>；Oracle OCI：<https://docs.oracle.com/en-us/iaas/Content/generative-ai/cohere-rerank-4-0.htm>
• AWS Bedrock Rerank API：<https://aws.amazon.com/blogs/machine-learning/cohere-rerank-3-5-is-now-available-in-amazon-bedrock-through-rerank-api>；<https://aws-news.com/article/2024-12-01-amazon-bedrock-now-supports-rerank-api-to-improve-accuracy-of-rag-applications>；HPCwire：<https://www.hpcwire.com/bigdatawire/this-just-in/cohere-releases-rerank-3-5-with-enhanced-reasoning-and-multilingual-capabilities>
• Jina：v2 <https://jina.ai/news/jina-reranker-v2-for-agentic-rag-ultra-fast-multilingual-function-calling-and-code-search>（模型卡 <https://huggingface.co/jinaai/jina-reranker-v2-base-multilingual>）；m0 <https://jina.ai/news/jina-reranker-m0-multilingual-multimodal-document-reranker>；v3.5 博客 <https://huggingface.co/blog/jinaai/jina-reranker-v3-5-faster-listwise-reranking>；Elastic 实测 <https://www.elastic.co/search-labs/blog/jina-reranker-35-legal-medical-structured-data>
• Qwen3：<https://qwenlm.github.io/blog/qwen3-embedding>；模型卡 <https://huggingface.co/Qwen/Qwen3-Reranker-0.6B>；superlinked 指南 <https://superlinked.com/blog/qwen3-embedding-reranker-guide>
• BAAI：bge-reranker-v2-m3 <https://huggingface.co/BAAI/bge-reranker-v2-m3>；bge-reranker-v2.5-gemma2-lightweight <https://huggingface.co/BAAI/bge-reranker-v2.5-gemma2-lightweight>
• mixedbread：v2 <https://www.mixedbread.com/blog/mxbai-rerank-v2>（模型卡 <https://huggingface.co/mixedbread-ai/mxbai-rerank-large-v2>；GitHub <https://github.com/mixedbread-ai/mxbai-rerank>；Together AI 页面 <https://www.together.ai/models/mxbai-rerank-large-v2>）；v3.1-listwise <https://www.mixedbread.com/blog/mxbai-rerank-v3-1-listwise>
• ZeroEntropy：成本研究 <https://zeroentropy.dev/articles/should-you-use-llms-for-reranking-a-deep-dive-into-pointwise-listwise-and-cross-encoders>；listwise 分析 <https://zeroentropy.dev/concepts/listwise-reranking>；新闻 <https://zeroentropy.dev/news>；zerank-2 模型卡 <https://huggingface.co/zeroentropy/zerank-2-reranker>；训练解读 <https://tensorpool.dev/blog/zeroentropy-zerank-training>
• Contextual AI：<https://contextual.ai/blog/rerank-v2>

基准与选型：

• AIMultiple 8 模型时延/准确率基准：<https://aimultiple.com/rerankers>
• 2026 RAG reranker 综合基准（含成本模型算例）：<https://iotdigitaltwinplm.com/rag-reranker-benchmark-cohere-bge-jina-colbert-2026>
• 选型指南：Splunk <https://www.splunk.com/en_us/blog/artificial-intelligence/reranker-models.html>；EmergentMind <https://www.emergentmind.com/topics/cross-encoder-reranking-9dd25a04-77c6-4f44-807d-cb5f2256901b>
• 社区实测（CE 追平 LLM 质量）：<https://www.linkedin.com/pulse/how-we-built-cross-encoder-reranker-matches-llm-quality-oxomc>

数据库、推理框架与工程：

• Elasticsearch 8.8：<https://pureinsights.com/blog/2023/elasticsearch-8-8-highlights>；RRF 文档 <https://www.elastic.co/docs/reference/elasticsearch/rest-apis/reciprocal-rank-fusion>
• Weaviate 混合检索：<https://weaviate.io/blog/hybrid-search-for-web-developers>；1.27 <https://weaviate.io/blog/weaviate-1-27-release>
• RRF 融合定位与引擎内置：<https://blog.serghei.pl/posts/reciprocal-rank-fusion-explained>；<https://glaforge.dev/posts/2026/02/10/advanced-rag-understanding-reciprocal-rank-fusion-in-hybrid-search>；<https://www.digitalapplied.com/blog/hybrid-search-bm25-vector-reranking-reference-2026>
• vLLM OpenAI 兼容服务（Score/Rerank API）：<https://docs.vllm.ai/en/v0.8.4/serving/openai_compatible_server.html>；TEI：<https://github.com/huggingface/text-embeddings-inference>；TEI 教程 <https://www.spheron.network/blog/self-host-embedding-reranker-tei-gpu-cloud>；Infinity 跑 mxbai-v2 <https://pub.towardsai.net/run-mxbai-rerank-v2-with-infinity-4b73858cd644>
• sentence-transformers：<https://github.com/UKPLab/sentence-transformers/releases>；<https://pypi.org/project/sentence-transformers>
• rerankers 库：<https://github.com/AnswerDotAI/rerankers>；FlashRank：<https://github.com/PrithivirajDamodaran/FlashRank>；Rank1：<https://github.com/orionw/rank1>

4.2 诚实声明：不确定与未核验项汇总

以下条目在本会话的多来源之间存在冲突或无法在线核验，如实列出：

1. 据模型既有知识、未逐一在线核验：CombSUM（1994）、RRF 2009 论文细节、LambdaMART 报告号（MSR-TR-2010-82）、bge-reranker v1（约 2023 年中）、RankZephyr（2023-12）、MUVERA（2024-06）、mxbai-rerank-large-v1（约 2024-09）、Cohere Rerank 3 确切日（2024-04）。上述标注不影响阶段划分结论。
2. Jina v3 上下文长度：一处来源称 8,192 token，另一处（iotdigitaltwinplm）称 131,072 token、单窗口 64 文档。两口径未能在本会话内对齐。
3. jina-reranker-v3.5 的提升幅度：检索摘要称"BEIR 63.20，较 v3 提升 9.6 点"，但 v3 的 BEIR 为 61.94，63.20 只提升约 1.3 点；"9.6 点"应属另一口径，无法核实原始论文细节。
4. Cohere Rerank 5 / 4 的上下文窗口：官方博客未给出具体 token 数（仅"Rerank 4 较 3.5 扩大 4 倍"）。
5. mxbai-large-v2 的 BEIR 57.49 与 61.44 并存：前者是 mxbai 自评（不同首轮），后者是 Jina 一方评测，不可直接比较——正文已按"口径差异"处理而非矛盾。
6. Qwen3"开源榜首（约 77% 均分）"与"BEIR 61.16"：修订会话实读 Qwen 官方博客复核——"约 77%"的唯一可考出处是 Qwen 一方评测表中 Qwen3-Reranker-8B 的 CMTEB-R（中文检索子集，即 MTEB(cmn, v1) retrieval）77.45（同表 4B 75.94、0.6B 71.31；MMTEB-R 多语言列 8B 为 72.94；该表自述"所有分数均为我们的运行结果，基于稠密检索模型 Qwen3-Embedding-0.6B 召回的 top-100 候选"，https://qwenlm.github.io/blog/qwen3-embedding ）。初稿把它表述为"开源权重榜首（聚合口径）"不准确：该数字属厂商一方口径，"居开源榜首"未获第三方榜单独立确认；正文（1.6、2.3）已改为精确口径并附出处。CMTEB-R 口径与首轮统一的 BEIR 匹配评测（Qwen3-4B 61.16，Jina 一方）口径不同，两者并存、不构成矛盾。
7. LLM reranker 延迟"4–8s"与">1s"：前者为 RankGPT 式前沿 LLM 滑窗方案的社区实测（第三方博客，量级可信、绝对值随模型与批次变化），后者为自托管 Qwen3-4B 的 aimultiple 实测；正文已按场景区分。
8. Weaviate rankedFusion 的精确引入版本（v1.19–v1.20 之间）：来源未给出版本号级证据，正文（1.3 节）只表述为"v1.20 前后已可用"。
9. aimultiple 基准的局限（原文自述）：单一检索器、仅英文电商、300 查询，前三名差距 <2pp 可能是噪声。
10. 本次为纯网络调研课题，未运行任何本地代码检查；所有"已核验"项均指通过 WebSearch/WebFetch 读到对应一手页面或多个独立来源互证。
11. 正文中的经验估计与推算（无直接文献出处，已在正文标注）：首轮融合候选池"recall@pool > 90%"阈值（2.7-1、3.5-1）；"分辨 1 点 nDCG 的标注查询量"——初稿"100~200 条"说法已撤回，改为按 aimultiple 口径外推的推算（约 1,200 条，保守读法约 4,800 条，见 2.7-5、3.5-7）；"12–18 个月保质期"（3.1，由约 10–26 个月的历史区间取中段的规划假设）；"$3/GPU 时、40 QPS、满载便宜约百倍、月几百万次分水岭"（2.4，转引 2026 基准文章的估算模型，硬件假设未绑定，盈亏平衡公式与 token 计费换算算例为本文推算，所代入的单价均为官方口径）；2.7-1 的"无标注 → RRF+CE"因果论证为本文补写。
12. Qwen3-Reranker 指令跟随增益：初稿"+1~5%"未找到出处——Qwen 官方博客（https://qwenlm.github.io/blog/qwen3-embedding ）与论文（arXiv:2506.05176，修订会话实读全文）均只有定性表述（Instruction Aware、支持自定义指令），无量化消融；正文（2.6、3.5-6）已撤回该数字。
13. BM25 综述出处（FnTIR 2009）据模型既有知识，本会话未核验原文；Vertex Ranking API v2 的 GA 确切日期与单价数字未重新核验（接口与计费口径见官方文档链接，见 1.5、4.1）。

五、修订记录（2026-11-04 定稿，按独立审读意见逐条处理）

1. 时间口径自洽化：初稿三处"12 年"（TL;DR、引言、1.7 标题）无起算点，统一改为可自洽口径——全时间线自 1994 年规则融合起算、RRF 自 2009 年已 17 年、神经精排自 2019 年已 7 年；"listwise 自 RankGPT 五年后"改为"三年后"（2023-04 → 2026-07）。
2. Qwen3"约 77% 均分"补源：修订会话实读 Qwen 官方博客，77.45 的可考出处为 Qwen3-Reranker-8B 的 CMTEB-R（中文检索子集）分数，属厂商一方口径而非第三方聚合榜单；正文三处（1.6、2.3、4.2-6）已改为精确口径并附 URL，"居开源榜首"标注为未获第三方独立确认。
3. LLM 延迟量级分场景：引言与 1.7 的"高 1–2 个数量级"加限定"调前沿 LLM 的滑窗方案时"，并补"自托管开源 4B 约 3–4.5 倍时延"，与 TL;DR、2.4 的实测口径不再打架。
4. 缺源量化结论逐条处理："recall@pool > 90%"标注为经验法则并补"无标注 → RRF+CE"因果论证（2.7-1）；"100~200 条分辨 1 点 nDCG"撤回，改为外推推算（约 1,200 条、保守约 4,800 条，2.7-5/3.5-7）；"指令跟随 +1~5%"无出处撤回（2.6/3.5-6/4.2-12）；"12–18 个月保质期"降级为规划假设并给出 10–26 个月历史区间推算（3.1）。
5. 2.2 总表可比性与出处：质量行统一 BEIR 口径并加表下脚注（首轮 jina-embeddings-v3 top-100、来源与 Cohere 口径差异说明）；时延行补行内出处与实测环境（H100 PCIe 80GB、300 条查询、e5-base top-100，aimultiple）；jina v3 参数量（0.6B）在首次出现处（2.1 表、2.5 表）补齐，来源 arXiv:2509.25085。
6. 路由判据补缺：新增 3.5 节附注，给出四类经验做法（CE 分数阈值升级、候选级分层重排、分歧检测、预算法），并标注"查询级疑难判定无成熟方法论、判据待研究"；TL;DR、1.6、3.3 的"疑难查询才上 LLM"均加判据指针。
7. token 计费算例：2.4 新增换算算例（100 候选 × 400 token ≈ $0.002/次，与 $2/1K 同量级；长文档 2,000 token 候选低估 5 倍；月账单锚点 $2,000–$10,000/百万次）。
8. 成本模型口径：$3/GPU 时、40 QPS 标注为未绑定硬件的估算输入；2.4 新增盈亏平衡公式（Q\* ≈ N·720·P / c_API）与 Rerank 5 转 token 计价后的分水岭移动；计费分类统一为四种（补"按被排序文档数"，2.4 标题同步）；T4 / H100 / $3-GPU 时三个硬件口径显式标注不可混用；Weaviate v1.20 表述与 4.2-8 同步；BM25 综述、Vertex Ranking v2、Voyage rerank-3 补 URL 或"既有知识"标注。
9. 修订会话实读核验清单（WebFetch/WebSearch）：qwenlm.github.io/blog/qwen3-embedding（reranker 表逐列：MTEB-R 65.80/69.76/69.02、CMTEB-R 71.31/75.94/77.45、MMTEB-R 66.36/72.74/72.94、首轮 Qwen3-Embedding-0.6B top-100）；aimultiple.com/rerankers（jina v3 188ms、nemotron 243ms、Qwen3-4B >1s，H100 PCIe 80GB Runpod，Amazon Reviews Multi 约 145k 文档，300 条查询，e5-base top-100，基线 Hit@1 62.67%）；arxiv.org/abs/2509.25085（jina-reranker-v3 为 0.6B listwise reranker，BEIR 61.94）；arxiv.org/html/2506.05176（论文无指令跟随量化消融）；blog.voyageai.com/2026/09/30/rerank-3（$0.05/$0.02 每 1M token，经搜索确认）；Google Ranking API 文档链接（经搜索确认存在；定价页访问超时，单价未核验）。