jina-reranker-v3.5：混合注意力与自蒸馏如何实现更快的列表式重排序
在信息检索领域，重排序模型扮演着至关重要的角色，它决定了最终返回给用户的结果质量。随着大语言模型的发展，重排序模型也经历了从点式、交互式到列表式的演进。列表式重排序能够同时考虑所有候选文档，从而捕捉文档间的相对关系，但这也带来了计算复杂度的挑战。今天，我们聚焦于Jina AI最新发布的jina-reranker-v3.5，一个仅有0.6B参数的模型，却通过创新的混合注意力机制和自蒸馏技术，在多个基准上超越了更大规模的模型，同时实现了更快的推理速度。
架构创新：混合注意力调度
列表式重排序的核心在于将查询和所有候选文档拼接成一个序列，通过自注意力机制进行编码。然而，全自注意力的计算复杂度随序列长度呈二次方增长，导致长文档场景下的推理延迟难以接受。滑动窗口注意力是一种常见的优化手段，但在列表式重排序中，直接应用会破坏模型对全局上下文的理解。
jina-reranker-v3.5的解决方案是采用混合注意力调度：在27层中，大部分层使用滑动窗口注意力，但最后一层始终保留全局注意力。这种设计确保了查询嵌入能够访问整个候选列表，同时大幅降低了计算成本。具体来说，模型采用了3L2G的调度模式，即三个滑动窗口层后跟两个全局层，重复进行，最终形成17个局部层和11个全局层，窗口大小为1024个token。
这种设计的巧妙之处在于，局部层负责捕捉局部上下文信息，而全局层则定期刷新跨文档的全局信号，从而在效率和效果之间取得了平衡。实验表明，更密集的全局层并不能带来吞吐量的提升，而更激进的5L1G模式则在复杂多文档任务上表现更差。
自蒸馏：跨越注意力差距的知识迁移
蒸馏通常用于将大模型的知识迁移到小模型，但jina-reranker-v3.5的蒸馏与众不同：教师和学生模型大小相同，仅注意力模式不同。教师模型使用全注意力，学生模型使用3L2G混合注意力。这种设置下，直接让学生模仿教师输出会导致失败，因此研究者设计了三阶段流程。
第一阶段，从公开的jina-reranker-v3检查点出发，在全注意力模式下，使用完整的v3.5训练数据微调教师模型，确立质量上限。第二阶段，学生模型从教师权重初始化，激活3L2G注意力，但先冻结除注意力投影外的所有参数，仅训练注意力投影，使稀疏掩码学会路由信息而不破坏已学习的表示。然后解冻所有参数，让学生模型适应新的注意力几何。第三阶段，冻结教师模型，通过四个层面的损失函数对齐学生：列表级KL散度、绝对分数MSE、最后一层隐藏状态MSE以及投影嵌入的余弦损失，并加入上下文相似性和分散正则化。
这种分阶段的方法至关重要。第二阶段单独进行会留下明显差距，因为学生必须在更弱的掩码下改变路由，然后才能安全地模仿教师分数和状态。第三阶段则恢复了大部分差距，表明全注意力能力确实可以迁移到稀疏学生，前提是几何已经适应。
训练数据：针对失败模式的定向补充
v3模型在通用检索上表现良好，但在专业领域和半结构化数据上存在明显不足。研究者没有简单增加数据量，而是对RTEB和STARK开发集进行错误分析，针对性地构建了每个数据分片。硬负样本来自多个检索器（BM25、Jina、BGE、GTE、E5、ColBERT），避免模型学习单一检索器的捷径。
法律分片结合了EUR-Lex多语言、CLERC、AILA、加拿大判例法、瑞士案例摘要和EuroVoc，并进行了过采样，因为法律文本引用密集且篇幅长。医学分片针对临床措辞和实体密集段落。金融分片优先处理数字声明、监管语言和表格感知段落。多语言覆盖扩展到MIRACL和mMARCRO之外，包括50多种语言的WebFAQ、SWIM-IR跨语言负样本和Ruri-v3日语对。
结构化数据获得了最高的采样权重，因为它超出了标准基准假设的自由文本分布。记录和表格的相关性取决于相等性、数字和日期边界、列表成员资格以及跨字段的逻辑组合，而非词汇重叠。早期实验在此表现最差，因此研究者直接合成了约束密集的配对。
实验结果：全面超越，亮点突出
在统一的MTEB v2流程下，jina-reranker-v3.5在BEIR上达到63.20 nDCG@10，超过1.5B的mxbai-rerank-large-v2和4B的Qwen3-Reranker-4B，同时参数仅为0.6B。在多语言MIRACL上，它达到74.11，是紧凑模型中的最佳，其中约鲁巴语、波斯语和法语提升最大。在专业领域RTEB上，它达到70.95，超过同尺寸的Qwen3-Reranker-0.6B和1.5B的mxbai-rerank-large-v2。在半结构化Struct-IR上，它达到48.3，比v3提升9.6点，是本次发布的最大单项改进。
效率方面，在A100上，短上下文场景（如Natural Questions）平均延迟从371ms降至305ms，加速1.22倍；长上下文场景（如AILACasedocs）平均延迟从16.1秒降至10.3秒，加速1.56倍。由于生产环境中的列表式重排序主要由单次预填充主导，这些改进直接转化为在固定服务预算下支持更长的候选列表和更大的文档。
使用指南：多种部署方式
jina-reranker-v3.5可通过Jina Search Foundation API、Elastic Inference Service或transformers库使用。API调用简单，只需指定模型名称和查询文档。Elastic Inference Service允许在托管GPU上部署，无需自行托管模型。transformers库则提供了灵活的本地集成方式。
局限与展望
尽管性能卓越，但列表式重排序仍存在输入约束，如候选数量和总长度的固定上限。此外，与4B的Qwen3-Reranker相比，在RTEB法律和医疗任务、受控池Struct-IR以及低资源MIRACL语言上仍有差距。这些是困难案例，研究者选择坦诚指出而非隐藏。
总体而言，jina-reranker-v3.5证明了在紧凑模型上通过定向训练和知识蒸馏，可以接近甚至超越更大规模模型，同时保持推理效率。对于企业检索场景，这提示我们应关注针对性的监督数据，而非盲目追求模型规模。未来，随着混合注意力调度的进一步优化和训练数据的扩展，紧凑型重排序模型有望在更多专业领域达到甚至超越大模型的表现。
