中文翻译 · 计算病理 / WSI · ICML 2026

尺度上的思考:通过自适应连续推理加速十亿像素病理图像分析Thinking in Scales: Accelerating Gigapixel Pathology Image Analysis via Adaptive Continuous Reasoning

Jiusong Ge1  Yingkang Zhan1  Wenjie Zhao1  Di Zhang1  Ke Wang2  Jiashuai Liu1  Chunze Yang1  Chengzu Li3  Jian Zhang1  Yuxin Dong4  Ni Zhang1  Qidong Liu*1  Mireia Crispin-Ortuzar5  Huazhu Fu6  Chen Li*1  Zeyu Gao*5 1西安交通大学 计算机科学与技术学院  2西安美术学院 跨媒体艺术系  3剑桥大学 语言技术实验室  4Moonshot AI(月之暗面)  5剑桥大学 肿瘤学系  6新加坡科技研究局(A*STAR)高性能计算研究所  (*通讯作者)
Proceedings of the 43rd ICML, Seoul, PMLR 306, 2026
arXiv:2605.19491v2 [cs.CV] · 代码:github.com/JSGe-AI/PathCTM
本文为 PathCTM(Thinking in Scales)一文的中文翻译与精读。全部数学公式、图(Figure 1–8)与表(Table 1–10)均按原文复现;常用技术术语(MIL、WSI、attention、Top-K、entropy、Fano 不等式等)保留英文原词以便对照。图片由原 PDF 高清渲染裁剪并内嵌于本文件,可离线独立阅读。
摘 要

传统的全切片图像(whole slide image, WSI)分析方法通常依赖多示例学习(multiple instance learning, MIL)范式:在高倍下提取 patch 级特征,再聚合得到切片级预测。然而,这种穷举式的 patch 级处理在计算上代价高昂,严重限制了 WSI 分析的效率与可扩展性。为应对这一挑战,我们提出 PathCTM(Pathology-oriented Continuous Thought Model,面向病理的连续思维模型),它为十亿像素 WSI 提供了 token 高效的尺度空间连续推理。PathCTM 将诊断推断建模为一个动态的序贯信息追踪(sequential information pursuit)过程:它从低倍全局视野逐步过渡到高倍局部审视,并在积累到足够证据、能够有效约束决策不确定性时自适应地终止推理。具体而言,它以条件计算(conditional computation)实现动态尺度切换与注意力引导的区域剪枝(attention-guided region pruning),并配合置信度感知的早停(confidence-aware early stopping)。大量实验表明,相比标准 MIL 方法,PathCTM 将所需图像 patch 数量减少 95.95%、推理时间缩短约 95.62%,而 AUC 不降反升。代码见 https://github.com/JSGe-AI/PathCTM。

1引言

全切片图像(WSI)分析是计算病理学中最具挑战性的任务之一。随着数字扫描技术的进步,病理切片如今可被数字化到十亿像素(gigapixel)分辨率,从而在单个标本内同时可视化组织结构与细胞形态。然而,这种超高分辨率输入带来了巨大的计算与存储开销,阻碍了自动化 WSI 分析在临床场景中的可扩展性与实际部署。

当前 WSI 分析的主流范式基于多示例学习(MIL):将每张 WSI 切分为数以万计的高倍 patch 进行特征提取,再对特征做一次性聚合以得到预测。尽管该范式在多种下游任务中表现优异——尤其是配合病理基础模型(pathology foundation models)时——但它依赖于穷举式的 patch 级处理,导致巨大的计算开销与低效的推理。如图 1(a) 所示,patch 切分(tiling)与特征提取主导了运行时间,然而其中大量 patch 对最终预测的贡献微乎其微。因此,让模型能够自适应地把计算资源分配到跨尺度上具有诊断价值的区域,是实现高效、可临床扩展的 WSI 分析的关键。

图 1:传统 MIL 流水线与 PathCTM 的对比
图 1. (a) 传统 MIL 的 WSI 分析流水线,以及各阶段的耗时分解——MIL 推理本身仅占总时间的 \(5\times10^{-5}\),而 patch 切分与特征提取才是瓶颈。(b) PathCTM 遵循"尺度上的思考(thinking-in-scales)"范式的动态多尺度连续推理过程:分析自全局到局部逐步精细化,在证据不足时切换到更高倍尺度,仅对关键区域(key regions)加载高分辨率。(c) PathCTM 与现有方法的性能对比——在不牺牲精度的前提下实现约 20× 的加速。

尽管已有研究(Yu et al., 2024;Dong et al., 2025)尝试加速 WSI 分析,但它们往往依赖细粒度标注或僵化的级联(cascade)结构,只是在形式上模仿病理医生"由粗到细(coarse-to-fine)"的工作流,而缺乏连续的、记忆驱动的推理能力。因此,它们在可扩展性上受限,并常常导致精度下降或仅有边际的效率提升。在临床实践中,病理医生进行的是一种连续、渐进、且具记忆感知(memory-aware)的多尺度推理:他们动态整合跨尺度的上下文,一旦收集到足够的诊断证据便停止检查,从而兼顾效率与可靠性。这种差异揭示了当前方法与病理医生认知过程之间的推理鸿沟(Reasoning Gap)。

近来,为弥合 AI 系统与人类认知之间的鸿沟,连续思维机(Continuous Thought Machine, CTM)(Darlow et al., 2026)被提出,它引入"内部时间(internal time)"以实现迭代式推理,为赋予现有方法连续推理能力提供了一种理论上的替代方案。然而,标准 CTM 仅能在单尺度的常规静态图像上进行推理,无法直接应用于十亿像素级的 WSI 分析。它的基本前提是:在固定张量上延长思考时间即可挖掘更深层的信息。但在低分辨率 WSI 场景中,再多的内部时间迭代也无法"幻想(hallucinate)"出粗尺度下缺失的细胞级细节。此外,该框架也无法利用 WSI 固有的层级结构。总之,现有 CTM 架构在病理场景中会失效。

为应对这些挑战,我们提出 PathCTM,一种面向十亿像素病理图像的高效连续推理范式。PathCTM 保留标准的"时间上的思考(Thinking in Time)"作为其内部迭代引擎,同时进一步引入一种全新的"尺度上的思考(Thinking in Scales)"机制,使迭代推理与 WSI 金字塔的多倍率层级对齐。这一设计将诊断建模为跨尺度、跨区域的序贯证据获取,在显著降低 token 预算的同时实现高效、可解释的跨尺度推断。如图 1(b) 所示,我们的框架由三个核心组件构成:

1尺度空间连续推理(Scale-Space Continuous Reasoning):PathCTM 在空间维度上进行跨尺度连续推理,建立起一条连贯的由粗到细的尺度化推断轨迹。通过在尺度切换时强制状态连续性,模型可动态地将全局上下文与局部细粒度信息相融合。

2注意力引导的区域剪枝(Attention-Guided Region Pruning):该模块将传统的软注意力(soft attention)转化为由信息密度驱动的条件式硬剪枝(hard pruning)策略。仅对信息量大的区域选择性加载高分辨率特征,并通过联合聚焦过滤机制(joint focus filtering)抑制误差传播,从而消除 WSI 分析固有的速度瓶颈。

3置信度感知的早停(Confidence-Aware Early Stopping):考虑到诊断样本难度各异,PathCTM 引入基于熵最小化的置信度感知早停策略。一旦积累的证据足以在理论上约束决策不确定性,推理即可立即终止,以最小的计算代价保证可靠性。

此外,PathCTM 与现有病理基础模型完全兼容,可无缝集成到标准 MIL 流水线中,同时提升推理效率与可解释性。凭借这些设计,PathCTM 实现了如图 1(c) 所示的范式转变:在不损失精度的前提下,推理速度远超现有方法。

主要贡献 (i) 提出 PathCTM——一个将 WSI 分析建模为动态序贯信息搜索过程的高效连续推理框架,它模拟病理医生由粗到细的推理工作流,支持可解释诊断,并可与病理基础模型无缝集成。
(ii) 设计了一种由条件计算与熵最小化驱动的渐进式多尺度推断策略,实现平滑的跨尺度过渡、注意力引导的聚焦选择与置信度感知的终止,在整合全局与局部线索的同时最小化冗余计算。
(iii) 在四个诊断任务上的大量实验表明,相比标准 MIL 方法,PathCTM 将推理时间缩短 95.62% 且进一步提升了 AUC;对其推理轨迹的分析与可视化进一步印证了 PathCTM 增强的可解释性及其动态的"尺度上的思考"推理行为。

2相关工作

多示例学习(Multiple Instance Learning)

计算病理学近来已从传统诊断迈向更多样化的临床导向任务与可靠的 AI 部署(Zhang et al., 2025;Yang et al., 2026;Ge et al., 2025;Zhu et al., 2025)。其中,WSI 分析已成为计算病理学的核心任务,而 MIL 仍是主导范式。诸如 CLAM(Lu et al., 2021)、TransMIL(Shao et al., 2021)、ABMIL(Ilse et al., 2018)等方法建立了强基线,但它们因穷举式处理而承受高昂的计算成本。近期的加速尝试,如层级蒸馏(hierarchical distillation,Dong et al., 2025)与自反式聚焦(self-reform focusing,Yu et al., 2024,该方法在训练时依赖细粒度标注),在一定程度上加速了 WSI 分析。类似地,ZoomMIL(Thandiackal et al., 2022)、HAG-MIL(Xiong et al., 2023)、EAGLE(Neidlinger et al., 2025)等方法尝试通过多尺度区域选择或关键 tile 过滤来减少冗余计算。然而,这些方法往往未能触及特征提取这一核心瓶颈,或因其僵化的、程序化的推断设计而导致精度下降、与基础模型兼容性差。

连续思维机(Continuous Thought Machines)

近来,动态推理与自适应状态建模在视觉 AI 系统中受到越来越多的关注(Yan et al., 2025;Zhu et al., 2026;Ke et al., 2026)。传统深度学习模型(Krizhevsky et al., 2012;He et al., 2016;Vaswani et al., 2017)依赖静态前馈计算,而生物学上更合理的范式,如液态时间常数网络(LTCNs,Hasani et al., 2021),则探索了连续的时间动态。在此基础上,连续思维机(CTM,Darlow et al., 2026)进一步引入神经同步(neural synchrony)以模拟动态思考过程。与瞬时响应模型不同,CTM 通过随时间协调的神经活动来处理信息。然而,CTM 是为单尺度静态图像设计的,并假设在固定张量上延长计算即足以提取更深层的信息。当直接应用于 WSI 时,这一假设便告失效:低分辨率输入无法"幻想"出粗尺度下缺失的细胞细节,而在全分辨率 WSI 上进行多步推理又在计算上不可行。我们的工作通过开发一个专为 WSI 量身定制的、尺度感知的连续推理框架来应对这些挑战。

3方法

3.1总览

PathCTM 的核心在于:将 WSI 分析构建为一个在计算约束下最小化诊断不确定性的动态推断过程。与静态方法不同,它建立了一个能够跨尺度连续推理的自适应框架。如图 2 所示,整个工作流经历四个阶段:(1) 特征编码;(2) 跨尺度连续推理与同步(synchronization);(3) 经由条件计算的注意力引导区域剪枝;(4) 经由熵最小化的置信度感知早停。

图 2:PathCTM 总体框架
图 2. PathCTM 总体框架。 将 WSI 分析构建为动态序贯信息追踪,模型自低倍(\(L\))到高倍(\(L-1\))执行渐进式连续推理。若在尺度 \(L\) 处置信度不足,模型利用最自信步(most confident step)的注意力权重执行 Top-K 区域剪枝,引导向下一尺度过渡。跨尺度一致性通过拼接来自先前尺度的同步输出(synchronization outputs)来维持。推理支持置信度感知的早停,一旦满足置信度阈值即立即终止以优化效率。

具体而言,PathCTM 通过从 WSI \(X \in \RR^{H\times W\times 3}\) 中提取低倍特征来初始化推理轨迹。随后,它在 \(n\) 个连续时间步上执行神经动态推理。在每一步 \(t\),模型评估以当前隐状态 \(Z_t\) 为条件的后验分布 \(P(Y|Z_t)\) 及其关联的熵。若信息增益在当前尺度 \(L\) 处饱和,模型便触发多尺度动态切换机制。为最大化"信息—计算比(information-to-compute ratio)",模型以尺度 \(L\) 处最自信时间步的注意力分布作为信息密度的代理(proxy),选出 \(K\) 个高价值区域(条件计算),过渡到尺度 \(L-1\) 进行细粒度证据积累。该渐进过程持续进行,直到诊断熵降到接受边界(acceptance margin)以下,或计算预算耗尽。

在优化方面,PathCTM 采用一个同时奖励预测准确性与确定性的复合目标。对每个内部时间步 \(t \in [1,\dots,T]\),模型计算交叉熵损失 \(\mathcal{L}^t\) 以及置信度分数 \(C^t\)(定义为 1 减去归一化熵)。在全部 \(z\) 个尺度上,对每个尺度我们识别两个最优检查点:最小损失点 \(t^1_l\) 与最大确定性点 \(t^2_l\),定义如下:

\[ \mathcal{L}^t_l = \CrossEntropy(\hat{y}^t,\, y_{\text{label}}),\quad l \in [1,\dots,z] \tag{1} \]
\[ t^1_l = \argmin(\mathcal{L}_l),\qquad t^2_l = \argmax(C_l) \tag{2} \]
\[ \mathcal{L}_{\text{all}} = \frac{1}{z}\sum_{l=1}^{z} \frac{\mathcal{L}^{t^1_l}_l + \mathcal{L}^{t^2_l}_l}{2}. \tag{3} \]

这一双目标损失确保模型不仅学会正确分类(最小化 \(\mathcal{L}\)),还学会识别自身何时是确定的(最小化熵),从而使隐空间动态与停止准则相对齐。

3.2基于序贯信息追踪的连续多尺度推理

将 WSI 分析重新审视为一个动态过程。 传统 MIL 框架通过对高倍 patch 做静态、一次性的聚合来近似后验分布 \(P(Y|X)\);与之不同,我们将 WSI 分析构建为一个动态序贯信息追踪。其核心目标是:在演化的隐状态 \(Z_t\) 之下,跨时间步 \(t\) 与多个尺度,逐步最小化诊断 \(Y\) 的条件熵 \(H(Y|Z_t)\)。为此,PathCTM 构建了一条从粗粒度全局上下文过渡到细粒度局部证据的连续推理轨迹。

隐空间动态。 我们将推理过程建模为一个递归动力系统。在每个尺度 \(L\),模型进行 \(n\) 个时间步的连续推理。为确保信息流的时间连续性,系统维护一个持久记忆状态,它依据新的感知输入与先前上下文而演化。具体地,设 \(e^t\) 表示后激活(post-activation)状态、\(h^t\) 表示预激活(pre-activation)状态,初始状态 \(e^1\) 定义为一个可学习参数。动态由同步模块 \(f_{\theta_{\text{syn}}}\) 支配,它充当状态转移函数:

\[ h^t = f_{\theta_{\text{syn}}}\!\big(\concat(e^t, b^t)\big) \in \RR^{D}, \tag{4} \]

此处 \(b^t\) 表示注意力机制的输出,\(D\) 表示隐空间的维度。为在无界记忆成本下捕捉长程时间依赖,我们采用先进先出(First-In-First-Out, FIFO)的历史机制。我们维护三份历史记录:预激活历史 \(H_t = [h^{t-M+1},\dots,h^t]\in\RR^{D\times M}\)、后激活历史 \(E_t=[e^1,\dots,e^t]\in\RR^{D\times N}\),以及同步输出历史 \(S^{\text{list}}_{\text{out}}=[S^1_{\text{out}},\dots,S^t_{\text{out}}]\in\RR^{D\times N}\)。预激活历史 \(H_t\) 存储来自多个时间步的状态,并通过 FIFO 更新。这确保隐状态能够有效地对从全局视野一直到当前聚焦点所累积的证据进行汇总。

作为信息最大化的动态尺度切换。 尺度之间的过渡由"当前分辨率约束下证据不足"所驱动。具体地,当在尺度 \(L\) 处推理达到最大时间步 \(n\) 而预测置信度仍未达到阈值 \(\delta\) 时,系统触发多尺度动态切换。该过程在下一更高分辨率处查询一个新的特征子空间,以最大化与诊断目标的条件互信息。在过渡期间,预激活历史 \(H_t\) 继续按 FIFO 规则更新,从而跨倍率保持时间连续性。

经由跨尺度融合的信息累积。 一个关键挑战是:当模型聚焦于局部细节时,如何防止全局上下文的"灾难性遗忘(catastrophic forgetting)"。为此,PathCTM 采用跨尺度融合策略,将当前细尺度的同步输出 \(S^{L-1,t}_{\text{out}}\) 与来自上一粗尺度的最自信输出 \(S^{L,\max}_{\text{out}}\) 相结合:

\[ \hat{y}^t = \MLP\!\big([\, S^{L-1,t}_{\text{out}} \,\|\, S^{L,\max}_{\text{out}} \,]\big). \tag{5} \]

这一融合机制使模型能在细粒度推断时持续利用先前推理阶段累积的全局证据,而非仅依赖当前尺度的局部信息。如此便有效缓解了跨区域、跨尺度聚焦切换时的信息丢失风险。

3.3基于条件计算的注意力引导区域剪枝

预算约束下的优化目标。 WSI 分析的首要瓶颈在于处理所有高倍 patch 在计算上的不可行性。我们将这一挑战建模为一个条件计算问题:给定计算预算 \(K\)(允许的高分辨率 patch 数量),我们寻求选出一个区域子集 \(S\),以最大化对诊断 \(Y\) 的期望信息增益。形式化地,这是一个优化问题:

\[ S^* = \argmax_{S\subset\mathcal{X},\,|S|\le K} I(Y;\,S\mid Z_t), \tag{6} \]

其中 \(\mathcal{X}\) 表示当前尺度上的候选 patch 集合,\(S^*\) 表示用于细节分析的最优子集,\(I(\cdot)\) 表示互信息。由于对所有候选计算互信息不可行,PathCTM 采用注意力引导的区域剪枝机制作为一个可处理的代理。连续推理过程中生成的注意力分布近似了局部信息密度,使模型得以过滤冗余、无信息的区域,而只聚焦于高价值区。

查询生成与注意力机制。 为生成引导这一选择的查询向量,PathCTM 利用其隐式神经动态。在训练开始时,我们通过随机选取 \(\theta_{\text{out}}\) 与 \(\theta_{\text{action}}\) 来采样 \((m,n)\) 个神经元。它们用于在每个时间步 \(t\) 生成两个同步表示:\(S^t_{\text{out}}\in\RR^{\theta_{\text{out}}}\) 与 \(S^t_{\text{action}}\in\RR^{\theta_{\text{action}}}\)。这两个表示经由矩阵 \(W_o\) 与 \(W_i\) 做线性变换,分别得到模型输出 \(\hat{y}^t\) 与注意力查询向量 \(q^t\):

\[ \hat{y}^t = W_o\cdot S^t_{\text{out}},\qquad q^t = W_i\cdot S^t_{\text{action}}. \tag{7} \]

基于这些查询,我们采用标准的交叉注意力(cross-attention)计算注意力权重矩阵 \(A^t\) 与输出表示 \(b^t\):

\[ A^t,\, b^t = \Attn\!\big(q^t,\, \Encoder(\text{data})\big). \tag{8} \]

所得 \(b^t\) 与突触状态(synaptic state)\(e^{t+1}\) 拼接,作为下一时间步输入的一部分。同时,每个注意力矩阵 \(A^t\) 被存入列表 \(A^{\text{list}}\),以记录跨时间步的注意力分布。

作为稀疏掩码的 Top-K 选择。 为在尺度过渡时求解上述优化问题,我们采用注意力引导的贪心选择(greedy selection)。区别于均匀采样,我们强制由注意力权重决定的空间稀疏性。我们通过下述命题来形式化这一基于注意力的选择准则的有效性:

命题 1(注意力作为影响力的代理). 在特征范数有界与加性聚合(additive aggregation)的假设下,注意力权重为单个 patch 对决策损失的影响力提供了一阶代理(first-order surrogate)。特别地,按注意力分数选取 Top-K 的 patch,可作为对基于梯度的影响力最大化(gradient-based influence maximization)的一个可处理近似。(详细推导见附录 A.1。)

在该命题指导下,我们识别出在当前推理轨迹中产生最高预测置信度的时间步 \(t^*\)。借助上述理论代理关系,我们选出注意力最高的前 \(K\) 个 patch 的索引,构成子集 \(S\):

\[ S = \{\, i \mid A^{t^*}_i \in \TopK(A^{t^*}) \,\}. \tag{9} \]

随后,仅对 \(S\) 中的索引在尺度 \(L-1\) 处执行高分辨率特征提取。这一注意力驱动的策略实际上充当了一个稀疏掩码(sparse mask),将计算复杂度从 \(O(N)\) 降至 \(O(K)\)(其中 \(K\ll N\))。通过把浮点运算(FLOPs)集中在分布中信息密集的尾部,PathCTM 最大化了信息—计算比,在保持诊断精度的同时实现了高效的逐层聚焦。

用于抑制误差传播的联合注意力校准。 粗粒度特征的模糊性常常导致假阳性(false positive)候选的产生与误差的累积。为此,PathCTM 在尺度过渡时引入联合注意力机制。不同于对所有候选(包括错误候选)强制执行子区域选择的僵化聚焦方法,我们的方法在每个尺度联合建模所有区域并重新校准注意力。对于选定的子集 \(S\),在尺度 \(L-1\) 处提取相应的细粒度特征 \(F^{L-1}_S=\{f^{L-1}_k\}_{k\in S}\) 之后,我们通过联合注意力计算新的权重分布 \(A^{L-1}\):

\[ A^{L-1}_i = \frac{\exp\!\big(q^t\cdot f^{L-1}_i/\sqrt{D}\big)}{\sum_{k\in S}\exp\!\big(q^t\cdot f^{L-1}_k/\sqrt{D}\big)},\qquad \forall i\in S \tag{10} \]

这确保了无效候选被有效剔除,而不会触发后续的子区域选择(如图 2 中尺度 \(L-1\) 处的"误差拦截(error interception)"所示)。它持续过滤噪声误差,仅将有效区域传播到高分辨率分析阶段。

3.4基于熵最小化的置信度感知早停

自适应停止的形式化。 不同诊断任务与样本具有各异的内在复杂度。为将计算成本与样本难度自适应地解耦,PathCTM 引入置信度感知的早停机制。我们将推断时长形式化为一个随机停止时间(stopping time)\(\tau\),目标是在模型达到足够确定性时便停止计算。设 \(\hat{y}_{t,L}\) 表示尺度 \(L\)、时间步 \(t\) 下的预测。我们用置信度分数 \(C_{t,L}\) 量化预测确定性,其定义为归一化熵的补:

\[ C_{t,L} = 1 - \frac{H(\hat{y}_{t,L})}{\log N}, \tag{11} \]

其中 \(H(\cdot)\) 是 Shannon 熵,\(N\) 是类别数。停止时间 \(\tau\) 定义为该置信度分数首次超过阈值 \(\delta\) 的时刻:

\[ \tau = \min\{(t,L)\mid C_{t,L}\ge \delta\}. \tag{12} \]

为把诊断不确定性与分类误差的下界联系起来,我们借助 Fano 不等式,如下述命题所述:

命题 2(基于 Fano 不等式的误差界). Fano 不等式在条件熵 \(H(Y\mid Z_t)\) 与分类错误概率 \(P_e\) 之间建立了信息论关系。特别地,较高的条件熵必然意味着可达错误概率存在一个不可忽略的下界,从而为置信度感知的早停提供了理论动机。(推导见附录 A.2。)

通过对潜在分类误差施加下界,该机制将 PathCTM 转化为一个自适应推断框架。它使推断终止准则与可靠性目标相对齐,让模型能在动态推理过程中输出可靠的预测。

动态推理与效率权衡。 推断以序贯假设检验(sequential hypothesis testing)的方式进行。若在尺度 \(L\) 内的任一步 \(t\) 满足置信条件 \(C_{t,L}\ge\delta\),系统便将隐状态 \(Z_t\) 解读为已捕获足够证据,遂终止并输出 \(\hat{y}_{t,L}\)。否则,模型切换到尺度 \(L-1\) 以消解歧义。该过程反复迭代,直到满足停止条件或最大推理预算耗尽。通过这一自适应策略,PathCTM 优化了"最小化预测误差与计算 FLOPs"的联合目标:为"简单"样本分配最少资源,而为"困难"样本保留深度的多尺度计算,从而有效平衡精度与效率。

4实验

4.1数据集与实现细节

我们在三个公开数据集上的四个诊断任务上评估了 PathCTM 框架:(1) BRACS(Brancati et al., 2022)数据集,用于乳腺癌亚型分类,包含一个高层级类别分类任务(BRACS-3)与一个细粒度亚型分析任务(BRACS-7);(2) MUT-HET-RCC(Acosta et al., 2022)数据集,用于基因突变预测(MUT-SETD2);(3) 来自 TCGA 项目(Weinstein et al., 2013)的 RCC 数据集,用于肾细胞癌分期(RCC-staging)。数据集详情与训练配置见附录。

为验证方法有效性,我们系统地将 PathCTM 与多个 SOTA MIL 方法进行了比较,包括 CLAM(Lu et al., 2021)、ABMIL(Ilse et al., 2018)、TransMIL(Shao et al., 2021)、WIKG(Li et al., 2024)、DSMIL(Li et al., 2021)、RRT(Tang et al., 2024)、HDMIL(Dong et al., 2025)、ZoomMIL(Thandiackal et al., 2022)、HAG-MIL(Xiong et al., 2023)与 EAGLE(Neidlinger et al., 2025)。值得注意的是,SMT(Yu et al., 2024)因需要细粒度标注进行训练、无法在这些数据集上做公平比较,故被排除。为确保公平,所有方法均使用两种特征提取器评估:CONCH(V1.5)(Lu et al., 2024)与 UNI(V2)(Chen et al., 2024)。细节见附录 C。

性能从三个维度评估:(1) 宏平均 AUC(macro AUC);(2) 每张切片平均处理的 patch 数(No. Pat.);(3) 总推理时间(Time),包含 patch 切分、特征提取与模型推断。需要指出的是,本文中"Patch Tiling"指从原始 WSI 到 patch 送入编码器之前的完整数据准备流水线。除坐标生成外,该过程还包含计算密集的滑窗解码(sliding-window decoding)、多尺度坐标映射与 I/O 密集的图像 patch 提取。在 CLAM 等框架中,这些 I/O 成本常被隐藏在特征提取循环内部;而我们显式地将 I/O 与模型推断分离,以更准确地暴露真正的端到端瓶颈。详细描述见补充图 8(附录 H)。

表 1. 四个诊断任务上的实验结果汇总。最优结果以加粗标出。AUC 以百分比(%)表示,Time 以秒(s)计。FE 表示特征提取器(feature extractor)。
FEMODELBRACS-3BRACS-7RCC-STAGINGMUT-SETD2
AUC↑Pat.↓Time↓AUC↑Pat.↓Time↓AUC↑Pat.↓Time↓AUC↑Pat.↓Time↓
CONCH
(V1.5)		CLAM92.0±1.3260674.4386.2±2.1260574.4177.3±6.03517100.4373.2±3.0286981.92
ABMIL91.9±1.3260674.4388.6±1.3260574.4174.4±8.03517100.4374.2±3.9286981.92
TRANSMIL90.6±0.9260674.4486.1±1.1260574.4176.9±5.83517100.4470.1±4.1286981.93
WIKG90.4±0.9260674.4484.4±1.5260574.4181.2±7.33517100.4471.1±2.0286981.92
DSMIL90.6±1.2260674.4385.3±1.5260574.4180.0±8.73517100.4369.9±3.9286981.92
RRT91.6±1.5260674.4486.0±1.5260574.4176.3±6.53517100.4373.5±4.1286981.92
HDMIL90.2±3.4116433.2676.9±5.488225.2173.8±2.2125635.8868.9±2.1208759.52
HAG-MIL85.2±1.187525.7875.7±3.689526.3781.3±7.399229.2364.7±5.290726.72
ZOOMMIL92.2±1.839511.6485.5±3.040011.7978.5±4.845513.4168.9±3.938711.40
EAGLE85.9±3.375622.2882.5±1.675622.2871.4±10.977422.8170.5±3.4146543.16
PATHCTM93.1±1.61835.3488.9±1.72246.6482.8±2.62507.3973.9±2.62356.93
UNI
(V2)		CLAM92.0±1.29484210.1587.0±1.611929264.3379.0±9.015063333.8074.1±2.311229248.84
ABMIL91.8±2.29484210.1786.9±1.511929264.3379.7±6.615063333.8173.7±3.011229248.85
TRANSMIL89.1±0.99484210.1585.3±1.211929264.3479.1±5.215063333.8471.6±1.711229248.87
WIKG91.4±1.79484210.1887.1±1.411929264.3681.2±7.515063333.9073.8±1.911229248.90
DSMIL91.3±0.59484210.1586.9±1.011929264.3382.7±5.315063333.8169.7±3.011229248.85
RRT91.6±2.49484210.1687.9±0.511929264.3480.3±6.615063333.8374.7±2.811229248.86
HDMIL90.1±2.47242160.5082.1±4.7363280.5179.8±5.110709237.3368.8±3.18806195.16
HAG-MIL86.7±1.0148634.3275.7±3.689520.6780.2±3.9175240.4668.8±2.3223651.64
ZOOMMIL91.7±1.591221.0686.0±1.591121.0479.5±4.0114326.4073.6±4.6120327.78
EAGLE85.5±1.693521.5980.3±1.993521.5978.0±4.590020.7968.8±2.3212349.03
PATHCTM93.6±1.13497.9589.3±1.73628.2883.0±2.64089.3375.4±2.83929.00

4.2性能与效率分析

表 1 给出了与现有 SOTA 方法的全面比较。PathCTM 在 8 组实验设置中的 7 组上优于基线,平均 AUC 提升 2.3%,仅在 MUT 数据集(CONCH)上略逊于 ABMIL。最引人注目的是,PathCTM 在效率上带来数量级的飞跃:相比标准 MIL 方法,推理时间缩短 95.62%;相比加速类方法则缩短 92.46%。这些效率增益在使用 UNI 提取器时最为显著。

此外,我们还将 PathCTM 与现有的切片级基础模型(slide-level foundation models)进行了比较,包括 CHIEF(Wang et al., 2024)、GigaPath(Xu et al., 2024b)、PRISM(Shaikovski et al., 2024)与 TITAN(Ding et al., 2025)。表 2 报告了 BRACS 数据集上的结果,其中 PathCTM(使用 CONCH V1.5)与这些切片级模型对比。与 MIL 方法类似,当前切片级基础模型同样存在明显的速度瓶颈,而 PathCTM 在效率上展现出显著优势。

表 2. PathCTM 与切片级基础模型的比较,AUC 以 % 表示。
MODELBRACS-3BRACS-7RCC-STAGINGMUT-SETD2
AUC↑Time↓AUC↑Time↓AUC↑Time↓AUC↑Time↓
CHIEF88.13±2.7120.1885.17±1.5920.1176.44±5.3927.2372.13±3.4622.21
GIGAPATH85.08±2.47175.7980.86±2.30221.1173.39±6.16279.1972.49±2.65208.13
PRISM88.96±2.38113.8585.58±1.41115.5274.38±5.00144.3272.20±2.83107.58
TITAN91.82±1.4274.4586.72±1.1874.4279.08±5.57100.4573.44±3.4681.93
PATHCTM93.10±1.585.3488.90±1.746.6482.84±2.557.3973.94±2.616.93

更进一步,PathCTM 通过其置信度感知早停,使计算预算与任务难度相适配。在 BRACS-3 等较易任务上,许多样本已能在较低倍率下达到高置信度,因而所需 patch 数量大幅减少(CONCH 上 183 个)。相比之下,BRACS-7 等更细粒度的任务需要稍深的推理(224 个 patch)来分辨细微的亚型差异。如图 4 所示,分期与突变预测任务也呈现类似趋势——多数样本必须推进到最高倍率才能获得足够的诊断确定性。这与临床特征相吻合:分期需要检查肿瘤—间质界面与浸润前沿,突变预测依赖细胞级的形态学线索,而亚型分类更依赖更宏观的组织结构模式、往往更早收敛。总体而言,这些结果表明 PathCTM 以"尺度上的思考"方式调整其推断深度——对简单样本早停,对困难样本深入推理,在计算成本与诊断精度之间取得高效平衡。

图 3:PathCTM 在单张 BRACS 切片上的自适应连续推理
图 3. PathCTM 在单张 BRACS 切片上、于不同任务难度下的自适应连续推理可视化(左:BRACS-3;右:BRACS-7)。顶部面板展示各尺度下 top-5 被关注的 patch,聚焦于呈现结构畸变(architectural distortion)与核异型(nuclear atypia)的关键区域。底部面板追踪置信度与类别预测概率的动态轨迹。可见较易的 BRACS-3 在 L-1 处即触发早停,而更难的 BRACS-7 需推进到 L-2。
图 4:PathCTM 在四个数据集上的早停尺度分布
图 4. PathCTM 在四个数据集上的早停尺度(early-stopping scales)分布(\(\delta=0.9\))。BRACS-3 大量样本在 L 与 L-1 处即终止,而 RCC-staging 与 MUT-SETD2 的多数样本需推进到 L-2、L-3。

4.3可视化与可解释性分析

图 3 可视化了 PathCTM 在一张随机选取的 BRACS 切片上、于不同诊断难度下的自适应推断轨迹。从形态学上看,随着尺度推进、模型获取越来越丰富的语义信息,置信度与预测概率均呈上升趋势。在每个尺度,top-5 patch 都被精确定位到上皮区域与导管结构内。这些区域有效捕获了结构畸变与核异型——它们对区分细粒度乳腺癌亚型至关重要。

从行为上看,PathCTM 展现出对任务复杂度的感知能力,这一点由动态曲线定量印证。在较简单的病变类型分类(BRACS-3)任务中(左),模型判定粗粒度特征已足够。这体现为曲线中陡峭的上升趋势——置信度迅速饱和并在尺度 L-1 处触发阈值,提前终止推理以避免冗余。反之,在更具挑战性的病变亚型(BRACS-7)任务中(右),模型"意识到"当前证据不足,遂将推理推进到更深的层级(L-2)以捕获更细微的细胞级证据、消解不确定性。此时曲线呈现阶梯式增长,尤其表现为置信度在尺度边界处的显著跳变,证明细粒度特征对于消除困难样本的不确定性不可或缺。这一动态过程与病理医生"由粗到细"的诊断逻辑高度契合:对复杂样本投入更多注意力,同时对典型样本保持高效。这不仅验证了 PathCTM 的效率,也彰显了其决策过程的高临床可解释性。针对 RCC 分期的补充可视化见附录 E,以说明模型在同一任务内对不同难度样本的适应能力。

4.4消融实验与参数分析

我们在 BRACS-3 上(表 3)评估了 PathCTM 各核心模块的贡献。基线(baseline)承受着高昂的计算成本。引入注意力引导区域剪枝(I)后,patch 用量大幅下降而精度损失极小。随后的多尺度同步融合(II)通过保留跨尺度上下文恢复了性能。最后,置信度感知早停(III)通过在高确定性时终止推断进一步优化了效率,并在最小计算下维持了精度。

表 3. PathCTM 各组件在 BRACS-3(CONCH)上的消融研究。I:注意力引导区域剪枝;II:多尺度同步融合;III:置信度感知早停。
IIIIIINo. Pat.↓ACC↑AUC↑
———352978.321.0393.720.44
✓——24676.281.4193.070.61
✓✓—24678.311.4893.591.14
✓✓✓18378.311.4893.101.58

PathCTM 允许根据具体诊断需求灵活地平衡推理效率与精度。进一步的参数分析(图 5)揭示了 patch 数量 \(K\) 与置信度阈值 \(\delta\) 对这一权衡的影响。关于 \(K\):增大 patch 数量最初会提升精度,但超过 \(K=10\) 后增益因信息冗余而饱和,故我们采用 \(K=10\) 作为默认值。类似地,预测稳定性在 \(\delta\in[0.8,1.0]\) 内即可达成。我们推荐设置 \(\delta=0.9\):超过该点继续推理带来的精度改善微乎其微,而在此阈值终止能在保证可靠预测的同时有效优化推理速度。详见附录。

图 5:patch 数量 K 与置信度阈值 δ 的影响
图 5. 所选 patch 数量 \(K\) 与置信度阈值 \(\delta\) 对预测精度与推理效率的影响。上排:\(K\) 的影响;下排:\(\delta\) 的影响。左列为 AUC,右列为 patch 数量。

5结论

本文提出了 PathCTM——一个与病理基础模型兼容的、面向 WSI 的高效连续推理框架。通过以自适应剪枝与置信度感知早停来镜像病理医生"由粗到细"的工作流,PathCTM 在跨尺度推理中动态凸显诊断区域,并大幅加速推断。实验表明,PathCTM 在多个数据集上同时实现了高诊断精度与显著的计算效率,同时展现出清晰的"全局到局部"诊断逻辑,增强了可解释性。这一范式为可扩展、高效且临床对齐的 WSI 分析提供了一个有前景的方向。

致谢本工作得到以下资助:陕西省重点研发计划(2025SF-YBXM-363、2024SF-GJHX-32),国家科技重大专项(2025ZD0544802、2024ZD0527700),宁夏回族自治区重点研发计划(2023BEG02023),西安交通大学第一附属医院"全链条智能病理诊断关键技术研究"项目(HX202440),陕西省博士后研究项目(31271000000008),国家自然科学基金(62506291),西安交通大学 AI 科学研究基金(2025YXYC004),英国皇家学会(RGS\R2\252688),以及 GE HealthCare。
影响声明(Impact Statement)本工作通过减少十亿像素 WSI 分析中的冗余计算,推动了更高效、可扩展的计算病理学。PathCTM 能降低推理成本与延迟,使计算病理模型更适用于临床与科研场景。但该方法旨在辅助而非取代病理医生,且在部署前仍需在多样化的临床数据集上进行进一步验证。

附 录

A理论分析与证明

本节给出 PathCTM 核心机制的形式化证明与理论推导。具体包括:(1) 经由一阶敏感性分析(first-order sensitivity analysis)的注意力引导区域剪枝;(2) 经由错误概率约束的置信度感知早停。

A.1命题 1 的证明(注意力引导区域剪枝)

命题 1(重述). 在特征范数有界与加性聚合的假设下,注意力权重为单个 patch 对决策损失的影响力提供一阶代理。特别地,按注意力分数选取 Top-K 的 patch,可作为对基于梯度的影响力最大化的可处理近似。

推导. 我们将 patch 选择形式化为:识别出这样一个 patch 子集,其移除会在损失函数上引起最大的一阶变化。设切片级聚合表示定义为

\[ z_{\text{agg}} = \sum_{j=1}^{N} A_j h_j, \tag{13} \]

其中 \(A_j\) 表示与 patch \(j\) 关联的注意力权重,\(h_j\) 为其对应的特征嵌入。我们将 patch \(x_i\) 的影响力定义为:在扰动 \(A_i\to 0\) 下损失泛函 \(\mathcal{L}\) 的变化量。

第 1 步:一阶敏感性分析。 我们将损失 \(\mathcal{L}(A)\) 视为注意力向量 \(A\in\RR^N\) 的可微函数。为估计 patch \(i\) 的贡献,我们分析对其注意力权重做掩码(即令 \(A_i\to 0\)、其余权重保持不变)所引起的损失变化。这对应于扰动 \(A' = A - A_i e_i\),其中 \(e_i\) 是第 \(i\) 个标准基向量。

说明: 为实现高效的一阶近似,我们在此敏感性分析中将注意力权重视为独立变量,不对剩余权重做重归一化——因为严格强制单纯形约束(\(\sum A = 1\))会经由 softmax 的 Jacobian 引入高阶耦合效应,从而掩盖单个 patch 的直接贡献。在 \(A\) 附近做一阶 Taylor 展开:

\[ \mathcal{L}(A - A_i e_i) \approx \mathcal{L}(A) - A_i \frac{\partial \mathcal{L}}{\partial A_i}. \tag{14} \]

由此得到一阶影响力:

\[ \Delta \mathcal{L}_i \approx -A_i \frac{\partial \mathcal{L}}{\partial A_i}. \tag{15} \]

第 2 步:经由聚合层的梯度分解。 在加性聚合假设下,对注意力系数的梯度可用链式法则表示为:

\[ \frac{\partial \mathcal{L}}{\partial A_i} = \left\langle \frac{\partial \mathcal{L}}{\partial z_{\text{agg}}},\, \frac{\partial z_{\text{agg}}}{\partial A_i} \right\rangle = \nabla_z \mathcal{L}^{\top} h_i. \tag{16} \]

将该式代入影响力估计,得:

\[ |\Delta \mathcal{L}_i| \approx A_i \left| \nabla_z \mathcal{L}^{\top} h_i \right|. \tag{17} \]

第 3 步:有界影响力与代理关系的论证。 我们假设特征嵌入范数有界,即 \(\|h_i\|_2 \le C_h\)(这通常由归一化层如 LayerNorm 保证);进一步假设损失曲面满足局部 Lipschitz 连续性,从而梯度范数有界 \(\|\nabla_z \mathcal{L}\|_2 \le C_g\)。应用 Cauchy–Schwarz 不等式:

\[ |\Delta \mathcal{L}_i| \le A_i \|\nabla_z \mathcal{L}\|_2 \|h_i\|_2 \le A_i \cdot (C_g C_h). \tag{18} \]

在这些正则性条件下,注意力系数 \(A_i\) 为 patch \(i\) 的一阶影响力提供了一个有效的上界。因此,选取注意力权重最大的 patch,即优先选出了对决策边界具有最高潜在影响的 patch。∎

讨论。 我们强调:上述结果并未建立注意力分数与基于梯度的影响力之间严格的秩等价(rank equivalence)——因为梯度与特征向量之间可能存在正交性。相反,注意力引导的 Top-K 选择充当了一阶敏感性分析的一个计算高效的代理。这一近似在大规模 WSI 场景中尤具吸引力,因为对所有 patch 显式做基于梯度的评估在计算上是不可行的。

A.2命题 2 的证明(置信度感知早停)

命题 2(重述). Fano 不等式在条件熵 \(H(Y\mid Z_t)\) 与分类错误概率 \(P_e\) 之间建立信息论关系。特别地,较高的条件熵必然意味着可达错误概率存在不可忽略的下界,从而为置信度感知的早停提供理论动机。

推导. 我们在多分类背景下回顾 Fano 不等式的推导。设 \(Y\in\{1,\dots,N\}\) 为真实标签,\(\hat{Y}\) 为预测标签,定义错误指示变量 \(E = \mathbb{I}(\hat{Y}\neq Y)\)。

第 1 步:熵分解。 利用链式法则,联合熵 \(H(E,Y\mid\hat{Y})\) 可用两种方式展开:

\[ H(E,Y\mid\hat{Y}) = H(Y\mid\hat{Y}) + H(E\mid Y,\hat{Y}) = H(E\mid\hat{Y}) + H(Y\mid E,\hat{Y}). \tag{19} \]

由于 \(E\) 由 \(Y\) 与 \(\hat{Y}\) 确定性地给出,故 \(H(E\mid Y,\hat{Y}) = 0\)。于是:

\[ H(Y\mid\hat{Y}) = H(E\mid\hat{Y}) + H(Y\mid E,\hat{Y}). \tag{20} \]

第 2 步:约束条件项。 其一,条件化会减小熵,故 \(H(E\mid\hat{Y}) \le H(E) = H(P_e)\),其中 \(H(P_e)\) 是二元熵函数(\(H(P_e)\le 1\))。其二,我们分解项 \(H(Y\mid E,\hat{Y})\):

\[ H(Y\mid E,\hat{Y}) = P(E=0)\,H(Y\mid\hat{Y},E=0) + P(E=1)\,H(Y\mid\hat{Y},E=1). \tag{21} \]

若 \(E=0\)(预测正确),则 \(Y=\hat{Y}\) 确定,熵为 0;若 \(E=1\)(错误),则 \(Y\) 可为剩余 \(N-1\) 个类别之一。由最大熵原理,

\[ H(Y\mid\hat{Y},E=1) \le \log(N-1). \tag{22} \]

第 3 步:Fano 不等式。 综合上述界,得到经典不等式:

\[ H(Y\mid\hat{Y}) \le H(P_e) + P_e \log(N-1). \tag{23} \]

该不等式表明错误概率 \(P_e\) 由条件熵下界所约束。使用 \(H(P_e)\le 1\) 可得一个简化的下界:

\[ P_e \ge \frac{H(Y\mid\hat{Y}) - 1}{\log(N-1)}. \tag{24} \]

与隐表示的联系。 在 PathCTM 中,预测由隐状态 \(Z_t\) 导出。由数据处理不等式(Data Processing Inequality),隐状态所含关于 \(Y\) 的信息至少与最终离散预测 \(\hat{Y}\) 一样多,即

\[ H(Y\mid Z_t) \le H(Y\mid\hat{Y}). \tag{25} \]

将该关系代入 Fano 不等式可知:隐表示中的高不确定性必然导致可达分类误差存在不可忽略的下界。∎

对早停的启示。 上述分析假设可获取真实条件熵。实践中,我们假设模型经过合理校准(reasonably calibrated),使得预测分布的熵 \(H(\hat{y}_{\text{softmax}})\) 可作为后验不确定性 \(H(Y\mid Z_t)\) 的代理。在此校准假设下,停止准则

\[ 1 - \frac{H(\hat{y}_{\text{softmax}})}{\log N} \ge \delta \tag{26} \]

提供了一个信息论驱动的启发式:在预测不确定性足够低时终止推断——这是一个启发式判据,而非对最终错误概率的严格保证。

B数据集与任务

我们在三个公开病理数据集上的四个诊断任务上对本方法做了全面评估,详情如下。

BRACS 数据集。 BRACS 是一个大规模、多中心的乳腺癌亚型分类公开数据集,包含 547 张 WSI 与 4,539 个感兴趣区(ROI)patch。它包含两个不同粒度的分类任务:三分类任务(BRACS-3)与更细粒度的七分类任务(BRACS-7)。三分类任务为快速的恶性风险评估提供基础,而七分类任务进一步细化为七个具体亚型,要求模型分辨细微的形态学差异,因而是更具挑战性的设置。我们在两个任务上评估 PathCTM,以考察其在不同诊断复杂度下的表现。类别分布见表 4。

MUT-HET-RCC 数据集。 该数据集用于研究透明细胞肾细胞癌(ccRCC)中的分子突变异质性,包含 1,291 张 FFPE 制备的 H&E 染色 WSI,并为若干关键驱动基因(包括 BAP1、PBRM1、SETD2)提供二元突变标签。本文实验中,我们在 SETD2 突变预测任务上评估所有方法。

RCC-Staging 数据集。 针对肾癌分期任务,两位资深病理医生重新标注了 RCC 数据集:将 pT1、pT2 归为早期(early-stage),pT3、pT4 归为晚期(late-stage),并移除正常与严重污染的切片。最终保留 376 例,其中早期 284 例、晚期 92 例。该任务侧重评估各模型识别肿瘤进展严重程度的能力。

表 4. BRACS 数据集的类别分布。
病变类型(Lesion type)病变亚型(Lesion subtype)占比
良性(Benign)Normal8%
Pathological Benign27%
Usual Ductal Hyperplasia14%
非典型(Atypical)Flat Epithelial Atypia7%
Atypical Ductal Hyperplasia9%
恶性(Malignant)Ductal Carcinoma in Situ11%
Invasive Carcinoma24%

C详细实验设置

本节详述 PathCTM 采用的具体架构规格与超参数配置,汇总见表 5 与表 6。实验在配备 1 × NVIDIA GeForce RTX 4090 GPU 的工作站上进行。

特征提取与预处理。 特征提取严格遵循所用骨干模型(backbone)的官方配置以确保最优表示质量。具体地,输入 patch 尺寸对 CONCH 设为 \(1024\times 1024\),对 UNI 设为 \(512\times 512\)。遵循 CLAM 建立的标准协议,我们对所有基线方法采用一致的数据预处理流水线。为赋予 PathCTM 连续多尺度推理能力,我们从四个不同倍率提取图像 patch:40×、20×、10× 与 5×。与骨干要求一致,这些多尺度 patch 在特征编码前被缩放为 1024(CONCH)或 512(UNI)。

评估协议。 为确保结果的统计稳健性与可靠性,所有实验采用 5 折交叉验证(5-fold cross-validation)。数据集在患者层面(patient level)随机划分为五个子集,确保训练与测试划分之间无数据泄露(data leakage)。最终报告的指标为五折平均性能。

表 5. 模型架构参数及取值。
内部 tick 总数80
每尺度内部 tick 数20
模型维度4096
Dropout 率0.05
输入维度1024
注意力头数16
突触深度(Synapse depth)12
输出同步所用神经元数150
动作同步所用神经元数150
神经元子集选取方式Random
自配对神经元数0
预激活历史长度30
使用深度记忆(deep memory)TRUE
记忆隐藏维度64
每层选取 patch 数10
置信度阈值0.9
尺度数4
同步输出历史长度80
注意力列表长度80
表 6. 详细训练参数及取值。
Batch size1
Epochs50
学习率5e-5
Warmup 步数5000
使用学习率调度器TRUE
调度器类型cosine
调度器间隔8000
multistep 的 gamma0.1
权重衰减因子0
梯度分位裁剪值-1
训练 num workers1
AMP autocastFALSE

D切片级基础模型的详细配置

除标准 MIL 方法外,我们还将评估扩展到近期的大规模切片级基础模型:CHIEF、GigaPath、PRISM 与 TITAN。这些模型目前定义了 WSI 分析的 SOTA,但往往带来巨大的计算开销。

为严格地将 PathCTM 与这些强基线对标,我们使用它们的官方预训练权重与推荐预处理流水线进行实验。具体地,我们使各模型的特征提取过程与其原始协议对齐(例如 PRISM 使用 Virchow、CHIEF 使用 CTransPath),以确保其最佳性能。这些模型的具体超参数设置与架构选择列于表 7。这一严格设置使我们能够直接评估 PathCTM 能否在显著提升推理效率的同时,实现可比甚至更优的诊断精度。

表 7. 基础模型的详细配置。
ModelPatch EncoderPatch SizeMagnificationEmbedding Dim.
CHIEFCtranspath25610×768
GigaPathGigaPath25620×1536
PRISMVirchow22420×2560
TITANCONCH V1.551220×768

ERCC 数据集补充可解释性分析

PathCTM 在不同诊断任务与不同样本难度上均展现出稳健的自适应能力。正文图 3 展示了模型在 BRACS 任务上的适应性,而图 6 将该分析扩展到 RCC 分期任务,可视化 PathCTM 如何依据样本级难度动态调整其推理深度。

图 6:RCC 分期任务上的样本级自适应推理
图 6. RCC 分期任务上样本级自适应推理的可视化。图中展示同一诊断任务内两个不同样本的推断轨迹。各尺度下 top-5 被关注 patch 始终聚焦于肿瘤—正常界面浸润(tumor-normal interface infiltration)——分期的关键病理特征。(左)一个较难的样本:模型逐步累积证据,需深入推理到尺度 L-3 才达到足够置信度(0.96)。(右)一个直接的样本:模型在尺度 L-2 即达到可靠置信度(\(\delta\ge 0.9\)),触发早停。这展示了 PathCTM 依据具体样本难度动态调整推断深度的能力。

从形态学上看,模型执行渐进的跨尺度推理过程。随着在更高倍率下获取更丰富的语义信息,置信度与分类概率均持续改善。值得注意的是,各尺度的 top-5 高置信度 patch 主要分布于肿瘤边缘。这些区域有效捕获了肿瘤—正常界面浸润——准确分期的关键诊断特征。

从行为上看,两个样本呈现出不同的诊断复杂度。在置信度阈值设为 0.9 时,较难样本(左)需深入推理到 L-3 尺度才能获得可靠预测;而较易样本(右)可在 L-2 尺度提前终止、无需推进到更高倍率。这些结果进一步佐证了 PathCTM 能够依据每个样本的具体复杂度自适应地分配计算资源,在灵活性与推理效率之间取得最优平衡。

F详细参数讨论

我们在四个数据集上、以 CONCH(V1.5)为特征提取器,系统分析了不同 \(K\) 值如何影响置信度阈值 \(\delta\) 对预测精度与推理效率的作用。\(K=5\) 的结果见表 8,\(K=15\) 见表 9,\(K=20\) 见表 10。

我们观察到:除 RCC 分期任务(当置信度阈值接近 1.0 时精度略有波动)外,所有任务在不同 \(K\) 值下均呈现一致趋势——当 \(\delta\in[0.8,1.0]\) 时预测精度趋于稳定。这一发现与 \(K=10\) 时的结果一致。总体而言,置信度阈值的选择在很大程度上不受 \(K\) 变化的影响。

值得注意的是,在相同置信度阈值下,预测精度并不随 \(K\) 增大而线性上升,某些情况下甚至可能下降。这是因为:一旦模型已收集到足够的 patch 信息,提供额外 patch 会引入无关或冗余信号,从而影响诊断精度。这些结果表明,在 WSI 分析中,patch 并非越多越好。

图 7:不同置信度阈值下四个数据集的早停尺度分布
图 7. 在不同置信度阈值 \(\delta\in\{0.5,0.6,0.7,0.8\}\) 下,四个数据集的早停尺度分布(使用 CONCH 特征提取器)。堆叠柱状图展示样本终止于各倍率尺度(从粗的 L 到细的 L-3)的百分比。随着 \(\delta\) 增大,模型自适应地转向更深推理,更多样本推进到更细尺度(L-2、L-3)以满足更严格的确定性要求。

为进一步考察由置信度阈值控制的行为动态,图 7 可视化了 \(\delta\in\{0.5,0.6,0.7,0.8\}\) 下的早停尺度分布。可见一个清晰的单调趋势:随 \(\delta\) 增大,终止于粗尺度(L)的样本比例显著下降,而推进到最细尺度(L-3)的比例稳步上升。这证实 \(\delta\) 有效调控了推理深度——在要求更高确定性时,迫使模型累积细粒度证据。此外,分布因任务而异:例如更具挑战性的 MUT-SETD2 任务始终比更简单的 BRACS-3 任务需要更高的深度推理频率,这表明 PathCTM 能将其计算投入与样本级不确定性、任务级复杂度双双对齐。

表 8. \(K=5\) 时置信度阈值 \(\delta\) 对预测精度与推理效率的影响。
DatasetMetric0.10.20.30.40.50.60.70.80.91.0
BRACS-3AUC89.5890.0690.9191.4892.492.6992.8192.9993.1293.24
Pat.94102108114119124128132137158
BRACS-7AUC87.7187.6988.388.548989.2789.3989.3789.3889.42
Pat.83104114122129134140144147158
RCC-stagingAUC63.6567.6868.0472.9677.4877.7879.6479.0579.2182.36
Pat.808893100105111116123132148
MUT-SETD2AUC50.6158.2766.5970.271.672.6273.0772.973.0373.03
Pat.7694105115125135144150154158
表 9. \(K=15\) 时置信度阈值 \(\delta\) 对预测精度与推理效率的影响。
DatasetMetric0.10.20.30.40.50.60.70.80.91.0
BRACS-3AUC88.8888.6589.0790.2891.4891.5992.3592.8193.2393.91
Pat.94116131142155168176188209327
BRACS-7AUC86.2286.7887.6188.0488.2788.5488.8288.9989.2389.42
Pat.112153185209234251266280293333
RCC-stagingAUC69.0374.0472.4574.3178.4379.5180.7680.4180.681.26
Pat.115138162177200212229248282342
MUT-SETD2AUC48.2158.0270.571.6872.3172.9273.0573.0272.9873.00
Pat.107156197244266302314325337344
表 10. \(K=20\) 时置信度阈值 \(\delta\) 对预测精度与推理效率的影响。
DatasetMetric0.10.20.30.40.50.60.70.80.91.0
BRACS-3AUC89.1389.6790.0290.5991.0192.0592.492.8193.3193.62
Pat.121157182203220240259280309410
BRACS-7AUC86.1186.5286.5386.987.0187.4887.7788.188.4388.79
Pat.118156186218248276303320342413
RCC-stagingAUC73.6579.0978.7177.0878.8774.8476.475.6376.5481.03
Pat.140185221244269290311331357420
MUT-SETD2AUC57.0563.2866.9770.8372.272.4272.7772.872.872.85
Pat.156213256292325352376393404423

G局限与未来工作

计算效率已成为近期模型开发的关键考量(Bae et al., 2023;Ke et al., 2025)。尽管 PathCTM 通过"尺度上的思考"范式显著优化了计算效率,但在临床部署方面仍存在若干局限。硬注意力(hard attention)机制引入了固有的信息瓶颈:在低分辨率下缺乏显著性的诊断线索——如微转移(micrometastases)或孤立肿瘤细胞——可能被不可逆地剪枝,导致有效信息丢失。虽然我们的框架通过联合注意力校准有效阻断了误差(假阳性)向更高尺度的传播,但目前尚缺乏一种机制来召回(recall)在早期阶段被错误丢弃的有效区域。这一局限不可避免地限制了有效诊断信息的完整性。

在未来工作中,我们计划引入动态召回机制(dynamic recall mechanism)以应对该约束。此外,当前推断过程在每个尺度采用固定的推理步数;我们打算探索依据信息丰富度自适应分配计算预算的策略,以进一步提升效率并充分挖掘潜在信息。

H运行时测量的详细说明

本文中,"Patch Tiling"被定义为从原始 WSI 到 patch 送入编码器之前的完整数据准备流水线。该过程不仅包含 patch 坐标的生成,还包含计算密集的滑窗解码、多尺度坐标映射与 I/O 密集的图像 patch 提取。在 CLAM 等框架中,这些 I/O 成本常被隐藏在特征提取循环内部;相比之下,本文显式地将 I/O 操作与模型推断分离,从而更准确地刻画端到端分析流水线的真实计算瓶颈,如图 8 所示。

图 8:CLAM 式工作流与实际运行时剖析工作流的对比
图 8. CLAM 式工作流与实际运行时剖析(runtime profiling)工作流的对比。(a) CLAM 工作流将 Disk I/O、文件访问、patch 读取、预处理等归入 "Feature Extraction" 阶段,掩盖了 I/O 成本。(b) 实际运行时剖析工作流将 Disk I/O、文件访问、patch 读取显式计入 "Patch Tiling" 阶段,使 "Feature Extraction" 仅保留 ViT 推理,从而暴露真实瓶颈。

参考文献

[1] Acosta, P. H., et al. Intratumoral resolution of driver gene mutation heterogeneity in renal cancer using deep learning. Cancer Research, 82(15):2792–2806, 2022.

[2] Bae, K., et al. Data-efficient computational pathology platform for faster and cheaper breast cancer subtype identifications. JMIR Cancer, 9(1):e45547, 2023.

[3] Brancati, N., et al. BRACS: A dataset for breast carcinoma subtyping in H&E histology images. Database, 2022:baac093, 2022.

[4] Campanella, G., et al. Clinical-grade computational pathology using weakly supervised deep learning on whole slide images. Nature Medicine, 25(8):1301–1309, 2019.

[5] Chen, R. J., et al. Scaling vision transformers to gigapixel images via hierarchical self-supervised learning. CVPR, pp. 16144–16155, 2022.

[6] Chen, R. J., et al. Towards a general-purpose foundation model for computational pathology. Nature Medicine, 30(3):850–862, 2024.

[7] Darlow, L., Regan, C., Risi, S., Seely, J., and Jones, L. Continuous thought machines. NeurIPS, 38:21548–21594, 2026.

[8] Ding, T., et al. A multimodal whole-slide foundation model for pathology. Nature Medicine, pp. 1–13, 2025.

[9] Dong, J., Jiang, J., Jiang, K., Li, J., and Zhang, Y. Fast and accurate gigapixel pathological image classification with hierarchical distillation multi-instance learning. CVPR, pp. 30818–30828, 2025.

[10] Gao, Z., et al. Childhood leukemia classification via information bottleneck enhanced hierarchical multi-instance learning. IEEE TMI, 42(8):2348–2359, 2023.

[11] Ge, J., et al. ProGIS: Prototype-guided interactive segmentation for pathological images. IEEE TMI, 2025.

[12] Hasani, R., Lechner, M., Amini, A., Rus, D., and Grosu, R. Liquid time-constant networks. AAAI, 35:7657–7666, 2021.

[13] He, K., Zhang, X., Ren, S., and Sun, J. Deep residual learning for image recognition. CVPR, pp. 770–778, 2016.

[14] Ilse, M., Tomczak, J., and Welling, M. Attention-based deep multiple instance learning. ICML, pp. 2127–2136, 2018.

[15] Ke, H., et al. MambEV: Enabling state space models to learn birds-eye-view representations. ICLR, 2025.

[16] Ke, H., et al. DeformBA: Vision state space model with adaptive state fusion, 2026. arXiv:2605.21308.

[17] Krizhevsky, A., Sutskever, I., and Hinton, G. E. ImageNet classification with deep convolutional neural networks. NeurIPS, 25, 2012.

[18] Li, B., Li, Y., and Eliceiri, K. W. Dual-stream multiple instance learning network for whole slide image classification with self-supervised contrastive learning. CVPR, pp. 14318–14328, 2021.

[19] Li, J., et al. Dynamic graph representation with knowledge-aware attention for histopathology whole slide image analysis. CVPR, pp. 11323–11332, 2024.

[20] Lu, M. Y., et al. Data-efficient and weakly supervised computational pathology on whole-slide images. Nature Biomedical Engineering, 5(6):555–570, 2021.

[21] Lu, M. Y., et al. A visual-language foundation model for computational pathology. Nature Medicine, 30(3):863–874, 2024.

[22] Neidlinger, P., et al. A deep learning framework for efficient pathology image analysis. arXiv:2502.13027, 2025.

[23] Shaikovski, G., et al. PRISM: A multi-modal generative foundation model for slide-level histopathology. arXiv:2405.10254, 2024.

[24] Shao, Z., et al. TransMIL: Transformer based correlated multiple instance learning for whole slide image classification. NeurIPS, 34:2136–2147, 2021.

[25] Tang, W., et al. Feature re-embedding: Towards foundation model-level performance in computational pathology. CVPR, pp. 11343–11352, 2024.

[26] Thandiackal, K., et al. Differentiable zooming for multiple instance learning on whole-slide images. ECCV, pp. 699–715, 2022.

[27] Vaswani, A., et al. Attention is all you need. NeurIPS, 30, 2017.

[28] Vorontsov, E., et al. A foundation model for clinical-grade computational pathology and rare cancers detection. Nature Medicine, 30(10):2924–2935, 2024.

[29] Wang, X., et al. A pathology foundation model for cancer diagnosis and prognosis prediction. Nature, 634(8035):970–978, 2024.

[30] Weinstein, J. N., et al. The Cancer Genome Atlas pan-cancer analysis project. Nature Genetics, 45(10):1113–1120, 2013.

[31] Xiang, J., et al. A vision–language foundation model for precision oncology. Nature, 638(8051):769–778, 2025.

[32] Xiong, C., Chen, H., Sung, J. J., and King, I. Diagnose like a pathologist: transformer-enabled hierarchical attention-guided multiple instance learning for whole slide image classification. IJCAI, pp. 1587–1595, 2023.

[33] Xu, H., et al. A whole-slide foundation model for digital pathology from real-world data. Nature, 630(8015):181–188, 2024a/b.

[34] Yan, K., et al. DRQA: Dynamic reasoning quota allocation for controlling overthinking in reasoning large language models. arXiv:2508.17803, 2025.

[35] Yang, C., et al. HAAF: Hierarchical adaptation and alignment of foundation models for few-shot pathology anomaly detection. ACM Web Conference, pp. 9263–9274, 2026.

[36] Yu, X., et al. Hundredfold accelerating for pathological images diagnosis and prognosis through self-reform critical region focusing. IJCAI, pp. 1607–1615, 2024.

[37] Zhang, D., et al. STADIS: Stability distance to detecting out-of-distribution data in computational pathology. Medical Image Analysis, p. 103774, 2025.

[38] Zhang, D., et al. CARE: A molecular-guided foundation model with adaptive region modeling for whole slide image analysis. arXiv:2602.21637, 2026.

[39] Zhu, C., et al. Pathology-aware prototype evolution via LLM-driven semantic disambiguation for multicenter diabetic retinopathy diagnosis. ACM MM, pp. 9196–9205, 2025.

[40] Zhu, C., et al. MedEyes: Learning dynamic visual focus for medical progressive diagnosis. AAAI, 40:13916–13924, 2026.