一引言

单像素成像（SPI）是一种利用单个光电探测器、测量在给定照明图案下透射光总强度的成像技术 [1], [2]。由于每次测量只输出一个标量值，SPI 本身并不具备空间分辨能力，因此无法直接确定被探测到的光来自何处。空间信息转而通过用一系列结构化光图案顺序照明物体来解析，见图 1。

使用单个"桶式"探测器而非探测器阵列具有成本优势，尤其适合生物医学应用，因为它降低了多光谱、超光谱以及荧光寿命成像的成本 [3], [4], [5]。此外，在光子受限条件下，SPI 相较于阵列传感器能提供更好的信噪比表现；并且单像素探测器可以工作在诸如红外或太赫兹波段等常规成像系统需要昂贵相机的谱段 [5]。

数据采集可用如下线性前向模型描述

其中 \(\mathbf{x}\in\mathbb{R}^{N}\) 表示（向量化后的）物体，\(\mathbf{A}\in\{-1,1\}^{M\times N}\) 是采样矩阵，其各行代表照明（采样）图案，\(\mathbf{y}^{\delta}\in\mathbb{R}^{M}\) 是（含噪的）测量值，\(P\) 是某种加噪过程。随后即可利用记录到的测量序列 \(\mathbf{y}^{\delta}\) 连同已知的照明图案 \(\mathbf{A}\) 来重建物体。

SPI 的一个核心挑战在于：确定使用哪些照明图案、以及需要多少图案才能达到足够质量的重建。由于采集时间与投射图案的数量 \(M\) 直接成正比，减小 \(M\) 对于实现高速成像至关重要。

照明图案的选择与设计受制于实际的 SPI 硬件。光的空间调制最常见的实现方式是数字微镜器件（DMD）——它由许多微小的镜片构成，可将光导向透镜（"开"）或导向吸光体（"关"），从而产生明暗像素。因此，实际的 SPI 实现被限制在取值为单极二值 \(\{0,1\}\) 的采样图案上。为得到条件数更好的测量矩阵，人们常将单极图案通过顺序相减耦合起来，以模拟双极二值图案 \(\{-1,1\}\) [6]。

哈达玛（Hadamard）图案是 SPI 中研究得最充分的一类二值 \(\{-1,1\}\) 采样图案 [7], [8]。它们构成一组正交基，并呈现出一种分层的、类频率的排序，从而支持渐进式图像重建——即在采集过程的早期就能浮现出物体的粗略结构。然而，在低采样情形（高压缩比、小 \(M\)）下，它们常在重建图像中产生严重的块状伪影。置乱哈达玛（Scrambled Hadamard, SH）图案通过随机置换哈达玛矩阵的行与列来缓解这一局限 [9]。这样既保持了正交性，又提高了与稀疏化基之间的非相干性，从而改善压缩感知性能。SPI 系统的重建性能不仅取决于图案族的选择，还取决于用于对有限子集图案进行排序和取用的选择策略。对于基于哈达玛的 SPI，已提出若干排序（选取）策略，包括 TV 排序 [8]、CG 排序 [10] 和 XY 排序 [11]，它们在低采样情形下各具不同表现。此外，针对傅里叶 SPI 也发展出了顺序采样方法，见如 [12]。然而，这类策略利用了傅里叶空间的结构，并不能直接推广到二值 \(\{-1,1\}\) 图案上。

在诸如单像素荧光显微成像等应用中，一个关键挑战是光学限制所带来的低空间分辨率 [13]。在这类系统中，单像素探测器在多个光谱波段与荧光衰减时间区间上采集低分辨率测量，随后再借助数据融合技术 [14], [15], [3], [16] 将其与一幅高分辨率单通道强度图像融合，以恢复出高分辨率的张量。然而，对哈达玛或 SH 图案的依赖限制了采集速度，从而催生了对替代采样图案设计的需求。

我们提出一种数据驱动的方法：通过适配目标物体的统计特性，学习出能在给定数据集上优化重建性能的照明图案。具体地，给定一个图像数据集 \(\mathcal{D}=\{\mathbf{x}^{(i)}\}_{i=1}^{n}\) 以及一个重建算子 \(R:\mathbb{R}^{M}\to\mathbb{R}^{N}\)，我们通过最小化经验重建误差来学习表示为 \(\mathbf{A}\in\{-1,1\}^{M\times N}\) 的采样图案

其中 \(\mathcal{L}(\mathbf{x},\hat{\mathbf{x}})=\|\mathbf{x}-\hat{\mathbf{x}}\|^{2}\) 表示均方误差（MSE）。

为 SPI 学习二值采样图案（而非依赖固定设计）最早由 DCAN [17] 提出，随后被 DLSVD [18] 推广到三值 \(\{-1,0,1\}\) 图案。然而，仍有三个根本性问题有待回答：

1. 如何在二值矩阵这一离散空间上进行优化；
2. 使用哪一种重建算子 \(R\)；
3. 如何将图案优化与重建性能关联起来。

图案的二值特性使优化既非凸又不可微，从而无法直接套用基于梯度的方法。特别地，其搜索空间是组合式的，规模为 \(2^{MN}\)，即使对中等分辨率的图像也难以穷举。一种常见的应对做法是把二值约束松弛为 \(\mathbf{A}\in[-a,a]^{M\times N},\ a\ge 1\)，并在 (2) 中引入一个惩罚项，在训练过程中把图案推向 \(\{-1,1\}\)。这一思路的一个典型例子是"松弛-惩罚"（Relax-and-Penalise, RnP） [19]，其惩罚函数为

此时 \(a=1\)。类似地，DCAN 及其扩展取 \(a=\infty\)，并将惩罚函数设为一个多阱势函数

然而，这些方法都需要对惩罚调度 \(\epsilon\) 进行仔细调参，且并不能保证在训练期间实现严格二值化 [19]。此外，DCAN 及其扩展将采样图案与一个神经网络重建器 \(R_{\theta}\) 联合优化，从而导出如下联合优化问题

但这种联合方式需要庞大的训练集，其规模大约在 2.9 万到 4.5 万张图像之间 [20], [18]。

贡献。我们对这一数据驱动范式提出两项关键改进。其一，我们采用直通估计器（STE） [21] 在整个训练过程中直接对二值图案进行优化。即：图案由一个隐式的实值矩阵 \(\mathbf{Z}\in\mathbb{R}^{M\times N}\) 通过 \(\mathbf{A}=\operatorname{sgn}(\mathbf{Z})\) 表示，并在反向传播时用一个可微的替代量来近似梯度。其二，我们不再将重建器与图案联合训练，而是采用一个固定的、预训练好的、基于学习正则化泛函的重建器，从而把图案优化与网络训练解耦。我们使用了两个预训练的学习正则项：全深度变分（Total Deep Variation, TDV） [22] 与弱凸岭正则化器（Weakly Convex Ridge Regularizer, WCRR） [23]，它们提供了强大的通用先验，可在不同数据集与测量配置间良好迁移。至关重要的是，这种解耦大幅降低了图案学习对数据量的需求。我们仅用 250 张训练图像便展示出有竞争力的重建性能，而以往方法需要数万张。我们进一步考察了二值化策略、STE 替代量选择以及测量噪声的影响，为 SPI 中稳健的数据驱动图案设计提供了一个完整框架。

本文结构如下。第二节详述我们用于学习二值图案的双层训练框架；第三节给出 STE 的概率解释；第四节在 CytoImageNet 数据集 [24] 上呈现数值实验结果；第五节给出结论与展望。

一.甲相关工作

数据驱动的图案设计。照明图案与重建网络的联合优化最早由 DCAN [17] 在 SPI 中提出。其中，成像过程被表述为一个自编码器：编码器是线性测量模型 (1)，解码器是一个端到端训练用于图像重建的深度神经网络。Wang 等人 [20] 在此基础上引入了一个受物理启发的解码器，先用差分鬼成像 [25] 作为特征提取层，再用一个学习网络对结果加以精修。DLSVD [18] 将该框架推广到三值 \(\{-1,0,1\}\) 图案，并采用基于 SVD 的线性重建阶段。

磁共振成像（MRI）。密切相关的工作出现在加速 MRI 中，其目标是在固定采样预算下选择傅里叶系数。双层学习在该领域已被广泛研究 [26], [27], [28], [29]，并被扩展到顺序（自适应）采样——即每次测量都根据某个中间重建结果来选取 [30]。

二值神经网络。STE 是训练带有离散或二值（量化）权重的神经网络的一种广泛使用的技术，因为在这些情形下梯度本无定义。STE 最初由 Bengio 等人 [21] 针对随机神经元与二值神经元提出，其做法是在反向传播时用一个替代梯度替换不可微的量化操作。这使得对离散或二值神经网络也能用标准的基于梯度的方法进行端到端优化，见如 [31], [32]。本工作中，我们采用 STE 来实现对二值 \(\{-1,1\}\) 测量图案的基于梯度的优化。

二方法

二.甲问题表述

我们希望学习一组最优的二值照明图案，组织为 \(\mathbf{A}\in\{-1,1\}^{M\times N}\)，使得由此得到的重建在一个具有代表性的图像数据集 \(\{\mathbf{x}^{(i)}\}_{i=1}^{n}\) 上的重建误差最小。这里，我们在变分正则化框架下、用一个预训练的正则化泛函 \(\mathcal{J}\) 来定义重建器。在此选择下，(2) 中的优化问题自然可被转化为一个双层优化问题 [33]，其表述为

其中 \(\mathbf{A}=\operatorname{sgn}(\mathbf{Z})\)，而 \(\mathbf{y}^{(i)}=P(\mathbf{A}\mathbf{x}^{(i)})\) 表示在加噪过程 \(P\) 下模拟得到的测量。上层问题 (6) 旨在寻找一个隐表示 \(\mathbf{Z}\in\mathbb{R}^{M\times N}\) 与正则化权重 \(\alpha>0\)。重建则通过求解由离散矩阵 \(\mathbf{A}\) 与 \(\alpha\) 所支配的下层问题 (7) 得到。矩阵 \(\mathbf{Z}\) 充当 \(\mathbf{A}\) 的连续（隐式）松弛，\(\mathbf{A}=\operatorname{sgn}(\mathbf{Z})\) 逐元素施加。正则化泛函 \(\mathcal{J}\) 固定不变，我们通过正则化权重 \(\alpha\) 来调节其影响力。

完整的优化流程见算法 1，下面逐一说明其关键组成。为用基于梯度的方法求解双层问题 (6)–(7)，我们需要计算梯度 \(\nabla_{\theta}F\)，其中 \(\theta=(\mathbf{Z},\alpha)\)。对单个样本（\(n=1\)）应用链式法则可得

其主要瓶颈在于下层问题 (7) 的解 \(\hat{\mathbf{x}}(\theta)\) 的雅可比 \(\tfrac{\partial\hat{\mathbf{x}}(\theta)}{\partial\theta}\)。我们通过不动点迭代 \(\mathbf{x}^{(k+1)}=T_{\theta}(\mathbf{x}^{(k)})\)（其中 \(T_{\theta}\) 是由某重建方案定义的适当算子）来获得下层解 \(\hat{\mathbf{x}}(\theta)\)。对不动点方程 \(\hat{\mathbf{x}}(\theta)=T_{\theta}(\hat{\mathbf{x}}(\theta))\) 求导得

计算雅可比 (9) 有若干选择。一种经典策略是对下层问题的最优性条件关于 \(\theta\) 做隐式微分。然而这需要额外求解一个线性系统，其条件数依赖于当前迭代点，并在双层优化的每一步都发生变化，进而可能导致代价高昂的迭代 [34]。另一种做法是展开（unroll）优化过程 [35]。但在 \(T_{\theta}(\mathbf{x}^{(k)})\) 中对较大的 \(k\) 反向传播这一长序列迭代、并保留相应的计算图，很快会在内存上变得不可行。实践中，在学习图案 \(\mathbf{A}\) 时，下层求解器往往需要一千余次迭代才能收敛，尤其在初始阶段。

为降低计算代价，我们采用无雅可比反向传播（Jacobian-Free Backpropagation, JFB） [36]，它对逆项使用零阶 Neumann 级数近似

由此得到一个计算高效、且在实践中效果良好的近似梯度 [37], [38], [39]。

一旦算得关于离散矩阵的梯度 \(\nabla_{\mathbf{A}}F\)，我们还须将其反向传播到连续隐矩阵 \(\mathbf{Z}\)。应用链式法则得

由于符号函数的导数 \(\operatorname{sgn}'(\mathbf{Z})\) 几乎处处为零，精确梯度会消失，使得基于梯度的优化变得不可能。¹ STE 通过在反向传播时用一个非零的替代梯度 \(g^{\mathrm{STE}}(\mathbf{Z})\) 替换真实导数 \(\operatorname{sgn}'(\mathbf{Z})\) 来解决这一问题

替代梯度逐元素地作用于 \(\mathbf{Z}\) 的各分量。常见的选择包括

• 恒等 STE：\(g^{\mathrm{id}}(z)=1\)；
• 截断（Clipped）STE：\(g^{\mathrm{clipped}}(z)=\tfrac{1}{a}\mathbf{1}_{|z|\le a}\)，其中 \(a>0\)；
• Tanh STE：\(g^{\mathrm{tanh}}(z)=\beta\big(1-\tanh^{2}(\beta z)\big)\)，其中 \(\beta>0\)。

¹ 与深度学习中许多常见激活函数（如 ReLU）类似，符号函数在 \(x=0\) 处不可微。我们约定 \(\operatorname{sgn}'(0)=0\)。

三STE 的概率解释

尽管 STE 常被当作一种绕过零梯度的启发式技巧来介绍，它也可以被解释为某个平滑替代目标的精确梯度。具体地，对于标量 \(z\in\mathbb{R}\) 与 \(h(z)=\operatorname{sgn}(z)\)，考虑平滑函数

也就是说，\(\tilde{h}\) 是 \(h\) 在加性噪声 \(\epsilon\sim p(\epsilon)\) 下的期望。这相当于把 \(\operatorname{sgn}\) 函数与密度 \(p(\epsilon)\) 做卷积，得到一个可微的软近似。如下所示，在这一视角下，常见的 STE 选择会自然地由特定的噪声分布 \(p(\epsilon)\) 导出。

在图 2 中，我们展示了这两种替代及由此得到的 STE 梯度。参数 \(a\)（均匀噪声）与 \(\beta\)（Logistic 噪声）控制着梯度的作用范围。增大噪声尺度会把梯度扩展到隐空间更宽的区域，有助于防止优化器陷入二值输出局部恒定的区域。Tanh STE 具有无限支撑（图 2 右），确保即便是远离决策边界的隐值也能获得一个虽小但非零的梯度。

有意思的是，恒等 STE \(g^{\mathrm{id}}\) 无法从这一平滑视角中导出。要使 \(\tilde{h}'\equiv g^{\mathrm{id}}\equiv 1\) 成立，需要一个在整条实轴上都恒定的噪声密度 \(p(\epsilon)\)，而这对一个合法的概率分布来说是不可能的。

四数值实验

我们从跨采样比的重建质量与对噪声的鲁棒性两方面评估所提出的双层图案优化框架；同时与端到端深度学习框架进行对比，并对 STE 解相对于全局最优的表现做实证分析。所有实验均在 CytoImageNet [24] 的细胞显微图像上进行。

四.甲实验设置

数据集。我们在 CytoImageNet [24] 的一个子集上验证方法。该数据集是一个大规模的细胞显微图像集合，共含 89 万张图像。为模拟生物医学成像中常见的有限数据情形，我们仅用 1000 张图像来优化照明图案，并用一组独立的 100 张图像进行评估。在与端到端深度学习方法对比时，我们考虑训练子集规模从 250 张到 25000 张不等。所有图像都被缩放到 \(128\times128\ \text{px}^2\)，与单像素显微成像的物理约束一致 [13]。BRISQUE 评分 [40] 高于 25.0 的图像被剔除，以排除信息量不足或损坏的样本。

基线方法。我们考虑两种固定图案基线：随机高斯（压缩感知中的标准选择）与置乱哈达玛（SH）。两者的图像重建均采用全变分（TV）正则化，用原始-对偶混合梯度算法（PDHG） [41] 求解，分别得到 Gaussian–TV 与 SH–TV 基线。在与端到端方法对比时，我们采用 DCAN [17]——SPI 中图案优化的标准深度学习方法。

学习正则项。我们用两个学习正则项替换 TV：TDV [22]（约 40 万参数）与 WCRR [23]（约 1.5 万参数）。两者均在 BSDS500 数据集 [42] 上、独立于前向算子地预训练用于去噪，遵循 [39] 的方案。WCRR 的参数量远少于 TDV，在计算代价与重建质量之间提供了折衷。

下层求解器。为求解下层问题 (7)，我们采用非单调加速近端梯度算法（nmAPG） [43]。这一选择的动机在于所选正则项 \(\mathcal{J}\) 可能非凸，从而排除了诸如近端梯度下降及其带单调线搜索的加速变体等标准选择——它们无法收敛到临界点。

实现细节。实验在一块 NVIDIA GeForce RTX 4070 Ti SUPER GPU 上运行。除非另有说明，加噪过程 \(P\) 取标准差 \(\sigma=5.0\) 的加性高斯噪声，训练与测试时均如此。图案训练 10 个 epoch，下层求解器（nmAPG）迭代上限为 1000 次。除非另有说明，我们使用斜率 \(\beta=1.0\) 的 Tanh-STE，双层方法的批大小为 50 张图像。对基线方法，PDHG 运行 150 次迭代，其中 TV 近端算子的计算运行 300 次迭代。代码见 https://github.com/CrisSherban/sppo。

四.乙学习图案的重建质量

我们呈现三个实验。第一个聚焦于：在经典图案下，用学习正则项替换 TV 所带来的收益。第二个探讨：通过双层表述 (6) 优化图案所带来的额外质量提升。最后一个考察：以 STE 作为二值化机制的收益。对于学习方法，图案针对每个采样比 \(M\) 独立优化，遵循 DCAN 的方案。定量结果见表 I，定性结果见图 3——其中我们展示了 \(M=256\) 时的重建（及图案）。

经典图案下学习正则项的效果。在固定的高斯或 SH 图案下，用 WCRR 或 TDV 替换 TV 会在所有采样比上一致地提升 PSNR 与 SSIM。在固定设计中，SH 图案略优于高斯图案。TDV 在高度欠采样情形下带来更大的性能提升，而随着 \(M\) 增大，两个学习正则项的性能趋于收敛。

学习图案的效果。通过双层表述优化照明图案带来了进一步的显著提升，相较固定图案基线，PSNR 增益最高可达 4dB，另见图 4。这一改进在低采样比下最为明显：\(M=256\) 时的 STE–TDV 达到了与 \(M=1024\) 时 SH–TV 相当的 PSNR，表明学习图案可在不损失重建质量的前提下将所需测量数减少约四倍。定性上，WCRR 倾向于重建出略显块状的图像（见图 3），换来的是速度上的优势与更轻的内存需求。用 WCRR 与 TDV 训练后得到的优化图案呈现出相似的结构，见图 3 最后一行。

二值化策略的效果。两种二值化策略——STE 与 RnP (3)——均优于固定图案方法。其中 STE 取得比 RnP 略高的 PSNR 与 SSIM，尤其在低采样比 \(M\) 下。RnP 在测试场景中表现更不稳定，因为在测试时重建器接收的是来自严格二值采样矩阵的测量，而在训练时其底层采样矩阵仅近似二值。此外，为二值惩罚设计一个完美的调度器也很困难 [19]。尽管松弛后的 RnP 问题与其对应的二值问题具有相同的极小点，我们在实证上注意到：在所有采样比下，STE 替代都能提供更好的重建，见图 5。

跨采样比的重建见图 6。我们观察到，STE–TDV 在极端欠采样情形（\(M=128,\ M=256\)）下提供了定性与定量上都更优的重建。在基线方法产生像差或伪影之处，STE–TDV 仍能保持良好的细胞结构。

四.丙对未见过正则项的泛化

我们通过在测试时用 TV 重建来检验由 STE-TDV 优化得到的图案，从而考察学习图案对正则项选择的敏感性（见图 7）。我们观察到，这种不匹配在高度欠采样情形下会导致明显的重建质量下降，但其性能仍超过基线。随着采样比增至约 6.3% 以上，差距变得可忽略，这凸显出在低采样比下优化图案与正则项之间存在更强的耦合。

四.丁对噪声水平误设的鲁棒性

我们考察学习图案对训练与测试之间噪声水平不匹配的鲁棒性，考虑 \(P_{\sigma}(\mathbf{y})=\mathbf{y}+\boldsymbol{\xi}\)，其中 \(\boldsymbol{\xi}\sim\mathcal{N}(\mathbf{0},\sigma^{2}\mathbf{I}_{N})\)，\(\sigma\in\{0,2.5,5,7.5,10\}\)。不出所料，增大测试时噪声会降低重建质量（图 8 中的按列趋势）。然而，STE 训练得到的图案并非在训练与测试噪声水平一致时达到峰值，而是在训练噪声水平高于测试噪声水平时表现最佳。这凸显出鲁棒性而非针对噪声的精调才是性能的首要驱动因素。在数据驱动的逆问题中，这种行为常常是可以预期的 [44]。

我们在 RnP 学习图案上观察到类似趋势。不过，对某些噪声水平，用更大的噪声水平（\(\sigma\ge 5.0\)）训练会导致性能下降，这使得 STE 成为更鲁棒的选择。

四.戊与端到端深度学习的对比

诸如 DCAN [17] 之类的端到端深度学习方法联合学习照明图案与重建网络，在训练数据充足时表现强劲，但在数据稀缺情形下性能急剧下降。为考察这一效应，我们在 CytoImageNet 上以 250 至 25000 张不等的训练集规模重新训练 STE–TDV 与 DCAN。不同训练集规模下的示例重建见图 9，PSNR 汇报于图 10。

我们的方法在所有训练集规模上都优于 DCAN，且在低数据情形下尤为占优。特别地，在默认训练集设置（1000 张图像）下，我们观察到 DCAN 的性能在很大程度上不受采样比 \(M\) 的影响，参见表 I。两者学到的图案也差异显著：用我们方法学到的图案捕获了更高的空间频率（图 3），而 DCAN 的图案则集中在较低频率上。

四.己STE 替代量的选择

与关于梯度估计器的先前理论结果 [45] 一致，我们发现 STE 的具体选择对重建质量的影响可忽略不计。我们在表 II 中给出了 Tanh STE 的斜率（\(\beta\)）与 Clipped STE 的阈值（\(a\)）取不同值时的结果。鉴于在训练稳定性上未观察到明显差异，我们选择 \(\beta=1.0\) 的 Tanh STE 作为默认配置。

四.庚STE 解 vs. 全局最优

由于对所有二值感知矩阵做穷举搜索仅在极小规模下可行，我们在 \(3\times3\) 图像、\(M=3\) 次测量的设定下将 STE 解与全局最优进行比较。我们把双层问题简化为无噪的单图像设定

其中 \(\mathbf{A}^{\dagger}\) 表示伪逆。对于 30 张随机图像中的每一张，我们计算其 STE 解，并通过穷举评估全部 \(2^{MN}\) 个二值感知矩阵、找出全局极小者，以此作为真值进行比较。当存在多个全局最优时，我们选取在余弦距离上与 STE 解最接近的那一个。

图 11 展示了按最接近全局最优与 STE 解之间余弦距离排序的最差与最优解。在大多数情形下，STE 解与某个全局最优高度吻合。在失败情形中，它收敛到一个局部极小，但由此产生的重建仅带来 MSE 的边际增大。这证实了 STE 解是可靠的替代：要么恢复出全局最优，要么在局部极小处给出近似最优解。

五讨论与结论

本文提出了一个用于在噪声条件下学习 SPI 二值照明图案的双层框架。我们不再依赖传统的 TV 正则项，而是提出使用诸如 WCRR 与 TDV 之类的学习正则项。我们的发现表明，采用这些学习正则项能提升经典图案的重建性能；当我们进一步学习采样图案时，重建质量还能获得更大的提升。二值图案的固有特性带来了显著的优化挑战。我们表明，STE 在克服这些挑战中起到了关键作用，为 SPI 中约束的处理提供了稳健的解决方案。此外，我们的方法即便在小训练集规模下也带来了可观的性能增益——仅用 250 张图像便取得了令人印象深刻的结果，同时保持了高重建质量。

一个有前景的未来方向是在图案优化过程中同时适配预训练的正则项。在真实 SPI 系统及下游任务（如数据融合）上评估学习图案也将很有价值。此外，探索自适应或顺序的图案学习，有望在高度欠采样情形下进一步提升重建质量。

---

参考文献