连续潜空间扩散语言模型（Cola DLM） Continuous Latent Diffusion Language Model

1引言

大语言模型在自回归范式下取得了显著成功 [9, 30, 38, 55, 91]。通过链式法则对离散文本分布进行分解 [6, 22, 39, 45, 60, 102]，自回归语言模型推动了大规模预训练、开放式生成与下游迁移的重大进展，并已成为现代语言建模的主导方法 [13, 65, 73, 96, 111]。然而，该范式将生成过程与固定的从左到右顺序紧密耦合，使推理本质上是串行的，并把模型的归纳偏置限制在单一的词元排序之上 [1, 3, 23, 50, 67, 98, 104]。近期在离散与连续的基于扩散的文本建模方面的进展表明：高质量语言生成无需依赖这种固定顺序；语言模型也可以通过更一般的状态演化与去噪路径来定义 [15, 59, 72, 87, 103, 106]。

尽管在自回归、离散扩散与连续扩散方向上已有大量探索 [26, 41, 42, 47, 49, 85, 95, 99]，现有方法仍难以同时实现生成效率、可扩展表示与全局语义建模。自回归模型直接参数化词元级条件概率，给出了清晰的训练目标，但其固定的生成顺序带来了固有的串行推理代价，并引入了很强的人工归纳偏置，从而限制了其在更一般生成任务上的表现 [7, 17, 20, 53, 119]。离散扩散语言模型去除了显式的从左到右分解 [25, 35, 36, 110]，但它们通常仍在离散词元空间中执行观测恢复，导致多步采样代价高昂，且中间的离散状态并不适合稳定地表示全局语义结构 [40, 62, 86, 90, 94, 115, 116]。连续扩散方法进一步引入了连续表示空间 [28, 81, 89]，但大多数现有方法仍把扩散路径用于恢复与词元对齐的表示，而非显式地建模潜空间先验 [21, 29]。因此，当前方法尚未提供一个能系统性地把非自回归生成、连续表示与概率化文本建模结合起来的统一框架。

为弥补这一空白，我们提出 Cola DLM，一种分层式潜空间扩散语言模型。Cola DLM 首先通过一个文本 VAE [8, 46, 51, 83, 100, 112] 学习文本与连续潜变量之间的稳定映射，随后用一个块因果 DiT [4, 11, 12, 57, 66, 75, 76, 108] 在连续潜空间中建模潜先验，最后通过条件解码器生成文本。Cola DLM 的核心思想是：把扩散用于潜空间先验的输运，而非词元级的观测恢复。从统一的马尔可夫路径视角看，该设计把文本生成显式地分解为两个层次：连续潜空间中的全局语义组织，以及通过条件解码实现的局部文本实现。这一分解削弱了固定词元顺序带来的归纳偏置，使连续空间的几何结构可以直接支持语义压缩与先验拟合，并实现更灵活的非自回归生成过程。此外，块因果先验建模在保留块间因果结构的同时，允许每个块内进行更高效的并行计算。立足于分层潜空间建模，Cola DLM 还具有高度模块化的特点，能够自然地扩展到其它潜空间建模组件与其它连续模态 [19, 112]。

基于上述观察，我们从理论与实证两方面系统地研究了连续潜空间中的扩散语言建模。我们的贡献如下：

• 我们提出 Cola DLM，一种分层式潜空间语言模型，在统一的概率框架内把文本生成显式分解为全局语义建模与局部文本实现，并用连续潜空间中的基于扩散的先验建模连接二者，从而从分层信息分解的视角确立了一种新的语言生成范式。
• 我们从统一的马尔可夫路径视角分析了 Cola DLM 与现有语言建模范式的差异，阐明其在全局语义建模、非自回归归纳偏置与理论可解释性方面的优势，并在后续实验中加以验证。
• 通过涵盖 4 个研究问题、8 个基准、严格对齐的约 2B 参数自回归与 LLaDA 基线，以及扩展至约 2000 EFLOPs 的缩放曲线的大量实验，我们系统验证了 Cola DLM 的核心主张，确定了一组有效的整体配置，并证实了其在文本生成上的强大潜力与良好缩放行为。
• 我们进一步分析了核心框架之外的若干问题，包括似然估计与生成质量之间的失配、首块条件化（first-block conditioning）以及潜空间压缩。我们还提供了初步证据，表明 Cola DLM 能在离散文本与视觉等连续模态之间提供一座自然的桥梁，指向一种更广义的统一生成范式。

2相关工作

2.1自回归语言模型

自回归语言模型 [56, 77, 92, 101] 通过链式法则分解离散文本分布，并以词元级最大似然进行训练，是目前应用最广泛的文本建模范式。其局限在于：生成被固定的从左到右顺序所约束，推理本质上是串行的，并且不太适合诸如填空、局部编辑与全局重组等非单调生成任务。相比之下，Cola DLM 首先在连续潜空间中建模全局语义先验，然后进行条件解码，从而缓解词元级排序偏置，并借助块因果 DiT 提升生成效率。

2.2离散扩散语言模型

离散扩散语言模型主要分为两类。第一类基于离散转移核（discrete transition kernels）[2, 10, 88]，在离散词元空间中定义前向扰动与反向恢复，并通过多步去噪实现非自回归生成；然而采样通常较慢，且这类方法难以利用连续空间中平滑的语义结构。第二类基于掩码或吸收态（masking / absorbing states）[69, 70, 80, 81, 84, 105, 113, 114, 117, 118]，通过逐步把词元映射为掩码或吸收态、再恢复原文来构造训练目标；然而中间状态的信息损失限制了全局语义规划与细粒度控制。相比之下，Cola DLM 把扩散过程移到连续潜空间，在那里可压缩的潜变量承载全局语义，从而把连续空间的可操控性与分层语义建模结合起来。

2.3连续扩散语言模型

连续扩散语言模型大致可分为三类。第一类是与词表对齐的高维连续方法（high-dimensional vocabulary-aligned）[31, 43, 59, 79]，直接在 one-hot 向量、logit 单纯形或概率单纯形上进行连续扩散或流（flow）建模，以保持与离散词表的对齐；但其表示维度随词表大小增长，限制了可扩展性。第二类是基于词元嵌入的连续方法（token-embedding-based）[14, 21, 24, 27, 29, 52, 54, 87]，先把文本映射到连续嵌入空间，再进行扩散或流建模以提升生成灵活性；但其生成过程本质上仍是对带噪目标表示的恢复，缺乏显式的分层潜变量解释与对文本分布统一的边缘似然视角。第三类是潜空间连续方法（latent-space）[44, 58, 63, 109]，先用自编码器或 VAE 把文本压缩到潜空间，再进行扩散建模；这些方法通常依赖于潜空间设计与自回归解码器，并往往把潜空间当作固定表示，而非在分层潜变量框架下进行建模。相比之下，Cola DLM 通过分层潜变量建模显式地把全局语义与局部实现分离，并在一个动态的连续潜空间中学习语义先验，从而更好地在建模灵活性、推理效率与理论可解释性之间取得平衡。

3连续潜空间扩散语言模型

本节首先把 Cola DLM 表述为一个具有严格概率定义的分层潜变量语言模型，并概述其整体工作流程。随后，我们把 Cola DLM 与自回归（AR）模型、离散去噪语言模型以及连续词元空间方法置于一个统一的理论框架中加以比较。详细推导与证明见附录 A、B、C 与 D。

3.1Cola DLM 的理论基础

本小节把 Cola DLM 表述为一个具有严格概率定义的分层潜变量语言模型，并介绍其无条件与条件概率估计量。详细推导与证明见附录 A 与 B。

3.1.1Cola DLM 的理论表述

分层潜变量建模。设 \(x \in \mathcal{X}\) 表示一个离散文本序列，\(z_0 \in \mathbb{R}^d\) 表示其连续潜变量。Cola DLM 的生成模型由一个条件解码器 \(p_\theta(x \mid z_0)\) 与一个潜空间先验 \(p_\psi(z_0)\) 构成：

此处 \(q_\phi(z_0\mid x)\) 仅在训练时用于变分推断，并不属于生成模型本身。

我们用连续流（continuous-flow）先验来建模 \(p_\psi(z_0)\)。设基分布为 \(p_1(z_1)=\mathcal{N}(0,I)\)，并设 \(v_\psi(z_t,t)\) 为向量场，则

由此诱导出 \(p_\psi=(\Phi^\psi_{0\leftarrow1})_\sharp\, p_1\)。在序列实现中，潜变量进一步被分解为若干块，\(z_0=(z_0^{(1)},\dots,z_0^{(B)})\)，并有

该因子分解直接对应于后文使用的块因果先验学习与逐块推理。

ELBO 与先验学习。由 Jensen 不等式，Cola DLM 的训练下界为

因此，训练即最大化 \(\mathcal{L}_{\mathrm{ELBO}}(x)\)，或等价地最小化 \(-\mathcal{L}_{\mathrm{ELBO}}(x)\)。设聚合后验（aggregated posterior）为 \(\bar q_\phi(z_0)=\int q_\phi(z_0\mid x)\,p_{\mathrm{data}}(x)\,dx\)，则期望 ELBO 可写为

其中 \(q(x,z_0)=p_{\mathrm{data}}(x)q_\phi(z_0\mid x)\)。该分解表明 Cola DLM 把文本建模分离为三项：条件重建、信息压缩与先验匹配。当编码器与解码器固定时，先验学习归结为

实践中我们并不直接优化密度，而是用流匹配（Flow Matching）学习对应的向量场。对第 \(b\) 块，条件 FM 目标为

因此，流匹配在 Cola DLM 中只是先验的求解器，而非模型本身的定义。

3.1.2Cola DLM 的概率估计

无条件概率估计。在评估时，我们近似 \(\log p(x)\)。对样本 \(z_0^{(k)}\sim q_\phi(z_0\mid x)\)，定义重要性权重

先验项 \(\log p_\psi(z_0^{(k)})\) 通过连续归一化流（CNF）的换元公式来计算。具体地，我们求解增广 ODE

从 \(t=0\) 积分到 \(t=1\)，得到 \((z_1^{(k)},\ell_1^{(k)})\)。于是

其中 \(p_1\) 为终端基分布。在高维情形下，散度项用 Hutchinson 迹估计量近似：

其中在一次 ODE 求解过程中固定同一 \(\epsilon\)。由此得到两个标准估计量，即 ELBO 式与 IWAE 式估计量：

IWAE 式估计量通常更紧。

条件概率估计。对前缀—响应分解 \(x=(x_{\mathrm{pre}},x_{\mathrm{res}})\)，有精确恒等式

因此，用同一个无条件估计量分别对联合序列与前缀打分，即得插值估计量：

3.2Cola DLM 的工作流程

本节详细描述 Cola DLM 的整体工作流程。如图 1 所示，我们从三个角度加以说明：文本 VAE 的预训练、用文本 DiT 进行先验学习的预训练，以及 Cola DLM 的推理过程。

3.2.1文本 VAE 预训练

在第一阶段，我们学习一个稳定的"潜变量—文本"对应关系。编码器把文本映射到潜空间，解码器在潜变量条件下重建原文：

本阶段的目标不是学习最终先验，而是在"潜变量所存储的信息"与"解码器所恢复的信息"之间建立稳定的分工。相应目标为

其中 \(\mathcal{L}_{\mathrm{mask}}\) 是图中所示的 BERT 式掩码损失。它防止 VAE 编码器在语义上坍缩、而解码器仅记忆表层文本。在我们的实验中，VAE 不压缩序列长度。为防止信息泄漏并便于后续流式生成，我们的 VAE 编码器与解码器都是严格因果的。

3.2.2用块因果 DiT 进行先验学习

在第二阶段，我们在已稳定的潜空间上学习条件先验。对第 \(b\) 块，可见集合由历史的干净潜变量块与当前的带噪块组成：

其中 \(\sg(\cdot)\) 表示停止梯度（stop-gradient）。该可见性约束在每个块内强制双向注意力、在块间强制因果依赖，与式 (3.3) 一致。在此设计下，先验学习采用一个结合条件流匹配与参考编码器正则项的联合目标：

第一组保持带正则化潜空间学习的自编码结构，第二项学习块级条件先验，第三项抑制联合训练中的潜空间漂移。

3.2.3推理：前缀编码、逐块生成与条件解码

推理时，模型首先把前缀编码为干净的潜空间条件：

随后逐块生成响应潜变量。每一块都是在历史条件下对一个噪声种子进行输运而得：

最后，解码器在前缀与已生成潜变量块的条件下输出文本响应：

3.3Cola DLM 与现有方法的统一视角

本节在统一的马尔可夫路径视角下，把 Cola DLM 与 AR、LLaDA、Plaid 进行比较，并从理论上刻画 Cola DLM 的具体优势。更详细的分析与证明见附录 C 与 D。

3.3.1统一随机路径视角下的文本建模

为统一比较，设 \(\tau=(S_t)_{t\in T}\) 是状态空间 \(\mathcal{S}\) 上的一个随机过程，具有初始分布 \(\mu_\Theta\)、转移核 \(K_t^\Theta\) 与发射机制 \(e_\Theta(x\mid\tau)\)。一个基于过程的生成模型可写为

这一共同的外层形式并不决定模型的本质。关键区别在于路径的状态空间及其语义角色：一条作用于文本或近乎无损的文本对齐表示上的路径是观测路径，而一条仅用于生成潜先验的路径是先验路径。对 AR 而言，路径就是前缀扩展本身，给出精确的链式分解，但把生成绑定到从左到右的滤波：

对 LLaDA 而言，路径是一条离散的"腐蚀—恢复"轨迹，其目标是在离散状态空间中进行观测重建：

因此，LLaDA 削弱了人工设计的从左到右偏置，但仍是在修改观测恢复过程，而非引入显式的分层潜变量。

Plaid 进一步把这一恢复过程移到一个连续的、与词元对齐的表示 \(h_0=E(x)\) 上：

因此其核心目标仍是连续观测恢复，而非分解为先验加条件解码器。相比之下，在 Cola DLM 中，随机路径只输运潜先验：

其边缘分布仍由式 (3.1) 给出。因此，扩散在这里用于学习一个灵活的连续先验，而非对文本施加从左到右的归纳偏置。使用连续路径的理由并非连续建模本身天生更优，而是它能自然刻画潜分布的几何结构。在 Cola DLM 中，连续性出现于 \(p_\psi(z_0)\)，而非出现在某条观测恢复轨迹中：

因此，Cola DLM 与 LLaDA 的区别同时体现在状态空间与建模目标上。最后，使用潜变量的理由是显式地把语义结构与词元实现分离。期望 ELBO 的信息分解

表明：\(z_0\) 不仅是离散文本的连续替身，更是一个显式的、被边缘化的中间变量——全局语义被压缩进 \(z_0\)，而局部词元实现则交由解码器完成。

3.3.2Cola DLM 的理论优势

一个统一判据。设某模型族 \(\mathcal{M}\) 的逼近误差下界为

对 AR，其总体风险仅由 \(\mathcal{E}(\mathcal{M}_{\mathrm{AR}})\) 决定。相比之下，Cola DLM 还会引入一个变分推断间隙（inference gap）：

因此其总的统计负担为

率失真与结构化生成。潜空间瓶颈是否有益，取决于数据是否允许一个低速率但信息充分的全局表示。定义表示率失真函数为

若 \(D(R)\) 在较低速率 \(R\) 处已经较小，则数据允许一个低维语义变量，潜空间瓶颈更可能降低总体失配；反之，若高质量重建需要很高的信息率，则激进压缩只会使条件重建更难。这一点可通过结构化生成假设进一步刻画。假设存在一个全局变量 \(G\)，使得

则 Cola DLM 的因子分解更贴近真实生成机制：先验建模 \(G\) 的分布，解码器处理条件实现。此时潜空间瓶颈有益而非有害。

三条主导曲线与适用边界。Cola DLM 的适用性最终由三条曲线决定：表示率失真曲线 \(D(R)\)、先验逼近曲线，以及推断间隙曲线 \(G^{\mathrm{ColaDLM}}_{\mathrm{infer}}\)。更紧凑地，

因此，Cola DLM 的收益并非仅由扩散或连续性本身所保证，而取决于数据是否呈现"低维全局语义 + 高维局部词元实现"的结构。

4实验

本节通过实验回答以下研究问题：

• RQ1：潜空间中是否存在全局语义结构？
• RQ2：什么样的潜空间最适合文本生成？
• RQ3：哪种扩散过程对文本生成最有效？
• RQ4：为什么要用连续潜空间扩散模型做语言建模？

4.1实验设置

数据集。训练使用外部开源预训练数据。评估方面，Cola DLM 的内部组件分析（第 4.2、4.3、4.4 节）在从 LAMBADA [74]、MMLU [33] 与 SIQA [82] 测试集随机采样的子集上进行。LAMBADA 是续写基准，其余两个是多选基准。对外部比较（第 4.5 节），我们还在 SQuAD [78]、Story Cloze [68]、OBQA [64]、RACE [48] 与 HellaSwag [107] 的测试集上评估。更多数据集细节见附录 H.1。

基线。在内部组件对比实验（第 4.2、4.3、4.4 节）中，我们指定 Cola DLM 的不同配置。在第 4.5 节的缩放比较中，我们在严格对齐的设置下独立训练自回归与 LLaDA 基线。具体地，自回归与离散扩散模型分别使用 LLaMA [92] 与 LLaDA [70] 的官方建模实现进行随机初始化。细节见附录 H.2。

指标。如第 5.1 节所讨论，估计困惑度（PPL）与 Cola DLM 的实际生成质量之间存在显著失配。此外，已有工作 [32, 34, 61, 97] 指出 PPL 与生成性能并不严格相关。为实现最客观、公平的比较，我们在统一的少样本（few-shot）设置下，对多选与生成任务同时评估所有模型。对多选基准以及如 LAMBADA、SQuAD 等续写任务，准确率由模型输出与真值答案在预定义规则下的严格字符串匹配计算得到。更多评估细节见附录 H.3。

设置。Cola DLM 使用 OLMo 2 [71] 分词器，并以 AdamW 训练。学习率从 \(1\times10^{-6}\) 起步，在前 5{,}000 步线性预热至 \(1.5\times10^{-4}\)，随后用余弦调度在 1{,}000{,}000 步衰减到 \(1\times10^{-5}\)。所有评估均使用对应 FLOPs 预算下的检查点，不使用 EMA 权重。Cola DLM 与所有外部基线采用相同的分词器、优化与评估设置。在 Cola DLM 中，VAE 含 500M 参数，DiT 含 1.8B 参数；对自回归与离散扩散基线，嵌入层约 400M 参数、非嵌入主干约 1.8B 参数。因此两类模型族的总规模均保持在约 2B 参数的可比水平。所有方法使用相同随机种子训练，以保证各次运行训练数据一致，最大序列长度设为 512。更多细节见附录 H.4 与 H.5。

4.2Cola DLM 中全局语义结构的证据（RQ1）

本节先给出关于全局语义结构存在性的一条推论，再通过定量考察不同维度、不同时间步平移（timestep shift）下潜空间的性能，提供其存在的有力实证。完整理论推导、证明与技术细节见附录 E。

基于推论 1，本节关注的并非不同潜维度下具体的最优 loc 值，而是最优时间平移的峰值位置是否随潜维度变化呈现稳定、规律的移动。图 2 给出相应实验结果。

❶最优时间平移随潜维度系统性漂移。如图 2 左图所示，任务平均的最优 loc 在 \(d=16\) 时约为 1.0，在 \(d=64\) 时约为 1.7，在 \(d=128\) 时进一步约为 2.3。该趋势清晰且近似单调，直接与"可分"零假设相矛盾。一种更合理的解释是：改变潜维度会改变某种跨维度共享结构的有效噪声标定位置。

4.3Cola DLM 中不同潜空间的分析（RQ2）

本节研究何种潜空间最适合文本生成，围绕潜空间的三个属性展开：维度（dimensionality）、语义重要性（semantic importance）与平滑性（smoothness）。

❶更大的潜维度能改善潜空间质量与下游性能，但仅为部分改善。表 2 表明，在相同计算预算下，增大维度可带来一致但有限的提升。

❷更大的潜维度部分缓解了潜空间坍缩，但并未完全解决。图 4 显示，把维度从 16 增至 128 使潜空间更少坍缩、更分散；但所得几何仍明显不如带稳定初始化的 Joint DiT 结构化。这说明增大维度有益，却不能单独替代恰当的潜空间形成过程。

❸潜维度的影响不仅是几何的，也是动力学的。图 2 显示，最优时间平移随潜维度增大系统性地移向更大的 loc。这意味着增大潜维度不只是扩大了空间，还改变了语义信息被最佳恢复的去噪尺度。因此，高维潜空间的收益不仅取决于更好的几何，也取决于恰当的噪声标定。

总体而言，表 2、图 4 与图 2 呈现出一致图景：增大潜维度可提升潜空间质量与下游性能，但增益仅为部分性，其充分发挥仍依赖恰当的训练动力学与时间平移标定。

潜空间的语义重要性。如图 5 所示，本小节全部结果均在 Joint DiT 设置下取得：VAE 从预训练权重初始化并与 DiT 联合优化。我们进一步比较在 VAE 训练中是否加入 BERT 式损失（鼓励潜空间保留更平滑的局部语义）。这里报告的 lr 表示 VAE 相对 DiT 的学习率比值。结果表明，这种语义平滑性对下游性能很重要，尤其在允许潜空间更主动演化时。

❶当潜空间被主动更新时，加入 BERT 损失持续改善性能。当 VAE 学习率比值为 1 时，BERT 损失在几乎整个训练区间给出最佳整体结果（见图 5），并取得最佳最终性能，说明鼓励掩码词元可恢复性使潜空间在下游预测上更有语义价值。

❷强潜空间演化只有在语义引导下才有效。当比值为 0.01 时，加入 BERT 损失增益有限；而当比值增至 1 时其优势变得清晰稳定。同时，单纯增大 VAE 更新强度而不加 BERT 损失，并不能可靠地改善性能。这表明：仅有可训练性不够；当潜空间更主动演化时，其更新还必须被约束向更平滑的语义组织。

这些结果说明潜空间应当紧凑但语义充分，与式 (3.5)、(3.35) 一致；BERT 式损失有助于在瓶颈下保留有用语义。

潜空间的平滑性。表 3 在两个计算预算下比较不同 VAE logSNR 设置。结果表明 VAE logSNR 是潜空间平滑性与下游性能的重要因素。在当前设置下，学习 VAE logSNR 整体最佳，固定为 1.5 是最具竞争力的固定替代方案。VAE logSNR 公式见附录 H.7。（❶）可学习 logSNR 在两个预算下均取得最佳任务平均；（❷）固定为 1.5 紧随其后，并在 SIQA 上一致最佳；（❸）当前结果偏向可学习设置，但固定设置仍有进一步研究空间。

4.4Cola DLM 中扩散过程的消融（RQ3）

4.4.1训练阶段

块大小（block size）。如图 6 所示，块大小是关键的训练超参数。过小的块限制了块内并行与双向上下文，过大的块则削弱了块间因果结构；适中的块大小（约 16）在各任务上取得最佳整体平衡。

❶当前设置下，适中的调度位置（loc ≈ 1.0）给出最佳整体性能。图 8 显示 loc = 1.0 在 30K 与 40K 检查点都取得最高任务平均，在三任务上也最佳或接近最佳，MMLU 与 SIQA 上增益尤为明显。从附录 G 发展的信息论视角看，这表明 loc = 1.0 把去噪轨迹置于更适合语义恢复的有效 logSNR 区间，而过小或过大的平移都会使模型偏离该区间。

❷恰当的噪声标定对 Joint DiT 尤其重要。图 7 进一步显示，loc = 1 的 Joint DiT 是最强的可训练设置，而 loc = 0 或均匀调度的 Joint DiT 始终明显更弱。这说明：只有当去噪 logSNR 轨迹与演化潜空间的语义结构对齐时，联合潜空间演化才变得有效。

❸噪声调度的作用应通过语义信息标定来理解，而非孤立的超参数效应。附录 E 进一步暗示：调度位置、潜维度与 VAE logSNR 都作用于同一核心对象，即语义变量沿扩散时间的有效互信息曲线。由此可解释为何不同潜维度、不同 VAE 平滑设置、乃至不同 DiT 块大小不必共享相同的最优调度。

4.4.2推理阶段

去噪步数。如图 9a，所有结果均在 Joint DiT 设置下取得（VAE 从预训练初始化，VAE 与 DiT 以相同学习率联合优化）。（❶）从 1–2 步增至 4–8 步时，所有任务显著改善，LAMBADA 增益尤大，说明极少步数不足以稳定恢复语义；（❷）约 16–32 步后任务平均趋于平坦，额外步数边际增益很小。

无分类器引导（CFG）。CFG 是重要的推理超参数。当 CFG 过大时性能开始下降，超过约 10 后尤其明显，在 20、60 等极大值处变得严重，说明过强引导会扭曲而非改善去噪轨迹。整体而言（图 9b），适中的 CFG 给出最佳折衷，弱引导与过强引导都导致更差结果。

4.5缩放性能比较（RQ4）

本节在前述调参实验所确定的最佳配置下，比较 Cola DLM 与严格对齐的 AR、LLaDA 基线的缩放行为。具体地，Cola DLM 使用潜维度 \(d=16\)、块大小 16、VAE/DiT 学习率比为 1 的联合训练、BERT 损失，以及 loc = 1 的 logit-normal 训练噪声调度；推理时使用 16 个去噪步与 CFG = 7。AR 与 LLaDA 基线在规模上对齐，非嵌入主干控制在 1.8B 参数，LLaDA 推理时去噪长度等于生成长度。

值得注意，图 10 中绝对分数较低主要出现在多选基准上。这是因为为公平比较，所有模型都在统一的少样本生成式协议下评估，而非标准的基于似然的分类：LAMBADA 与 SQuAD 作为生成任务评估，其余基准虽为多选但也被纳入少样本生成。如第 5.1 节所述，似然估计可能与 Cola DLM 的实际生成质量显著失配。因此，尽管多选任务的绝对值低于常规判别式评估，相对缩放趋势在这一完全对齐的协议下仍然有信息量且公平。

❶Cola DLM 呈现出最强的整体缩放趋势之一。在任务平均上，Cola DLM 随计算预算稳定提升并取得最佳最终性能。AR 在较小预算下仍有竞争力，LLaDA 也有明显早期增益，但 Cola DLM 的曲线在高算力区持续上扬。

❷Cola DLM 的缩放优势在重推理、强全局语义任务上尤为明显。在 MMLU、RACE、Story Cloze、OBQA 上，Cola DLM 保持强劲上升趋势，并在宽广算力区取得最佳或接近最佳，说明连续潜空间先验建模非常适合依赖全局语义组织与整体答案形成的任务。

❸在生成任务上，Cola DLM 也展现出令人鼓舞的缩放行为。在 LAMBADA 与 SQuAD 上，缩放趋势在统一生成评估协议下保持清晰；SQuAD 随规模增益尤其明显，Cola DLM 最终超过 AR 并接近 LLaDA 的强性能区。

❹当前结果是对 Cola DLM 缩放潜力的保守估计。本次比较在相对保守的配置下进行；早期消融已表明把潜维度从 16 增至 128 可提升语义容量，logSNR 分析也表明当前设置仍有缩放空间。因此图 10 应被视为"Cola DLM 在受限设置下已能良好缩放"的证据，而非其能力上界。

总体而言，图 10 支持一致结论：在严格对齐的比较与统一生成评估协议下，Cola DLM 展现出与强 AR、扩散基线完全可比的缩放行为，并在若干任务上已显示出尤为令人鼓舞的后期增益。结合潜空间设计上仍存的优化空间，这些结果为"连续潜空间先验建模是语言建模一个有前景的缩放方向"提供了支持性证据。

5讨论

本节进一步考察 Cola DLM 的若干附加性质与扩展。我们聚焦于似然导向的估计与生成质量之间的结构性差距，分析首生成块中不同的条件化与填充（padding）策略对块因果 Cola DLM 的影响，并初步探索基于 VAE 的文本压缩以加速生成。最后，我们指出 Cola DLM 与其它连续模态结合的更广阔潜力。

5.1似然导向估计与生成质量之间的结构性差距

本节研究连续潜空间语言模型中的一个核心现象：当似然导向的 PPL 仍然很差时，生成质量却可能已相当不错。关键原因在于这两个指标针对不同的性质。生成只要求先验质量到达语义上"解码器有效"的区域；而似然导向的估计还额外要求在真值目标的后验邻域附近有精确的局部概率标定。

设 \(x=(x_{\mathrm{pre}},x_{\mathrm{res}})\)，其中 \(x_{\mathrm{pre}}\) 为前缀、\(x_{\mathrm{res}}\) 为响应，\(c\) 表示前缀诱导的条件信息。精确条件边缘为

而实际可获取的量是局部得分

这两个量之间的失配是我们分析的起点。

图 11 与表 4 直接支持这一区分。在图 11 中，解码器探针成功率与后验命中率始终很高，说明解码器能在后验邻域内可靠恢复真值词元；然而先验命中率剧烈变化，表明主要问题不是解码器失败，而是真值潜区域附近的先验错位。表 4 在词元级呈现同样模式：对 at，似然导出 PPL 从 \(1.15\times10^6\) 显著改善到 641.57 再到 245.36，但生成词元却从 on 退化为 in 再到一个逗号。类似地，对 her，固定 VAE logSNR 下更小的似然导出 PPL 也未能恢复正确词元。因此，更低的似然导出 PPL 未必意味着更好的生成。

因此，表 4 中固定 VAE logSNR 的设置应被理解为改变了潜概率空间的平滑性，而非仅仅调一个超参数。更低的 VAE logSNR 对应更平坦的局部密度景观，倾向于减少逐点密度失配、改善似然导出 PPL；但这种平滑也可能模糊局部语义结构，使模型偏向通用却语义次优的续写（如 in、the、went）。相反，直接训练的似然导出 PPL 差得多，却有时能保留更恰当的语义行为，例如正确生成 her。

5.2首生成块中的条件化与填充策略

在首生成块中，输入同时包含已知的提示潜变量与待生成的未知潜变量。图 12 给出处理这一混合区域的四种代表性策略。部分重绘（partial repaint）在已知区域注入与时间步匹配的带噪引导，其中 \(t\) 控制重绘重复次数、\(m\) 控制接受此类引导的去噪轨迹比例；干净条件重绘（clean condition repaint）则在整个去噪过程中把已知区域固定为干净引导；而左/右填充（left/right padding）不显式重绘已知区域，仅改变其相对于生成区域的位置布局。值得注意，在随机长度设置下，上述所有条件化模式都保持训练与推理的严格一致。

如表 5，干净条件重绘在所有任务上一致取得最佳。相比之下，部分重绘明显更弱，减小 \(m\) 通常进一步恶化性能，说明缩短被引导部分会使已知区域更难保持；把重绘重复次数从 \(t=1\) 增到 \(t=3\) 也不带来稳定增益，说明重复的早期修正无法弥补弱条件化。左右填充常强于多数部分重绘设置（因其避免显式重新加噪已知区域），但仍明显低于干净条件重绘，说明仅靠位置布局不足：填充未能在整个去噪过程提供稳定条件，且可能进一步使块因果注意力模式复杂化。总体而言，首生成块的关键挑战是在生成剩余未知部分的同时保持提示条件区域；对此混合去噪问题，强而持久的条件化比部分带噪修正或位置布局更有效。更多细节见附录 I.1。

5.3潜空间的压缩

本节讨论在 VAE 中压缩文本序列是否对 Cola DLM 有益。我们训练两个潜维度相同（\(d=128\)）但 patch 大小不同的文本 VAE：\(p_1\) 把每个词元映射为一个潜变量，\(p_2\) 把每两个词元压缩为一个潜变量。其余设置同第 4.5 节。

整体上 \(p_2\) 远逊于 \(p_1\)；但按奇偶切分可见，该差距几乎完全由 Prompt Len Mod1 造成。对奇数长度提示，\(p_2\) 在所有任务上几近崩溃；而在 Prompt Len Mod0（即 patch 规则所见的偶数长度情形）上，\(p_2\) 变得有竞争力，平均甚至略超 \(p_1\)。这说明当前失败不是对潜压缩本身的否定，而是对"不能稳健处理不可整除序列边界的压缩方案"的否定。原因很可能是：在 patch 大小为 2 时，奇数长度提示在压缩中必然涉及填充或不完整词元组；若该边界模式未被恰当学习，压缩后的提示潜变量会发生语义偏移。在 Cola DLM 中此问题尤为严重，因为提示潜变量是后续逐块先验生成的干净条件，而非弱辅助表示；一旦提示侧潜变量偏置，误差会经去噪传播并最终损害条件解码，这自然解释了 Mod1 上近乎为零的性能。

相比之下，Mod0 的结果令人鼓舞：当潜分组语义有效时，把两个词元压缩为一个潜变量未必损害生成，甚至可能有所帮助。这与 Cola DLM 的核心思想一致——潜空间并非用于保留词元对齐的恢复路径，而是为全局语义组织提供更低速率的表示，由解码器处理局部实现。从效率角度看，潜压缩也具吸引力：在相同 DiT 块大小下，一个去噪块解码后对应 patch 大小 × 块大小个文本词元；块大小为 16 时，patch 大小 1 每块覆盖 16 个词元，而 patch 大小 2 覆盖 32 个。若能解决边界问题，更大的 patch 大小可能同时改善语义抽象与生成效率。

5.4VAE 潜空间重建的鲁棒性

我们进一步从重建角度分析 VAE 潜空间的鲁棒性。如图 13 所示，VAE 在 \(t=0\) 取得近乎完美的重建，说明所学的"潜变量—文本"映射保持高度忠实、不坍缩。此外，重建准确率在整个低噪区都很高，在 \(t=250\) 仍约为 0.92，之后在更重噪声下才更明显地退化。这些结果表明，VAE 学到的潜空间不只是脆弱的压缩码，而是一种稳定、可广泛使用的文本中间表示。特别地，这种优雅退化（graceful degradation）模式表明语义信息不会被小幅或中等扰动骤然破坏，进一步支持"Cola DLM 中 VAE 潜空间足够鲁棒，可作为后续先验建模的语义接口"这一观点。

5.5迈向与图像模态的统一

Cola DLM 一个更广泛的含义是：它在离散文本与连续多模态建模之间提供了一座自然的桥梁。统一建模的关键并不仅仅是把文本与图像放入一个主干，而是把异构观测映射到一个共享的连续潜交互空间，使高层语义可以在共同的动力学下组织。Cola DLM 的自然扩展沿用与纯文本设置相同的概率分解。设 \(x_{\mathrm{text}}\) 与 \(x_{\mathrm{img}}\) 分别表示文本与图像观测，其模态专属潜变量在共享的块因果 MMDiT 先验下联合建模。该图像分支采用下采样因子 16、64 个潜通道，为视觉内容提供紧凑而富表达力的潜空间。共享的块因果 MMDiT 先验同时作用于文本块与图像潜变量，支持模态内处理与跨模态交互，从而在统一框架内实现文本续写、图像条件文本生成与文本生成图像。训练时我们在内部图文对上联合优化这些任务（文本生成图像任务先在 256 分辨率上训练 80k 步、全局批量约 3k，再在 640 分辨率上续训 10k 步、全局批量约 1k；图像条件文本生成采用相同批量配置、训练约 50k 步）。更多结果见附录 I.2。

这些结果应主要被理解为可行性的定性证据。由于当前原型仍处于训练早期，且实验仅限于在内部 256 与 640 分辨率数据上进行适度预训练，未经大量高质量数据清洗或监督微调，本节目标不是给出成熟的多模态系统，而是表明 Cola DLM 的分层潜先验表述能自然超越纯文本生成。更广泛地，这些发现表明：把全局潜空间组织与模态专属实现解耦，可能提供一条结构清晰、可扩展的、通往更原生统一生成模型的路径。

6局限与未来展望

尽管本文已为 Cola DLM 在连续潜空间中进行文本生成的可行性、竞争力与可期缩放潜力提供了初步证据，我们仍把它视为进一步探索的起点而非终点。其一，在规模与评估层面：当前结果揭示了令人鼓舞的趋势，但实验仍在相对受控的规模下进行，主要用于厘清框架的关键性质；因此，在更大模型、更长训练与更充足算力下进一步考察其上界是自然且重要的。其二，在模型设计层面：我们的分析表明，文本 VAE 的训练策略、文本压缩方案、潜维度选择、潜空间语义平滑性，以及 VAE logSNR、DiT 块大小与噪声调度的联合标定，都会影响潜空间的语义组织与最终生成质量——特别是，实验表明更强的潜表示通常需要更对齐的噪声标定，说明仍有大量优化空间。其三，在框架层面：Cola DLM 的主要价值不仅在于去噪过程本身，而在于把文本生成分解为全局语义先验建模与局部文本实现。这为探索更强的潜模块（如 AE [5] 与 RAE [112]）以及更灵活的先验学习方法（如基于漂移模型 [19] 的连续先验分布匹配）打开了大门。更广泛地，沿着统一连续潜空间建模的思路，该框架还可扩展到图像等连续模态，进一步推进统一生成。

7结论

总之，本文提出 Cola DLM，一种分层连续潜空间扩散语言模型，它把文本生成分解为潜空间中的全局语义先验建模与通过条件解码实现的局部文本实现，从而为严格词元级语言建模提供了一种有原则的替代方案。在整个研究中，理论分析与实验一致表明文本生成可受益于分层信息分解：我们发现潜空间中存在共享全局语义结构的证据，确定了潜空间形成与扩散建模的有效设计选择，并表明在严格对齐的比较下 Cola DLM 展现出强生成质量与令人鼓舞的缩放行为。更广泛地，我们的结果表明：对这一类模型而言，面向生成的评估与缩放趋势可能比单独的似然更有信息量；同时，连续潜空间表述也为在离散文本与连续模态之间走向更原生的统一建模提供了一条具体路径。

8后记：研究目标与意义

从更宽广的视角看，本研究不仅关心为文本生成提出一种替代性架构，更试图厘清一幅关于学习的更一般图景——在这幅图景中，表示（representation）、目标（objective）与环境（environment）必须被联合理解。由此，本工作的三个主题彼此紧密相连而非各自独立：第一个主题关心文本应如何被表示与生成；第二个主题关心何种目标与评估标准才真正与这样的表示相一致；第三个主题关心——若目标是更一般的多模态智能——模型最终应在何种环境中学习。

一个有用的出发点，是把学习本身形式化为一个模型—环境交互系统。设环境为

其中 \(\Omega\) 为环境状态空间，\(\mathcal{O}\) 为观测空间，\(\mathcal{A}\) 为动作或输出空间，\(\mathcal{T}\) 为状态转移机制，\(\mathcal{F}\) 为反馈生成机制，\(\mathcal{G}\) 为将反馈转化为优化信号的规则。值得强调的是，这里的"环境"取广义之意：它不仅包含外部世界，也包含呈现给模型的数据分布、任务格式、监督协议，乃至把反馈转化为梯度的损失规则。

记模型为 \(\mathcal{M}_\theta\)，其内部状态空间为 \(\mathcal{H}\)，状态更新映射为 \(\mathcal{U}_\theta\)，策略或生成映射为 \(\Pi_\theta\)。在交互步 \(t\)，闭环系统可写为

于是整体学习目标为

其中 \(\tau\) 表示一条完整的交互轨迹，\(\gamma\) 为折扣因子。

这一形式化直接表明：学习从来不是单纯关于模型结构的孤立问题，而是由三个因素共同决定的——其一，模型在其中吸收并组织信息的状态空间；其二，环境据以定义"改进"的反馈类型；其三，生成观测、转移与反馈的真实结构。在本文中，这三个方面恰好对应贯穿全文的三个主题：文本应如何被表示、哪些指标与真实学习目标相一致，以及统一模型最终意在进入何种环境。

8.1重新思考文本建模范式：从系统中的状态空间到分层文本生成

从系统层面看，文本建模的核心问题不仅在于采用何种生成顺序，更在于文本应以何种状态在学习系统中被表示。主流自回归语言模型把状态紧密绑定到表层词元前缀，因此其生成写作

这一分解极为有效，但它本质上对应一个很强的建模假设：全局语义与局部实现都通过同一条词元级条件链传播。换言之，它假定表层字符串本身即是最自然、最首要的状态空间。

本文所探索的路线，则从状态空间这一层面重新审视文本生成。如果文本确实蕴含一个低维却足够有用的全局语义结构，那么更自然的做法并非把整个生成负担都压在词元级链式分解上，而是显式引入潜变量，将高层语义组织与局部文本实现分开建模。相应地，Cola DLM 的核心分解为

其中 \(z_0\) 为连续潜变量，\(p_\psi(z_0)\) 为潜先验，\(p_\theta(x \mid z_0)\) 为条件解码器。这里关键的改变不仅是引入潜变量，更是重新定义了系统中"状态"的角色：路径不再直接作用于观测恢复，而是先在潜空间中组织全局语义，再由解码器执行局部文本实现。

这一点可通过平均 ELBO 的信息分解被紧凑地陈述。令

则

其中 \(\bar{q}_\phi(z_0)\) 为聚合后验（aggregated posterior）。该分解表明，分层潜空间建模把文本问题拆解为三个相互耦合却在分析上可区分的成分：条件实现、信息压缩、先验匹配。因此潜变量并非仅是离散词元的连续替身，而是一个显式的中间状态，借由它可将全局语义组织与局部文本实现分离开来、各自单独建模。

由此视角看，压缩也须被重新审视。已有工作强调压缩与智能之间的联系 [37]，而近期在图像与视频上更贴近原始数据形态的生成探索（如像素空间建模 [19]）进一步表明：压缩不应等同于有害的信息删除。关键问题不在于是否保留了每一处局部细节，而在于模型能否抽取并组织出真正有效且可泛化的结构性信息。如果文本确实容许一种高层语义与低层实现相对可分的分层结构，那么以信息层级重新诠释文本生成，便不只是方法的改变，而是对文本建模本身的一次理论重估。

因此，本文的第一个主题并非否定自回归，而是指出：自回归只占据了设计空间中一个自洽的、而非唯一的角落。如果数据中确实存在低维全局语义与高维局部实现之间的层级关系，那么先在潜状态中组织语义、再经条件解码实现文本，可能更接近真实的生成机制。文本生成因此不应仅被理解为离散字符串上的下一词元拟合，而应更一般地被视为"信息如何被分层地表示、压缩与组织"这一系统性问题。

8.2理解离散文本的连续延拓：从目标失配到评估侧重的转移

一旦系统的状态空间改变，目标层面的问题也随之改变。对传统自回归语言模型而言，训练目标与评估量天然高度一致：极大似然训练直接对应于在文本上的概率拟合，故似然与困惑度具有清晰而稳定的解释。然而在分层连续潜空间模型中，实际的训练路径已不再是直接的词元级极大似然，而是由重建、潜先验学习与表示正则共同构成的分层目标。

这可由 ELBO 与真实边际似然之间的关系看出：

这表明：即便在 ELBO 层面，训练目标也已被一个变分推断间隙（inference gap）与真实对数似然分隔开来。此外，在 Cola DLM 的实际训练中，模型须联合学习潜重建、连续先验拟合与表示稳定化；被优化的量因此不是经典意义上单一的词元级似然。

正因如此，这种失配不应被解读为"学习失败"，而应被视为"模型在学习不同东西"的证据。对于直接拟合离散分布的自回归模型及其他范式，似然与困惑度仍极具信息量，因为它们与训练目标天然对齐；而对分层连续潜空间模型，核心问题已不再是局部离散分布是否被尽可能锐利地拟合，而是高层语义结构是否被有效组织、潜先验是否被良好学习，以及最终生成是否满足真实任务要求。

从系统性建模的角度看，这一现象其实在预期之中：当状态空间从表层词元扩展到分层潜变量时，优化目标相应地从"对局部离散分布的精确拟合"转向"高层语义结构的组织、稳定的潜先验学习与真实生成目标的满足"。对这条路线而言，面向生成的指标往往比困惑度更贴合模型实际被训练去做的事。更重要的是，模型潜力常常在缩放行为中比在任何单一静态似然值中体现得更清晰：真正要紧的是，随着模型规模、数据与算力的增加，能力是否持续稳定地提升，而非在某个逐点指标下的局部拟合是否更优。

这也可与本文理论分析中所发展的三条主导曲线视角相联系。对 Cola DLM 而言，这条路线的适用性并非由单一似然值决定，而取决于三个条件是否同时成立：表示的率失真曲线在相对较低的码率下已然有利、潜先验的逼近误差持续下降、推断间隙保持可控。换言之，这条路线的优势并非由潜变量或基于流的建模本身自动保证；它取决于数据是否真正蕴含可压缩的全局语义结构，以及模型能否稳定地学习、拟合并实现该结构。

因此，本文的第二个主题不仅是"困惑度不足"，而是：一旦表示与目标已经改变，评估语言本身也必须改变。对这一类模型而言，生成质量与缩放行为往往比传统困惑度更贴近模型的真实能力与长期潜力。

8.3探索统一模型：模型—环境交互与多模态统一的价值

若再次回到式 (8.1) 与式 (8.8) 的模型—环境形式化，第三个主题便更显自然。统一模型的重要性，并不仅在于把多种模态放入单一参数化网络，而在于改变模型在其中学习的环境结构。在真实世界中，观测、转移与反馈通常并非跨模态独立生成，而往往由一个共享的潜状态联合决定。一个更一般的学习系统因此需要的，不是一组并列摆放的孤立模态接口，而是能够进入同一交互状态、共享同一动力学约束的统一表示。

这与两种更宽广的智能观密切相关。一种有影响力的观点把智能理解为跨任务技能的集合 [16]：在此观点下，系统之所以更有能力，是因为它能在更多领域、更多样的监督与交互形式下解决问题。近期大语言模型的发展部分体现了这一倾向，一个代表性例子是能在命令行环境中运作的代码智能体——在这类环境里，观测空间、动作空间与反馈机制与离散符号表示异常契合，交互轨迹易于记录、正确性常可直接验证，故能提供稠密而精确的学习信号。另一种更接近世界模型视角的观点则认为，智能在于获得关于世界结构与动力学的内部模型；近期关于世界模型的工作 [93] 朝此方向努力，试图学习更丰富的环境动力学，从而支持更强的泛化与更真实的交互。从这一视角看，问题不仅是模型能解决多少任务，而是它是否在一个结构足够丰富、能诱导出正确抽象的环境中学习。环境因此成为核心：模型只能内化它在所遇观测、转移与反馈中真实存在的规律。

这也可被更形式地写出。设第 \(t\) 步的观测为多模态的，

并设存在一个联合潜状态

使得反馈与转移主要依赖于该联合状态，而非各模态的边际分解：

若真实环境动力学满足

则学习问题在跨模态上是结构不可分的。此时，把每个模态当作独立通道、仅在表层加以组合，通常是不充分的。统一模型的理论意义正在于此：环境本身在式 (8.17) 的意义下不可分——决定有用反馈的规律是联合规律，而非定义在各模态边际分布上的规律。

这阐明了为何多模态统一不只是工程上的便利。其目的并非单纯用一个主干处理多种数据类型，而是让模型在一个观测、转移与监督结构更忠实反映真实世界耦合规律的环境中学习。在这样的环境里，输入与输出都可能是多模态的；有用的反馈可能依赖于不同模态如何联合地相互约束；而所学的内部状态理应反映这些联合约束。

这也解释了为何文本长期以来是统一模型中最困难的一环。图像与视频天然运作于连续空间，而文本则是典型的离散模态。若要让它们进入共同的交互状态、共享潜动力学，便立刻产生严重的表示失配——这正是近期统一模型研究反复指出的核心障碍之一 [18]。在此意义上，Cola DLM 的意义不仅在于又提出一个文本生成器，更在于提供了一个让离散文本能进入连续潜空间的自然接口。

若离散文本通过

被映射为连续潜变量，则文本便获得了一个与其他连续模态兼容的接口。于是可定义一个统一交互状态

并在这一层面进行状态演化、决策与反馈建模。式 (8.18)–(8.19) 形式化地说明了为何 Cola DLM 的意义可能超越文本生成本身：它的作用不仅是经由一条不同路径生成文本，更是提供一座桥梁，让一个本质上离散的模态得以参与连续多模态交互状态——换言之，它降低了那种否则会阻碍文本自然进入共享连续环境的结构失配。

这正是为何 Cola DLM 更广泛的意义，通过模型—环境交互来理解要优于仅凭单模态基准。若把学习视为在更丰富、更真实环境中对式 (8.8) 的优化，则统一模型之所以重要，是因为它们扩展了模型可在其中学习的环境；而若文本要充分参与这样的环境，那么式 (8.18) 那样的桥梁便尤为可贵。在此意义上，Cola DLM 不仅是一种替代性的文本生成器，更可被理解为一种使离散文本与连续多模态学习系统相对齐的候选机制。

8.4统一视角下的三个主题

综上，本文的三个主题并非彼此分离的补充性讨论，而是同一系统性问题的三种体现。第一个关乎表示层面：文本应完全在词元表层建模，还是可以在一个独立的潜状态中组织更高层的语义。第二个关乎目标层面：一旦模型经由潜输运、重建与正则而非直接的词元级极大似然来训练，哪些指标仍真正与学习问题相一致。第三个关乎环境层面：若学习终究是模型—环境交互，那么未来模型应栖身于何种环境，又需要何种表示接口才能让不同模态在其中相互兼容。

从这一视角看，自回归语言建模占据了设计空间中一个自洽的角落：表示与表层词元紧密绑定，训练目标是直接的似然最大化，环境则在很大程度上是符号化、以文本为中心的。本工作所探索的路线同时改变了这三项假设：它为文本引入分层潜变量表示，从而改变了表示假设；它使优化偏离直接的词元级似然，从而削弱了困惑度的核心解释角色；它为离散文本提供了连续接口，从而使文本可能更兼容于那些更自然地以连续潜空间表达的多模态环境。

因此，我们希望本工作的贡献不仅是一条可行的文本生成替代路径，更是一种更系统的思考方式——它把表示、目标对齐与环境设计联合纳入考量。更广泛地，我们希望它能鼓励未来研究不再把文本、图像、视频等模态视为必须各自解决的孤立领域，而视之为一个更大学习系统的组成部分；在这个系统中，统一表示、统一目标与统一环境，可能会日益成为通往更一般多模态智能的核心。

参考文献

按学术惯例，参考文献条目保留英文原貌，未作翻译。

附录

ACola DLM 的严格概率表述与训练目标细节

本附录给出 Cola DLM 的严格概率表述，并厘清各训练成分的作用。我们先精确定义潜变量模型与 CNF（连续归一化流）先验，再推导边际似然、ELBO 及其总体（population）形式，最后说明流匹配（Flow Matching）在整体理论框架中的确切角色。

A.1概率对象、CNF 先验与生成分布

设 \(x \in \mathcal{X}\) 表示离散文本序列，\(z_0 \in \mathbb{R}^d\) 表示其连续潜变量。Cola DLM 由三个概率成分构成：

这里 \(q_\phi(z_0 \mid x)\) 仅在训练时用于变分推断；实际的生成分布由 \(p_\theta(x \mid z_0)\) 与 \(p_\psi(z_0)\) 定义。为确保流映射与密度输运公式良定义，我们对 CNF 向量场施加标准的正则性假设。

设基分布为标准高斯

给定时变向量场 \(v_\psi(z_t, t)\)，考虑 ODE

由假设 A.1，该 ODE 诱导流映射

因此一个先验样本可写为

等价地，先验分布是基分布在逆向流下的前推（pushforward）：

这表明 \(p_\psi(z_0)\) 并非抽象符号，而是由 \((p_1, v_\psi)\) 联合诱导、严格定义的概率分布。于是 Cola DLM 的生成过程可写为

对应的联合与边际分布为

若显式引入基变量 \(z_1\)，边际还可写为

因此，Cola DLM 本质上是一个分层潜变量语言模型，而非一个直接在词元空间定义逆过程的模型。

A.2CNF 先验的显式密度与外层 ELBO

设 \(Z_t\) 为 ODE 在时刻 \(t\) 诱导的随机变量，其密度为 \(p_t\)。在假设 A.1 下，\(p_t\) 满足连续性方程

沿特征轨迹 \(t \mapsto z_t\)，瞬时换元公式给出

从 0 积分到 1，并注意 \(p_0 = p_\psi\)，得

因此，CNF 先验具有显式定义的对数密度，而非只能通过采样存在的隐式先验。流映射也可写成确定性的马尔可夫核。定义

由 ODE 流的半群性质，\(K^\psi_{t\leftarrow s}\) 满足 Chapman–Kolmogorov 关系，从而构成一个确定性马尔可夫半群。但此处的马尔可夫结构来自先验输运，而非依赖观测的"破坏—恢复"机制。

现引入变分后验 \(q_\phi(z_0 \mid x)\) 以处理边际似然中的潜积分。对任意满足所需支撑条件的 \(q_\phi(z_0 \mid x)\)，

定义外层 ELBO 为

则

更重要的是，真实对数似然与 ELBO 之间的精确分解为

其中真实后验为

式 (A.19) 明确了区别：真实似然始终是 \(\log p(x)\)，而被直接优化的训练目标是其变分下界 \(\mathcal{L}_{\mathrm{ELBO}}(x)\)。将显式 CNF 密度公式 (A.13) 代入外层 ELBO，得

这是在解码器能计算 \(\log p_\theta(x \mid z_0)\) 的设定下，Cola DLM 的严格训练目标。

A.3平均 ELBO、聚合后验与先验匹配

为分析先验学习的本质，定义聚合后验

及联合分布

当编码器 \(q_\phi\) 与解码器 \(p_\theta\) 固定时，数据平均 ELBO 对 \(\psi\) 的依赖仅通过先验项体现：

其中 \(C(\phi, \theta)\) 与 \(\psi\) 无关。利用

得

因此，固定编码器与解码器后，严格的先验学习子问题就是用 \(p_\psi\) 拟合聚合后验 \(\bar{q}_\phi\)。平均 ELBO 还可进一步写成信息分解形式。在先验项中加减 \(\log \bar{q}_\phi(z_0)\) 得

其中

是潜变量中保留的信息量。式 (A.28) 揭示了编码器的三重理论作用：它决定先验须拟合的目标分布 \(\bar{q}_\phi(z_0)\)、通过 \(I_q(X; Z_0)\) 决定压缩强度，从而决定"潜空间中的全局语义"与"解码器中的局部实现"之间的分工。

A.4流匹配的角色：先验求解器，而非模型定义

直接优化 \(\log p_\psi(z_0)\) 通常需要反复求解 ODE 并估计散度，实际代价高昂。为此常用流匹配来更高效地学习同一先验的向量场。因此流匹配应被视为一个先验求解器，而非似然目标本身。为此，先指定一条从聚合后验到基分布的桥接路径。设

考虑条件路径

这里 \(\alpha\) 可为任意足够光滑的单调函数；线性插值对应 \(\alpha(t) = t\)。该路径的目标速度场为

于是流匹配损失为

对固定的路径构造，其逐点最优解是条件期望

这只是一个条件均值回归结果，但它精确刻画了流匹配的角色：在理想条件下，所学向量场对应一个连接 \(\bar{q}_\phi\) 与 \(p_1\) 的连续输运，而该输运又定义了先验 \(p_\psi(z_0)\)。因此须区分两个目标。其一，

是先验学习的严格概率目标；其二，

是学习同一先验向量场的实用求解器。它们服务于同一个先验建模问题，但并非同一数学对象。特别地，\(\mathcal{L}_{\mathrm{FM}}\) 不能与 ELBO 中的 \(-\log p_\psi(z_0)\) 逐项等同。

A.5训练目标的严格形式

若解码器能精确计算 \(\log p_\theta(x \mid z_0)\)，则严格训练目标是最大化 (A.17)，等价地最小化负 ELBO。定义

于是单样本总损失为

对数据分布取期望，得严格训练目标

因此，真正对应于"最大化边际似然下界"的目标始终是 ELBO；流匹配只是学习先验的高效实现。

B采样、推断与概率估计细节

本附录补充 Cola DLM 中采样、续写、无条件似然估计与条件概率估计的严格表述。正文只给出整体框架，细节在此提供。

B.1采样与推断流程

要从 Cola DLM 生成新样本，应遵循模型定义的生成过程，而非训练时所用的近似后验路径。首先，从简单基分布采样潜种子：

其次，反向积分向量场以获得潜样本：

即从 \(z(1) = z_1\) 出发得到 \(z(0) = z_0\)。实践中可用 Euler、Heun 或更高阶 ODE 求解器。此步生成的是全局潜语义，而非词元本身。第三，解码器在潜变量条件下生成文本：

若解码器为自回归式，此步即条件自回归采样；若解码器为非自回归或双向式，则成为相应的条件恢复过程。因此 Cola DLM 的采样本质上是两阶段的：先采样全局潜变量，再在其条件下实现文本。

若任务提供前缀 \(x^{\mathrm{pre}}\)，推断先将前缀编码为条件潜变量：

然后逐块生成响应潜变量。设已生成的块为 \(\hat{z}_0^{(<b)}\)，则第 \(b\) 个响应块由

生成。随后响应被解码为

这正是正文所述的"前缀编码、逐块生成、条件解码"过程。

B.2无条件对数似然与 PPL 估计

对数据集 \(\mathcal{D}\)，若直接以 ELBO 作为 \(\log p(x)\) 的下界，可定义一个基于 ELBO 的困惑度：

其中 \(|x|\) 表示序列长度。由于 \(\mathcal{L}_{\mathrm{ELBO}}(x) \le \log p(x)\)，\(\mathrm{PPL}_{\mathrm{ELBO}}\) 应被理解为真实困惑度的上界型估计。若解码器能计算 \(\log p_\theta(x \mid z_0)\)，还可经重要性采样或 IWAE 获得更紧的似然估计。令

则 ELBO 式与 IWAE 式估计量分别为

IWAE 估计量通常更紧。当用 IWAE 评分时，对应困惑度为

若解码器本身只能提供下界，则评估只能报告基于界的 PPL，而非精确困惑度。

B.3条件概率估计与块级条件评分

在续写、多选评估与候选响应排序中，条件概率比无条件评分更重要。设一个完整样本分解为

其中 \(x^{\mathrm{pre}}\) 为给定前缀，\(x^{\mathrm{res}}\) 为待评估响应。精确条件对数概率满足

因此可对联合样本与前缀样本分别应用同一无条件估计量，再相减得到插入式（plug-in）条件估计量：

以及

须强调，(B.13) 与 (B.14) 都是插入式估计量：它们由把无条件估计量代入条件恒等式得到，并不自动从无条件估计量继承下界性质。严格说来，它们应被解读为条件对数似然的实用估计量。对块因果先验，条件估计量还可写成与架构对齐的逐块形式。设潜序列划分为前缀块与响应块：

若先验容许块级因果分解，则

在前缀潜变量 \(z^{\mathrm{pre}} := z^{(1:B)}\) 条件下，响应的条件边际为

其中 \(z^{\mathrm{res}} := z^{(B+1:B+R)}\)。对任意近似后验 \(q_\phi(z^{\mathrm{res}} \mid x^{\mathrm{pre}}, x^{\mathrm{res}}, z^{\mathrm{pre}})\)，有条件 ELBO

再对前缀潜变量的真实后验边际化，得

因此，严格的条件概率不仅需要对响应潜变量边际化，还需对前缀潜变量的后验不确定性额外积分。实践中常用两种近似：一种用 (B.12) 的"联合减前缀"估计量；另一种以编码器均值或单个编码器样本近似 \(p(z^{\mathrm{pre}} \mid x^{\mathrm{pre}})\)，再评估 (B.18)。若响应只含一个新块，上式约化为单块响应评分：

此形式对多选项评分、候选响应排序，以及分析候选间区分主要由先验项还是解码器项驱动，尤为有用。

B.4CNF 先验的数值评估与估计算法

为评估 (B.8) 中的 \(\log p_\psi(z_0^{(k)})\)，求解增广 ODE

从 \(t=0\) 积分到 \(t=1\) 得 \((z_1^{(k)}, \ell_1^{(k)})\)，于是

在高维中，散度可由 Hutchinson 迹估计器近似：

实践中通常在单次 ODE 求解内固定同一随机向量 \(\epsilon\)，以使所诱导动力学沿该轨迹保持一致。下面给出对应上述公式的两个估计量。为避免额外的包依赖，算法以可直接编译的伪代码风格书写。

算法 A.1 同时适用于 ELBO 式与 IWAE 式估计量。算法 A.2 把前者当作黑箱无条件似然估计器，经条件恒等式组合两次调用。若任务只关注单个新生成块的局部评分，则可直接用 (B.21) 对候选响应排序。

C统一马尔可夫路径视角下的比较

本附录进一步展开正文关于统一文本建模讨论背后的数学比较。核心问题不是在表面上"哪种方法更像扩散"，而是：每种方法把文本分布因子化到何种状态空间、沿何种类型的路径，以及该路径在生成中扮演何种角色？

C.1面向过程的生成模型的统一框架

为建立共同语言，考虑面向过程的生成模型的抽象定义。设

其中 \(\mathcal{S}\) 为状态空间，\(\mathcal{T}\) 为离散或连续时间。若存在满足 Chapman–Kolmogorov 关系的转移核族

则 \(Y\) 构成一个马尔可夫过程。若再指定一个发射核（emission kernel）

则文本分布可统一写为

在此框架内，AR、LLaDA、Plaid 与 Cola DLM 之间的区别并不只在于各自是否容许逐步采样算法。本质区别在于：它们在不同的状态空间上因子化文本分布，并赋予底层路径根本不同的角色。更具体地，它们至少在六个方面不同：状态空间、状态轨迹对象、转移机制、路径在生成中的角色、读出观测的时点，以及训练目标相对真实对数似然的紧度。这一统一视角表明，关键问题不是"哪种方法用了扩散"，而是"何种类型的分布复杂度被分解到何种状态空间上的何种路径"，以及"该路径是依赖观测的破坏路径，还是不依赖观测的潜先验路径"。

C.2与自回归模型的差异：为何用扩散

AR 经由链式法则直接建模文本：

其负对数似然为

因此 AR 的优势是精确的词元级似然与最直接的训练评估协议；其局限来自固定的从左到右条件顺序。在统一路径框架下，AR 可用前缀状态写出

则 \((S_i)_{i=0}^{L}\) 构成一条时间非齐次马尔可夫链，其单步转移核恰为 AR 条件分布：

因此 AR 的核心归纳偏置不仅是马尔可夫性，更在于条件被限制于唯一的前缀过滤（prefix filtration）

相比之下，Cola DLM 的模型分布并非通过固定词元顺序定义，而由潜边际化定义：

若解码器本身不是从左到右自回归的，则所得模型分布不绑定任何预设词元顺序。在此意义上，Cola DLM 的非 AR 性来自两个层面：先验 \(p_\psi(z_0)\) 由连续输运而非逐词元链式分解定义；若解码器也是非 AR 的，则生成成为"先采样全局语义潜变量、再条件实现文本"的两阶段过程。从优化视角看，两族都极小化

但它们对 \(p(x)\) 的参数化不同：AR 用链式分解，Cola DLM 用潜边际化。因此，"为何用扩散"的严格含义不是回避极大似然，而是经由更具表达力的连续先验族改进 \(p_\psi(z_0)\) 对聚合后验的拟合。这可被精确量化。对任意两个候选先验 \(p_a\) 与 \(p_b\)，

因此，只要流 / CNF 先验比简单高斯先验更接近 \(\bar{q}_\phi(z_0)\)，它就改进平均 ELBO。

C.3与离散去噪语言模型的差异：为何用连续

诸如 LLaDA 的离散去噪语言模型直接在词元空间运作。典型训练目标可写为

并满足

因此，LLaDA 在随机掩码比例下经由逆向恢复学习一个词元空间分布。其优势是没有显式编码器、没有潜瓶颈；其局限是始终停留在离散状态空间。更精确地，LLaDA 的前向掩码过程可嵌入一个连续时间马尔可夫链。对单个词元，设状态空间为 \(\mathcal{V} \cup \{M\}\)，定义生成元

其中 \(a \in \mathcal{V}\)。则从任意非掩码状态到吸收态（掩码态）的转移概率为

若把右端等同于 \(t \in [0,1]\)，便恢复 (C.13) 所用的"每个词元以概率 \(t\) 被掩码"的前向核。因此，LLaDA 可被严格理解为在离散状态、向掩码态吸收的 CTMC 上的逆向恢复问题。相比之下，Cola DLM 在连续潜空间中建模 \(p_\psi(z_0)\)，而非在词元空间做离散扩散。这一连续表述提供三个严格优势：其一，连续时间换元给出显式对数密度，即 (A.13)；其二，欧氏空间中的向量场回归允许用流匹配直接学习先验几何；其三，连续潜变量天然支持插值、梯度引导与表示编辑。因此，"为何用连续"的含义并非"连续表示本质上优于离散"，而是：相较离散词元空间的破坏模型，连续潜空间允许对概率几何与可逆输运给出更直接的刻画。这是否带来实际增益，仍取决于连续结构是否与数据的低维语义组织相对齐。

C.4与 Plaid 的差异：为何用潜变量

Plaid 也是一种连续方法，但它把"与原序列贴近、词元对齐"的表示连续化，而非显式的语义潜变量。典型前向过程可写为

其中 \(\tilde{x} = \mathrm{Embed}(x)\)。因此当噪声水平趋于零时，Plaid 的状态仍紧附于观测空间。相比之下，Cola DLM 经由

显式地把全局语义表示与文本实现分离。这一区别不仅关乎"在何处引入连续性"，更关乎"模型如何被因子化"。若进一步令

且 \(E(x)\) 近乎可逆，则 Cola DLM 退化到 \(z_0\) 几乎只是原序列连续化表示的极限情形。该极限厘清了结构关系：Plaid 更接近 Cola DLM 的"近观测、非压缩"极限，而 Cola DLM 真正新颖的成分是潜分解本身。这一差异的数学核心由 (A.28) 中平均 ELBO 的信息分解刻画：表示学习在 Cola DLM 中分为三部分——条件重建项控制给定潜变量下的文本实现，互信息 \(I_q(X; Z_0)\) 控制保留多少关于文本的全局信息，聚合后验与先验间的 KL 控制先验匹配的难度。正因引入了这一显式潜变量，模型可把全局规划、主题与风格约束编码进 \(z_0\)，而将局部词元实现委托给解码器。因此，"为何用潜变量"的严格答案是：潜变量并非离散对象的连续松弛，而是一个显式参与边际化的中间随机变量，使文本生成问题可分解为"先验建模 + 条件实现"。唯有当数据确实蕴含低码率却高价值的语义结构时，这一分解才带来统计收益；该问题在附录 D 进一步分析。

C.5为何 Cola DLM 不只是潜空间逆扩散语言模型

为避免概念混淆，现把区别说得更精确。设狭义的潜扩散 LM 定义如下：先在潜状态上指定一个数据条件的前向加噪过程

再学习其逆过程，以逐步恢复用于文本生成的潜状态。这类模型的核心结构因此是对一个"数据条件前向破坏过程"的逆转。在此狭义定义下，Cola DLM 并非简单的潜逆扩散 LM。其一，Cola DLM 中的连续路径在于先验输运：

该路径首先描述如何从简单高斯在潜空间中生成语义先验样本；生成时它不依赖任何特定观测 \(x\)。相比之下，Plaid 与 LLaDA 的前向路径描述的是给定样本 \(x\) 如何被扰动到高噪状态。因此，尽管三者都可被描述为路径模型，Cola DLM 的路径是先验输运，而 Plaid 与 LLaDA 的路径是数据破坏。其二，在 Cola DLM 中编码器只出现在变分推断中：

它不参与生成过程 (C.21)，因此属于变分后验。而在 Plaid 与 LLaDA 中，前向过程 \(q\) 是模型定义的一部分，因为逆模型正是针对该破坏律训练的。简言之，前者的 \(q\) 属于推断，后者的 \(q\) 属于模型构造。最后，Cola DLM 的边际分布始终由分层潜变量恒等式定义

因此严格说来，Cola DLM 首先是一个带 CNF 先验的分层潜变量语言模型；流或扩散只是使先验族更具表达力的手段，而非模型本身的全部。

D理论优势、适用性与局限

最后，我们在统一的理论判据下比较 Cola DLM 与 AR、LLaDA、Plaid。目标不是论证"更复杂的模型理应更强"，而是追问：在何种条件下可期望 Cola DLM 更优，在何种条件下可期望它更差。

D.1统一的总体级比较判据

对任意模型类 \(\mathcal{M}\)，定义其相对真实数据分布 \(p_{\mathrm{data}}(x)\) 的不可约逼近误差为

该量度量了即便忽略有限样本效应与优化误差后，模型类不可避免的最佳失配。对任意以精确负对数似然训练的模型，有标准恒等式

其中 \(H(p_{\mathrm{data}}) := -\mathbb{E}_{p_{\mathrm{data}}(x)} \log p_{\mathrm{data}}(x)\) 为数据熵。因此，对精确 NLL 模型，比较理论极限等价于比较 \(\mathcal{E}(\mathcal{M})\)。AR 属于此类，其总体风险为

相比之下，Cola DLM 经 ELBO 训练，故对每个样本

对数据分布取期望得

其中

为推断间隙。类似地，Plaid 的变分目标可写为"真实 NLL + 逆向/路径后验间隙"，LLaDA 的掩码去噪目标可写为"真实词元空间 NLL + 替代间隙"。于是四个模型类可统一为

因此，理论优越性并不仅由模型复杂度推出，而取决于总统计负担是否更小。定义 Cola DLM 的总统计负担为

并为 AR、Plaid、LLaDA 定义类似量。则在总体级别上，Cola DLM 优于某比较类当且仅当其总统计负担更小。例如，

这给出了一个统一而严格的比较判据。

D.2率失真与潜瓶颈的适用性边界

统一判据仍留下一个更深的问题：为何潜分解在某些情形能降低模型失配、在另一些情形却损害建模？答案来自条件熵、互信息与率失真结构。对任意编码器 \(q_\phi(z_0 \mid x)\) 与解码器 \(p_\theta(x \mid z_0)\)，在联合分布 \(q(x, z_0) = p_{\mathrm{data}}(x) q_\phi(z_0 \mid x)\) 下恒有

由互信息恒等式

并结合 \(q(x) = p_{\mathrm{data}}(x)\)，可得

因此重建代价满足

这表明：若 \(I_q(X; Z_0)\) 小，则潜变量保留的文本信息少，最佳可达重建损失的下界随之升高；若 \(I_q(X; Z_0)\) 足够大，则给定潜变量后解码器能更易实现文本。为进一步形式化，定义表示率失真函数

它表示当潜通道至多传输 \(R\) 奈特（nats）关于文本的信息时，可达的最小平均重建代价。若对给定数据分布，\(D(R)\) 在较小 \(R\) 处就迅速降至低水平，则数据容许低码率却高价值的潜表示，潜瓶颈更可能有益；若只有当 \(R\) 接近 \(H(X)\) 时重建误差才显著下降，则数据近乎不可压缩，潜瓶颈更可能成为额外负担。因此，Cola DLM 是否从瓶颈获益，最终由数据自身的率失真曲线支配：若全局主题、规划、风格与约束占据相对低的信息率却强烈决定最终实现，则把它们编码进 \(z_0\) 是高效的；若几乎每个词元级细节都不可约，则潜压缩不带来真正的统计收益。

D.3结构化生成区制：Cola DLM 何时更契合真实机制

为把上述直觉再形式化一步，考虑如下结构化生成假设：存在全局变量 \(G\)，使真实数据分布可写为

其中 \(G\) 决定主题、规划、篇章结构、风格或其他全局约束，\(p^\star(x \mid g)\) 把这些全局因子实现为具体文本。若另有

则数据处于由低维却高价值潜因子主导的有利区制。在此区制下，Cola DLM 的归纳偏置更契合真实生成机制：编码器从 \(x\) 恢复关于 \(G\) 的后验信息，先验学习一个接近 \(p^\star(g)\) 的全局语义分布，解码器学习在全局因子条件下的文本实现。换言之，Cola DLM 的潜在优势并非来自更复杂，而来自把一个困难问题拆为两个更契合的子问题：

若编码器能以较小推断间隙恢复关于 \(G\) 的信息、\(p_\psi(z_0)\) 能逼近 \(G\) 对应的聚合潜分布、\(p_\theta(x \mid z_0)\) 能良好逼近条件实现，则 Cola DLM 的统计负担主要由低维全局因子的建模复杂度决定，而非完整表层序列的复杂度。这正是它可能优于 AR、LLaDA 与 Plaid 的根本来源。

D.4三条曲线、理论优势与局限

在相反区制——即 (D.16) 不成立时——Cola DLM 可能系统性地逊于更直接的建模路线。典型不利情形包括：不存在低码率充分表示、局部表层形式本身承载主要语义，或强词元空间模型已然足够。在这些情形中，Cola DLM 的额外代价主要来自三个来源：

因此，Cola DLM 的成败可约化为三条曲线之间的竞争：表示率失真曲线 \(D(R)\)、先验逼近曲线，以及推断间隙曲线 \(G^{\mathrm{infer}}_{\mathrm{Cola\ DLM}}\)。唯有三者都偏向 Cola DLM 时，潜分解才成为真正的理论优势。这些结论可更直接地总结如下。

若编码器很差，模型将付出系统性的似然代价。潜瓶颈还引入后验坍缩风险：若解码器过强、潜维过小或正则过强，则 \(I_q(X; Z_0)\) 可能过小，编码器可能停止传输有用信息。此外，精确评估 \(\log p_\psi(z_0)\) 往往需要 ODE 积分与散度估计，使评估比 AR 模型更昂贵。重要的是，Cola DLM 的潜在优势并不会因使用潜变量与流而自动成立——它依赖于"数据含有有利的低维语义潜结构"这一归纳假设，而这需要实验来验证。

E全局语义结构的存在性

本节目标是建立一个可证伪的零假设，并据此表明：若潜表示仅由纯局部、可分离的成分构成，则最优时间平移不应随潜维变化呈现系统性漂移。随后我们将实验观测到的平移漂移与该零假设对照，从而就共享结构的存在性得到更稳健的结论。为避免把可严格建立的结论与为解释而引入的结构模型相混淆，我们先给出一个抽象的零假设。

其中所有 \(j_i\) 在同一点取得最优。更强地，若同质性精确成立，则存在公共函数 \(j\) 与常数 \(a_d > 0, b_d\)，使

假设 E.1 不预设任何特定网络架构；它描述的是"语义完全由相互独立的局部维度承载"这一理论极限。在该极限下，改变潜维至多调整整体目标的尺度，但不应改变最优平移的位置。

命题 E.2 的关键结论是：可严格建立的是——若不存在影响语义的共享或联合结构，则最优平移不应随潜维系统性漂移。

推论 E.3 的结论边界清晰：它直接排除"潜空间纯局部可分离"的假设。因此，可严格导出的结论是——潜表示中必存在某种跨维共享或联合结构。若进一步欲把该结构解读为全局语义因子，则需要额外的建模假设与实验证据。

信息论视角下的等价表述。 上述结论可在信息论术语下一致地重述。设 \(s\) 为与高层语义关联的潜变量，\(z\) 为 VAE 潜变量。则扩散前向过程可写为

其中 \(\alpha_t, \sigma_t\) 由噪声调度决定。若进一步把潜变量分解为

其中 \(\phi(s)\) 为语义变量诱导的有效信号、\(u\) 为编码残差或后验不确定性，则 DiT 在时刻 \(t\) 接收到的观测成为

因此，对 DiT 要紧的并非原始时刻本身，而是在该时刻潜变量中仍保留多少关于 \(s\) 的有效信息。在假设 E.1 下，若语义完全由局部独立维度承载，即 \(s = (s_1, \ldots, s_d), z = (z_1, \ldots, z_d)\)，且各通道跨维独立同分布，则互信息的可加性给出

若每个局部通道就平移具有相同的信息曲线，则改变 \(d\) 只线性缩放总互信息，而不改变"哪个平移把有效信息置于最适合语义恢复的范围"。从这一信息论视角看，命题 E.2 的实质是：在纯可分离表示下，改变维度不改变对应最优语义信息区制的平移。反之，若最优平移随 \(d\) 系统性漂移，则 (E.8) 对应的纯可加信息结构不再成立。这表明潜变量中的有效语义信息并非一组完全同质局部子通道之和，而更可能依赖某种只在跨维聚合后才浮现的共享结构。

共享因子模型与平移缩放律的解释。 为进一步解释系统性漂移为何可能呈现类似 Stable Diffusion 中分辨率依赖平移的模式，我们引入一个更强但分析上方便的结构模型。设每个潜维可写为

其中 \(g \in \mathbb{R}^r\) 为低维共享因子，\(A_i\) 为线性观测矩阵，\(\xi_i\) 为局部独立噪声。这里 \(g\) 可理解为抽象的共享语义状态，并不假设它是单一标量。在最简设定下，设 \(A_i \equiv A\) 且 \(\xi_i \sim \mathcal{N}(0, \sigma_\xi^2 I)\) 跨维独立。线性高斯模型的标准结果表明：随潜维 \(d\) 增大，\(g\) 的后验精度线性增长，后验协方差以 \(d^{-1}\) 收缩。等价地，恢复共享因子的有效信噪比满足

从信息论看，这意味着关于共享因子 \(g\) 的可恢复信息随 \(d\) 增加。更具体地，若扩散时刻 \(t\) 处的总有效噪声方差记为 \(\sigma_{\mathrm{eff}}^2(t)\)，则关于 \(g\) 的互信息可写为

在标量或各向同性近似下，进一步约化为

其中常数 \(c > 0\) 由观测矩阵与共享因子的先验协方差决定。若平移 \(\delta\) 的作用等价于平移去噪过程的 log-SNR，且语义恢复性能主要由"共享因子的有效 log-SNR 是否落入适当范围"决定，则维持最优语义恢复所需的平移必须补偿 (E.10) 或 (E.12) 诱导的维度依赖。这导致形如

的对数关系，其中 \(a\) 的符号取决于具体时间参数化与定义平移所用的约定。

与 VAE logSNR 的关系。 上述分析还解释了另一经验现象：即便潜维固定，当 VAE 后验的 logSNR 改变时，最优时间平移仍可能变化。原因在于 VAE 并非无噪编码器。在 (E.6) 中，\(u\) 恰表示后验不确定性。若时刻 \(t\) 固定，则关于语义变量的总噪声协方差为

当 VAE logSNR 下降时，通常意味着后验方差增大，即 \(\Sigma_u\) 变大。于是在同一原始时刻，潜变量中保留的有效语义信息

整体下降。换言之，在后验方差更大、更平滑的潜空间中，同一扩散时刻对应更低的有效语义 SNR。因此，为使训练与采样保持在相似的最优语义信息区制，时间平移也必须被重新标定。这表明：改变潜维与改变 VAE logSNR 表面上是两种不同操作，但从信息论看它们作用于同一核心对象——语义变量沿扩散时间的有效互信息曲线 \(I(s; z_t)\)。前者主要改变共享信息如何跨维聚合与放大，后者主要改变每个时刻的有效噪声底；两者都能使最优信息区制沿原始时间轴漂移。

为何这进一步指向语义结构。 推论 E.3 本身只蕴含共享或联合结构的存在，尚未确立该结构必然承载语义信息。要把结论强化为"影响语义的共享结构"，需要任务级的选择性证据。一个特别有信息量的情形是：(1) 重建质量在不同平移下保持相对稳定；(2) 语义下游指标对平移高度敏感；(3) 最优平移随潜维系统性漂移。若三者同时成立，则不再能仅以"平移改变了局部词元实现的难度"来解释该现象。更合理的解读是：平移在调整潜先验相对某种共享高层结构的噪声标定，而该共享结构恰参与语义组织。从信息论立场看，这意味着改变平移并不实质改变解码器恢复局部细节的能力，却实质改变扩散过程中高层任务所需共享信息的保留区制。因此，被重新标定的更可能不是局部重建误差，而是更高层次的互信息的语义成分。换言之，若重建始终很强而语义指标显著变化，则主要受影响的量不是解码器的局部实现能力，而是潜先验与高层共享信息的对齐。结合上述矛盾结果，便得到一个更强却仍稳健的结论：潜空间含有影响语义的共享或联合结构。

F似然估计偏差的理论分析

本节对正文 5.1 节讨论的现象给出更完整的理论分析。核心问题是：为何 Cola DLM 在自由生成设定下已能生成相当高质量的文本，而经 ELBO 或插入式条件估计量估得的 PPL / 条件评分却仍显著偏高。我们论证这并非偶然的工程伪影，而是连续潜生成模型中"训练目标、底层概率对象与局部几何"三者失配的结构性后果。为避免把"整段响应的条件边际概率"与"在某一特定潜点评估的局部先验密度"相混淆，全节显式区分以下两个对象。设 \(x = (x^{\mathrm{pre}}, x^{\mathrm{res}})\)，其中 \(x^{\mathrm{pre}}\) 为前缀 / 上下文、\(x^{\mathrm{res}}\) 为响应，\(c\) 记前缀诱导的条件信息。则精确条件边际概率为

而对应正文响应级评分的局部条件评分为

(F.1) 是精确条件边际似然，(F.2) 是分析中更易获得的局部估计量。两者之间的间隙正是后续讨论的概率基础。

F.1为何流匹配训练目标与条件 PPL 天然失配

F.1.1　流匹配优化的是向量场回归，而非特定金标的局部对数密度。 固定编码器与解码器后，先验学习子问题可理解为把 \(p_\psi(z \mid c)\) 拟合到由数据与后验联合诱导的条件潜分布。但实践中流匹配并不直接最大化某一金标潜点处的条件对数密度，而是学习一个时变向量场 \(v_\psi(z, t, c)\)。其典型目标可写为

其中 \(U^\star\) 为桥接路径或参考流诱导的目标速度场。(F.3) 表明流匹配直接回归一个动力系统，而非特定金标潜点处的局部条件对数密度。更重要的是，平方损失的逐点最优并非寻峰意义下"最可能"的速度场，而是条件均值速度场。

命题 F.1 的含义直接：流匹配学习的是条件均值动力学，而非专门针对某一响应后验管道的金标局部标定。只要给定上下文下的条件响应分布本身多峰或宽峰，流匹配便更自然地偏向学习一个"把总概率质量移入合理区域"的平均输运映射，而不自动保证在某一特定样本附近的局部密度标定。

F.1.2　为何先验均值可能远离金标而生成仍好。 此点可在多峰条件分布下形式化。对固定上下文 \(c\)，设

且对某一特定样本，其后验主要集中于第 \(m^\star\) 个峰，即

则先验的全局均值为

因此，先验均值与金标潜变量之间距离大，并不自动意味着先验未能学到分布。更可能的解释往往是：上下文级条件分布本身多峰，而后验只在其中选择了一个更窄的金标峰。

F.2为何这进一步导致生成好而 PPL 差

F.2.1　生成质量与条件 PPL 对应两个不同的几何对象。 固定上下文 \(c\)，设 \(r(x^{\mathrm{res}}; c)\) 为某外部生成质量函数，\(\tau\) 为阈值。定义解码器良好区域为

并对特定样本 \(x\) 与常数 \(\rho > 0\)，定义其后验典型集为

若 \(A^\rho_x\) 又窄又锐，可称之为该样本的金标管道。一般而言 \(A^\rho_x\) 只是 \(A^{\mathrm{good}}_\tau(c)\) 内部更局部、更锐的子集：

这一区别表明"生成好"与"条件 PPL 好"并非同一要求。

命题 F.3 的实质是：生成质量主要要求先验质量进入 \(A^{\mathrm{good}}_\tau(c)\)，而条件 PPL 额外要求先验在某一金标响应的后验管道上赋予足够高的局部密度。前者是覆盖（coverage）要求，后者是标定（calibration）要求。

F.2.2　为何重建好不蕴含 PPL 好。 (F.2) 还可写为

这表明在连续潜语言模型中，在金标附近重建好并不足以蕴含 PPL 好；真正决定 PPL 的还包括后验与先验之间局部匹配的程度。

F.3即便先验均值接近金标，PPL 仍可能差

上一小节厘清了"大区域覆盖"与"金标管道标定"的区别。然而即便进一步把问题限制到"先验中心已大致与目标对齐"的情形，PPL 仍可能差，原因是局部协方差、朝向、曲率与体积项也进入条件评分。

F.3.1　局部高斯近似下，中心对齐必要但不充分。 设在金标样本邻域内

则对应 KL 散度为

因此，在连续密度模型中，断言"只需把先验均值移近金标潜变量即可"是错误的。PPL 要求更强形式的局部概率标定：不仅中心要接近，局部协方差、局部体积与局部朝向也都须匹配。

F.3.2　过锐的后验进一步放大此问题。 若后验高度集中以致 \(\Sigma_q\) 很小，则 (F.20) 中的尺度与体积项变得更敏感。直觉上，金标后验不再是厚区域，而更像一条极细的管道。在此区制下，先验的轻微偏离便可诱导显著放大的局部对数密度间隙。因此，

但

这也解释了为何在连续潜语言模型中，PPL 的行为更像一个局部密度标定指标，而非仅仅是生成质量指标。

F.4为何 PPL 与生成在 AR / LLaDA 等离散模型中通常相关更强

F.4.1　AR：训练、评估与生成共享同一离散概率对象。 对自回归模型，条件分布有精确链式分解

因此 PPL 为

训练时极小化的下一词元交叉熵恰是 (F.24) 中各项的负对数，而生成也直接查询这些相同的条件概率。因此在 AR 模型中，

这正是 PPL 与生成质量在自回归模型中通常相关最强的原因。

F.4.2　离散模型更直接地优化正确事件的概率质量。 对离散分类器，若某位置金标词元为 \(y\)、模型输出概率向量 \(\pi \in \Delta^{V-1}\)，则交叉熵为

此处直接优化的是赋予正确事件本身的概率质量。相比之下，Cola DLM 需要在连续潜空间上计算积分：

相应地，其值不仅依赖峰中心是否正确定位，还显式依赖局部体积与曲率。若对 \(F_{x,c}(z) := \log p_\theta(x^{\mathrm{res}} \mid z, c) + \log p_\psi(z \mid c)\) 在其极大值点作 Laplace 近似，则

其中 \(H_{x,c} := -\nabla_z^2 F_{x,c}(z^\star_{x,c})\)。这表明连续潜模型中的条件似然不仅依赖峰高，还依赖局部几何。因此，更准确的表述不仅是"离散模型本质更简单"，而是：离散模型中训练、评估与生成都更直接作用于同一离散概率对象，而连续潜模型还额外经由潜空间积分、后验—先验匹配与解码器发射兼容性这几重中介。

F.4.3　LLaDA：主要差异源于离散观测层面，而非潜标定层面。 LLaDA 与 AR 并不相同，但相较 Cola DLM，其恢复对象仍是离散观测状态本身，而非"先把样本依赖后验编码为连续潜变量、再要求一个独立条件先验逐点匹配它"。因此，尽管 LLaDA 也可能呈现替代间隙，其主要差异仍集中于离散词元空间内，而非 Cola DLM 特有的后验—先验密度碰撞。正因如此，PPL 与生成的相关在 LLaDA 中通常仍强于连续潜模型。

G噪声调度、logSNR 与流匹配的统一理论视角

本节把前文关于噪声调度、流匹配、潜维依赖平移漂移与语义信息标定的讨论，整合为一条统一的理论链。关键问题不是"为何某个经验超参起作用"，而是：噪声调度在 Cola DLM 中控制何种数学对象，以及该对象如何进入训练目标并最终影响语义建模质量。具体地，我们建立以下四点：(1) 噪声调度与 logSNR 曲线是同一前向加噪过程的两种等价参数化；(2) 在流匹配中，logSNR 对损失的影响既经由期望内采样测度的改变、也经由监督目标速度场的尺度改变；(3) 均匀时间步训练一般不等价于均匀 logSNR 训练；(4) 最优时间平移的本质角色不是平移一个抽象时间标签，而是把训练与采样重新标定到更合适的有效语义信息区制。

G.1噪声调度与 logSNR 作为等价参数化

从全文与附录所用的标准前向过程出发：

其中 \(\alpha_t, \sigma_t\) 由噪声调度决定。信噪比自然定义为

在标准归一化 \(\alpha_t^2 + \sigma_t^2 = 1\)（G.3）下，有

因此，指定 \(\lambda(t)\) 唯一决定 \((\alpha_t, \sigma_t)\)，反之 \((\alpha_t, \sigma_t)\) 唯一决定 \(\lambda(t)\)。在此精确意义上，

故二者并非经由损失的某种二次变换相联系，而只是同一前向加噪几何的两种等价参数化。现考虑平移后的 logSNR 曲线

对应信号与噪声系数成为

因此时间平移的角色不仅是平移原始时间轴，而是把同一原始时间步重映射到不同的 logSNR 区制：

G.2流匹配目标的重参数化

如前所述，Cola DLM 的严格概率目标始终是 ELBO 最大化连同先验匹配，而流匹配是学习同一先验族的实用机制。要理解噪声调度如何进入训练，因此只需分析均方向量场回归目标。为避免与 (G.1) 中系数 \((\alpha_t, \sigma_t)\) 记号冲突，设桥接路径的插值系数记为 \(\beta(t)\)。考虑

并把单块流匹配目标写为

等价地，

现令 \(\lambda = \Lambda(t) := \log \mathrm{SNR}(t)\)（G.12），并设 \(\Lambda\) 严格单调可微，使逆映射 \(t = T(\lambda) = \Lambda^{-1}(\lambda)\) 存在。由换元公式 \(dt = \frac{dt}{d\lambda} d\lambda\)（G.13），得

因此，若训练均匀采样 \(t\)，则在 logSNR 轴上诱导的密度为

这里用到 \(p_t(t) \equiv 1\)。

上述命题只表明：经 logSNR 重参数化后，期望内的采样测度改变。这还不是全部。监督目标速度场本身在新时间坐标下也会重新缩放。令 \(z_\lambda := z_{T(\lambda)}, u_\lambda := \frac{dz_\lambda}{d\lambda}\)（G.17）。则由链式法则，

把此恒等式代入损失得

因此 logSNR 以两种不同方式影响流匹配损失：(1) 改变期望内赋予不同噪声区制的采样权重；(2) 重新缩放监督目标速度场的数值幅度。若进一步定义 \(\lambda\)-时间向量场 \(\tilde{v}_\psi(z, \lambda) := \frac{1}{\dot{\lambda}(T(\lambda))} v_\psi(z, T(\lambda))\)（G.20），则 (G.19) 可重写为

其中有效权重为 \(w_{\mathrm{eff}}(\lambda) = \frac{d\lambda}{dt}\)（G.22）。

G.3信号—噪声参数化下的等价推导

为与 (G.1) 保持一致，直接从信号—噪声系数 \((\alpha_t, \sigma_t)\) 导出同一缩放关系是有益的。由 (G.4)，\(\alpha_t^2 = \mathrm{sigmoid}(\lambda(t)), \sigma_t^2 = \mathrm{sigmoid}(-\lambda(t))\)。对 \(\alpha_t^2\) 关于 \(t\) 求导得 \(\frac{d}{dt}\alpha_t^2 = \alpha_t^2 \sigma_t^2 \dot{\lambda}(t)\)（G.23），因此

类似地，\(\dot{\sigma}_t = -\frac{1}{2}\sigma_t \alpha_t^2 \dot{\lambda}(t)\)（G.25）。对 (G.1) 求导则得

若定义 \(u_\lambda := \frac{dz_t}{d\lambda} = \frac{1}{2}\!\left(\alpha_t \sigma_t^2 z - \sigma_t \alpha_t^2 \epsilon\right)\)（G.27），则再次得到 \(u_t = \dot{\lambda}(t)u_\lambda\)（G.28）。因此，无论从抽象桥接路径参数化出发，还是直接从扩散的信号—噪声参数化出发，同一结论都成立。

G.4最优调度作为有效语义信息区制的标定

表明调度影响损失尚不充分。更重要的问题是：潜空间中最终被标定的是何种有意义的对象？沿附录 E 的记号，设 \(s\) 为高层语义变量，把潜表示分解为 \(z = \phi(s) + u\)（G.29），其中 \(\phi(s)\) 为语义信号、\(u\) 表示后验不确定性或编码残差。则扩散时刻 \(t\) 的含噪潜变量为

从语义变量 \(s\) 的视角看，总噪声协方差为

其中 \(\Sigma_u\) 为后验不确定项的协方差。若 \(\Sigma_s\) 记语义信号 \(\phi(s)\) 的协方差，则时刻 \(t\) 潜变量中保留的关于 \(s\) 的有效信息可写为

这表明，对 DiT 要紧的不是原始时间步本身，而是该时刻潜变量中保留了多少有效语义信息。在此意义上，

因此，时间平移的角色不应被解读为对一个孤立数值超参的调节，而应被解读为把训练与采样重新标定到不同的有效语义信息区制。更抽象地，若平移后的 logSNR 曲线为 \(\lambda_\delta(t) = \lambda(t) + \delta\)，则最优平移可表示为

其中 \(d\) 为潜维，\(\Sigma_u\) 为后验不确定性，\(G\) 为潜几何或语义平滑性，\(B\) 为块大小，\(\vartheta\) 为模型参数集合。因此，选择最优噪声调度的问题，最好被理解为有效语义信息标定问题，而非孤立的数值调参问题。

G.5为何潜维与 VAE logSNR 会移动最优点

上述视角与命题 E.2 及推论 E.3 一致。若潜表示纯局部、可分离且跨维同质，则最优平移不应随维度系统性漂移。当经验上观测到稳定漂移时，自然的解读是：潜维与 VAE 后验 logSNR 都修改了 (G.32) 中的有效语义信息曲线。

潜维。 在共享因子模型 \(z_i = A_i g + \xi_i,\ i = 1, \ldots, d\)（G.35）下，若不同潜维反复观测同一低维共享因子 \(g\)，则标准线性高斯推断表明有效恢复信噪比按 \(\mathrm{SNR}_{\mathrm{eff}}(d) \propto d\)（G.36）缩放。因此关于共享因子的可恢复信息满足近似 \(I(g; z_t) \approx \frac{r}{2}\log(1 + c\cdot d\cdot\mathrm{SNR}_{\mathrm{eff}}(t))\)（G.37）。这意味着增大潜维可增强关于共享语义结构的可恢复信息。为使训练保持在可比的语义恢复区制，时间平移须补偿该维度效应，从而自然导致对数律 \(\delta^\star(d) = a\log d + b\)（G.38）。

VAE 后验 logSNR。 另一方面，降低 VAE 的后验 logSNR 通常对应增大后验方差，即扩大 \(\Sigma_u\)。由 (G.32)，对固定 \(t\)，增大 \(\alpha_t^2 \Sigma_u + \sigma_t^2 I\) 会降低有效语义互信息。因此，在后验方差更大、更平滑的潜空间中，同一原始时间步对应更低的有效语义 SNR。为使训练与采样对齐到可比的语义信息区制，最优平移须相应改变。这表明：改变潜维与改变 VAE 后验 logSNR 表面上是两种不同操作，但从信息论看它们作用于同一核心对象——沿扩散时间的有效语义信息曲线 \(I(s; z_t)\)。前者主要改变共享信息如何跨维聚合放大，后者主要改变每个时刻的有效噪声底。

H实验细节

H.1数据集介绍

LAMBADA。 LAMBADA [74] 是一个长上下文词预测基准，用于评估模型能否利用广泛的语篇上下文进行文本续写。其目标词通常难以仅凭局部上下文推断，而需要理解分布在前文段落中的信息。在我们的实验中，LAMBADA 作为代表性的续写式（continuation-style）基准，用于评估全局语义建模与长程上下文连贯性。

MMLU。 MMLU [33] 是一个多任务多项选择基准，覆盖人文、社会科学、STEM 与专业领域等广泛主题，被广泛用于评估宽泛的事实性知识与推理能力。在我们的实验中，MMLU 作为代表性的知识密集型基准，用于评估在多项选择设定下生成答案的质量。

SIQA。 SIQA [82]（Social IQa）是一个聚焦社会情境、意图与反应的多项选择常识推理基准。每个样例要求在给定简短社会上下文的条件下选出最合理的答案。我们用 SIQA 评估模型能否捕捉植根于社会的语义并进行连贯的常识推断。

SQuAD。 SQuAD [78] 是一个阅读理解基准，模型需基于给定段落回答问题。在我们的评测中，它以生成式设定使用，用于考察模型能否在上下文证据条件下产生准确答案。该基准以开放形式文本生成能力的测试，补充了多项选择类任务。

Story Cloze。 Story Cloze [68] 是一个故事理解基准，要求模型为四句故事上下文选择最合理的结尾，主要评估叙事连贯性、因果推理与常识理解。我们将其纳入，作为语篇级语义一致性的基准。

OBQA。 OBQA [64]（OpenBookQA）是一个多项选择问答基准，旨在测试核心科学事实与更广泛常识知识的结合。许多问题需要超越直接事实回忆的多跳推理。在我们的实验中，它用于评估在受限答案空间下的知识整合与推理。

RACE。 RACE [48] 是一个大规模多项选择阅读理解基准，采集自面向初高中学生的英语考试。其问题往往需要段落理解、推断与推理，而非简单的片段抽取。我们用 RACE 评估更具挑战性的阅读理解与答案选择能力。

HellaSwag。 HellaSwag [107] 是一个面向情境常识推理与句子续写的多项选择基准，任务是在若干对抗性构造的候选中选出最合理的续写。它被广泛视为常识与语义合理性的有力测试，在此用于评估模型区分连贯续写与干扰项的能力。

本工作中的使用方式。 对于第 4.2、4.3、4.4 节的内部组件分析，出于效率与受控比较的考虑，我们在 LAMBADA、MMLU、SIQA 测试集的随机子集上开展实验。对于第 4.5 节更广泛的外部比较，我们另外在 SQuAD、Story Cloze、OBQA、RACE 与 HellaSwag 测试集上评测，以在续写、阅读理解、知识密集型推理与常识推理等任务上提供更全面的评估。

H.2基线细节

对于第 4.2、4.3、4.4 节的内部组件分析，比较均在 Cola DLM 自身的不同配置之间进行，因此这些小节不引入外部基线。外部基线主要用于第 4.5 节的规模化比较。

自回归基线。 我们以标准自回归语言模型作为主要参考基线。该模型基于官方 LLaMA 框架 [92] 实现，并以随机初始化从零训练。它采用常规的下一词元预测目标，作为代表性的强解码器-only 自回归范式。为确保公平比较，自回归基线在数据来源、分词器、训练预算、模型规模与优化配方等方面尽可能与 Cola DLM 严格对齐。

离散扩散基线（LLaDA）。 作为离散扩散基线，我们使用 LLaDA [70]，以其官方代码库实现并同样从零随机初始化训练。该基线代表离散扩散语言建模范式，即在离散词元空间中通过迭代去噪进行生成。在规模化实验中，LLaDA 与自回归基线及 Cola DLM 在相同的总体实验协议下训练，包括匹配的训练数据、分词器、算力预算与模型规模，使比较聚焦于建模范式的差异，而非训练资源或实现细节的差异。

比较的公平性。 对于第 4.5 节的所有外部比较，自回归基线、LLaDA 与 Cola DLM 均在严格匹配的设定下独立训练。特别地，所有模型均从零训练而非从预训练检查点初始化，并尽可能对齐训练语料、参数规模与算力预算。因此，所报告的差异主要反映底层建模框架的性质，而非由数据、初始化或训练配方引入的优势。

H.3指标与评测

为确保跨模型族尽可能公平的比较，所有模型均在统一的少样本（few-shot）生成式协议下评测。如第 5.1 节所述，我们不以困惑度作为主比较的首要指标，因为面向似然的估计可能与 Cola DLM 的实际生成质量出现显著失配。取而代之，所有模型均被提示在固定模板下直接生成任务答案，性能则在统一的后处理与答案匹配之后计算。

在所有任务中，我们使用手工撰写、跨模型族共享且与评测集不重叠的上下文示例（in-context demonstrations）。除非另有说明，模板采用 2-shot 提示。对于多项选择任务，选项始终以大写标记（如 (A)、(B)、(C)、(D)）呈现，选项数量按各基准动态调整。重要的是，模型始终被要求生成选项的文本本身而非选项标签，使所有任务遵循同一生成式评测协议。每个提示以任务相关的锚点（如 Answer: 或 End:）结尾，且不附加额外的换行，使模型从同一续写起点直接续写。

对于所有多项选择基准，生成的输出在首个换行处截断，并在评分前归一化。随后我们将归一化的预测与所有候选选项文本比较，映射到最佳匹配候选。当且仅当所选候选与标准答案一致时，预测才被计为正确。对于 LAMBADA 这类续写式生成，模型直接续写给定前缀，并取首个生成的词作为预测。对于 SQuAD，我们遵循同一统一生成式协议，在标准归一化后评估生成的短答案。除非另有说明，模板、示例、截断规则与答案匹配规则对 AR、LLaDA 与 Cola DLM 均保持一致；唯一区别在于各模型采用的原生生成过程。

提示格式汇总。 表 7 汇总了各基准所用的提示格式。

MMLU。 MMLU 作为四选一多项选择生成任务评测。提示包含两个上下文示例，随后是测试问题及其四个候选选项，模型需生成正确选项的文本。

Question: Which gas do plants absorb from the air during photosynthesis?
(A) Oxygen
(B) Carbon dioxide
(C) Nitrogen
(D) Hydrogen
Answer: Carbon dioxide

Question: A triangle has angles 50 degrees and 60 degrees. What is the third angle?
(A) 60 degrees
(B) 70 degrees
(C) 80 degrees
(D) 90 degrees
Answer: 70 degrees

Question: {question}
(A) {choices[0]}
(B) {choices[1]}
(C) {choices[2]}
(D) {choices[3]}
Answer:

RACE。 RACE 同样作为四选一多项选择生成任务评测。此处数据集字段已包含文章与问题，因此完整输入置于 Article: 之后，候选选项列于其下。

Read the following article and answer the question.

Article: Mary went to the store to buy some fruits. She bought five apples and two oranges. She
     paid 5 dollars in total. What did Mary buy?
Options:
(A) Bananas
(B) Apples and oranges
(C) Grapes
(D) Watermelon
Answer: Apples and oranges

Article: {question}
Options:
(A) {choices[0]}
(B) {choices[1]}
(C) {choices[2]}
(D) {choices[3]}
Answer:

Story Cloze。 Story Cloze 被格式化为带两个候选结尾的故事补全基准。为更贴合叙事续写的语义，提示使用 End: 而非 Answer: 作为补全锚点。

Story: I wanted to make an omelet. I cracked two eggs into a bowl and whisked them. Then I
    poured them into a hot pan.
(A) I ate a delicious omelet for breakfast.
(B) I decided to order a pizza instead.
End: I ate a delicious omelet for breakfast.

Story: The runner tied his shoes tight. He sprinted as fast as he could during the race. He
    crossed the finish line first.
(A) He was sad that he lost the race.
(B) He won the gold medal.
End: He won the gold medal.

Story: {question}
(A) {choices[0]}
(B) {choices[1]}
End:

LAMBADA。 LAMBADA 被视为开放式续写而非多项选择。由于该任务本质是给定长上下文的末词预测，我们不使用上下文示例。模型直接续写所给的段落前缀，取首个生成的词作为预测。

{question}

OBQA。 OBQA 以与 MMLU 相同的 2-shot 生成式多项选择协议评测，模型需生成正确答案选项的文本而非其标签。

Question: Which tool is best for tightening a screw?
(A) spoon
(B) hammer
(C) screwdriver
(D) paintbrush
Answer: screwdriver

Question: What do plants absorb from the air during photosynthesis?
(A) carbon dioxide
(B) oxygen
(C) helium
(D) salt
Answer: carbon dioxide

Question: {question}
(A) {choices[0]}
(B) {choices[1]}
(C) {choices[2]}
(D) {choices[3]}
Answer:

HellaSwag。 HellaSwag 作为四选一情境续写任务评测。我们使用 Context: 作为输入字段名，以强调模型须为给定上下文选择最合理的续写。

Context: The girl puts the bread into the toaster and pushes the lever down. The bread
(A) becomes a slice of pizza.
(B) starts to toast and turn brown.
(C) disappears immediately.
(D) turns into a glass of water.
Answer: starts to toast and turn brown.

Context: The goalkeeper sees the ball coming towards the net. He dives and
(A) catches the ball with his hands.
(B) starts dancing in the field.
(C) opens a laptop to check email.
(D) runs away from the stadium.
Answer: catches the ball with his hands.

Context: {question}
(A) {choices[0]}
(B) {choices[1]}
(C) {choices[2]}
(D) {choices[3]}
Answer:

SIQA。 SIQA 是三选一的社会常识多项选择基准。其模板在精神上与其他多项选择提示一致，唯一区别是仅呈现三个选项。

Question: Jordan wanted to tell a joke to his friends. What does Jordan need to do before this?
(A) ignore his friends
(B) think of a funny story
(C) leave the room
Answer: think of a funny story

Question: Kai helped his neighbor carry heavy groceries inside. How would the neighbor feel?
(A) angry
(B) grateful
(C) scared
Answer: grateful

Question: {question}
(A) {choices[0]}
(B) {choices[1]}
(C) {choices[2]}
Answer:

SQuAD。 SQuAD 在标准抽取式 QA 格式下作为短答案生成评测。提示提供一段上下文与一个问题，模型被要求直接生成答案短语。在我们的统一协议中，生成的答案在精确匹配评估前先行归一化。

Context: The Normans (Norman: Nourmands; French: Normands; Latin: Normanni) were the people who
     in the 10th and 11th centuries gave their name to Normandy, a region in France. They were
    descended from Norse raiders and pirates from Denmark, Iceland and Norway.
Question: In what country is Normandy located?
Answer: France

Context: {context}
Question: {question}
Answer:

最后说明。 这些模板在 AR、LLaDA 与 Cola DLM 之间保持一致，使比较聚焦于模型族本身而非提示工程差异。在所有情形下，评测均在统一后处理之后进行，包括首个换行处截断与文本归一化，再与候选选项或参考答案匹配。

H.4设置细节

为确保公平比较，我们将 AR、LLaDA 与 Cola DLM 对齐到相同的预训练语料、分词器族、序列长度、批大小、优化器、学习率调度、硬件设置与评测协议。因此，所有方法在匹配的优化步上观测到相同数量的训练词元，使逐步比较直接有意义。我们也将核心生成骨干保持在可比规模：AR 与 LLaDA 使用约 1.8B 非嵌入 Transformer 参数，而 Cola DLM 中的 DiT 骨干同样保持在约 1.8B；其余参数差异来自连续潜空间形式所需的额外 VAE。

除表 8 与表 9 中匹配的数据、优化与模型规模设置外，我们进一步验证了三种方法在实现级别的数值一致性。如表 10 所示，所有模型均以 fp32 保存与加载检查点、以 fp32 保持运行时权重，并在 bfloat16 autocast 下执行主前向计算，而归一化、softmax 等数值敏感操作则保持 fp32。因此各方法的精度区制大体对齐。主要的实现差异在于 Cola DLM 含有额外的 VAE 编码/解码路径，这是连续潜空间建模的内在组成，而非额外的数值优势。

总体而言，比较在决定预训练规模与优化难度的主要维度上受控，包括数据、分词器族、词元预算、优化器、学习率调度、硬件与评测协议。因此所观测到的差异主要反映建模范式本身，而非失配的训练资源或评测设置。

H.5为何 VAE 预训练不损害公平性

一个潜在顾虑是：Cola DLM 包含额外的 VAE 预训练阶段，而 AR 基线完全从零训练。我们因此澄清这为何不会破坏比较的公平性。

第一，预训练的 VAE 编码器本身并非 Cola DLM 的生成先验。在我们的形式化中，生成模型由解码器 \(p_\theta(x \mid z_0)\) 与潜空间先验 \(p_\psi(z_0)\) 定义，而 \(q_\phi(z_0 \mid x)\) 仅用于训练期间的变分推断与潜变量构造。在推断时，新的回复内容由 DiT 先验逐块生成，再解码为文本。因此，额外的 VAE 阶段应理解为学习一个稳定的"文本–潜空间"接口，而非预训练一个额外的文本生成器。

第二，整体比较已在决定预训练规模与优化难度的主要维度上受控。AR、LLaDA 与 Cola DLM 对齐于相同的训练语料、分词器族、序列长度、批大小、优化器、学习率调度、硬件设置与评测协议。我们也将核心生成骨干保持在可比区制：AR 与 LLaDA 使用约 1.8B 非嵌入 Transformer 参数，而 Cola DLM 使用约 1.8B 的 DiT 先验；其余参数差异来自连续潜空间形式所需的额外 VAE。因此，比较仍以实际生成骨干为中心，而非失配的训练资源。

第三，图 15 从表示空间稳定化的角度提供了经验视角。在 AR 模型中，上下文隐藏状态与全局输入嵌入在训练初期都呈现较大漂移，但很快进入稳定区制：步间漂移在早期之后变小，与首个检查点的距离也逐渐饱和。预训练的 VAE 编码器则呈现更为明确的稳定化模式：其步间漂移迅速下降并随后近乎平坦，与早期检查点的距离在初始阶段后变化极小。这表明在两个模型族中，表示空间都相对较早地变得大体稳定；一旦如此，主导的学习负担便不再是表示构造本身，而是在该空间之上对生成动态的建模。

这一观察对于解读公平性十分重要。AR 模型也将相当一部分训练用于形成并稳定其嵌入与隐藏状态几何。Cola DLM 通过 VAE 预训练将该步骤显式化，但这并不意味着它获得了隐藏的预训练生成优势。相反，它将表示稳定化移入一个独立且模块化的阶段，此后主要的文本建模负担仍落在 DiT 先验与条件解码器上。从这个意义上说，VAE 预训练主要是对表示学习的摊销，而非取代学习实际生成机制的需要。

此外，图 3 的结果已表明，仅凭预训练编码器无法解释最终增益。尽管 Fix VAE 在较小算力预算下可具竞争力，但它更早饱和，而 Joint DiT x1 展现出最强的整体规模化趋势。若优势主要来自预训练编码器本身，则固定空间变体本应保持主导。相反，经验模式表明关键因素是后续的先验学习与同 DiT 的协同适配，而非单独的冻结预训练表示。

总体而言，我们将额外的 VAE 阶段视为连续潜空间建模所需的、方法特有的表示构造成本，在精神上类似于 AR 模型在训练中也必须经历的早期嵌入空间形成。一旦表示空间稳定，比较便仍聚焦于匹配数据、优化与评测设置下的生成骨干。因此，所观测到的性能差异更恰当地归因于建模范式本身，而非 VAE 预训练带来的优势。

H.6固定与演化潜空间的补充结果

如图 16 所示，我们在更强的设定下进一步比较连续联合演化与间隔训练（Interval），其中 Interval 变体同样从预训练 VAE 初始化。因此该设定应解读为：在稳定初始化之后隔离"连续 vs. 间歇潜空间更新"的效应，而非初始化质量本身的效应。即便在这一更强设置下，Joint DiT x1 在 Task Average、LAMBADA、MMLU 与 SIQA 上仍一致优于 Interval。这表明连续潜空间演化的优势并非仅来自更好的起点。相反，一旦建立了有意义的潜空间，潜表示仍更受益于与 DiT 的持续协同演化，而周期性冻结往往会打断演化潜空间与 DiT 先验之间的相互适配。该结果也进一步验证了第 3.3.2 节式 (3.35) 中的最后一个条件，并为 Cola DLM 的潜在优势提供了有力支持。

H.7VAE LogSNR 公式

对于 VAE 编码器后验

我们将 VAE logSNR 定义为后验均值所携带的信号功率与后验方差所携带的噪声功率之间的对数比：

其中 \(i\) 索引所有潜空间坐标（含词元/空间位置与通道），期望对数据分布与潜维取。实践中，我们在数据集或小批上经验估计：

其中 \(N\) 为样本数，\(D\) 为每个样本的潜空间坐标数。若编码器预测对数方差，则计算

较大的 VAE logSNR 表明后验均值主导后验不确定性，对应更干净、更确定的潜表示。本文中凡提及 VAE logSNR，特指式 (H.2) 所定义的量。

H.8噪声调度时间步平移可视化

如图 17 所示，我们可视化了不同时间步平移设置所诱导的时间步采样分布。与均匀调度相比，LogitNormal 调度对去噪轨迹的不同部分施加非均匀强调：增大 \(\mu\) 将分布推向更晚的时间步，而 \(\sigma\) 控制采样质量的集中或分散程度。从正文的视角看，这意味着时间步平移实质上改变了训练中更频繁强调哪一语义信息区制，而非仅仅调整一个孤立的数值超参数。

H.9时间步平移公式

我们通过以归一化时间步上的 LogitNormal 分布替代均匀时间步采样来实现时间步平移。具体地，令

并经由 logistic 函数映射到单位区间：

连续时间步随后定义为

其中 \(T\) 为最大扩散时间步。实践中，将 \(t\) 舍入或向下取整到有效时间步网格即得离散训练时间步。等价地，归一化时间步 \(s = t/T\) 服从 LogitNormal 分布：

其概率密度函数为

重标度到时间步域 \(t \in (0, T)\) 后，对应密度变为

在该参数化下，\(\mu\) 主要控制采样质量的位置：较大的 \(\mu\) 将概率推向更晚的时间步。相对地，\(\sigma\) 控制分布的展宽：较小的 \(\sigma\) 产生更尖锐的集中，较大的 \(\sigma\) 则产生更分散的调度。因此，时间步平移直接改变训练中所采样 logSNR 区制的分布，而不仅仅是对时间步索引作数值上的重加权。

I讨论

I.1理解首个生成块中的条件化策略

本小节解释表 5 中所比较的条件化策略，并进一步从 Cola DLM 中条件流匹配（conditional Flow Matching）的视角加以分析。关键问题出现在首个生成块（first generation block）：此时模型同时看到一个已知的提示区域与一个待生成的未知区域。换言之，该块的输入是混合的——其中一部分应作为条件被保留，其余部分则应由模型补全。表 5 中的方法恰恰在如何处理这一混合去噪过程上有所不同。

首个块为何特殊。 后续生成块是纯生成性的：块内所有潜变量都未知，由去噪产生。首个生成块则不同，因为它紧接在前缀提示之后。结果是，该块中的某些位置已由提示确定，而其余位置尚未确定。因此，一个好的条件化策略应同时实现两个目标：可靠地保留已知区域，并允许未知区域从被保留的上下文中连贯地生长。

从 Cola DLM 的视角看，这一区分尤为重要，因为先验是通过条件流逐块学习的：

而相应的条件流匹配目标学习如下形式的向量场：

也就是说，当前含噪块是在干净的历史潜变量条件下被预测的。在推断时，生成遵循同一因子分解：在干净的前缀与历史潜变量条件下输运一个噪声种子。因此，首个生成块中已知区域在数学上自然的角色并非去噪目标，而是固定条件。

首个生成块的分解。 为使这一点更明确，将首个生成块分解为

其中 \(z_K\) 表示由前缀确定的已知区域，\(z_U\) 表示待生成的未知区域。在理想形式下，首个生成块的任务应理解为

而非联合地重新估计 \(z_K\) 与 \(z_U\)。等价地，所期望的条件先验更接近于

其中已知部分充当稳定的边界条件，仅未知部分由流输运。

部分重绘（Partial repaint）。 表 5 中的第一族方法是部分重绘。这类方法反复回到早期去噪步，仅在轨迹的一部分中向已知区域重新注入引导。参数 \(t\) 控制每个早期去噪步内使用多少次重绘循环：例如 \(t=1\) 表示每步执行一次，而 \(t=3\) 表示模型在前进之前多次去噪、再加噪、再去噪。参数 \(m\) 控制已知区域被引导的时长：当 \(m=1.0\) 时，引导施加于首个块的整条去噪轨迹；当 \(m=0.7\) 或 \(m=0.3\) 时，模型仅在轨迹较早的部分接受此类引导，其余部分则任其更自由地演化。

关键在于，部分重绘并不将已知区域保持得完全固定。相反，它在轨迹的一部分中以时间步匹配的含噪代理替换已知区域，仅在选定的去噪步将该区域轻推回目标。这使该策略更柔和、更灵活，但作为条件化机制也从根本上更弱。

部分重绘的简单示例。 考虑一个含四次去噪转移的首个生成块。若采用 \(t=3\)、\(m=0.5\) 的部分重绘，则仅轨迹的前半部分对已知区域接受显式引导，而这些早期步各被回访三次。直观地，模型反复尝试校正早期转移，但一旦进入轨迹后半部分，已知区域便不再被显式强化。最终结果因此取决于那些早期校正是否足够强，以使条件结构保持稳定。

干净条件重绘（Clean condition repaint）。 表 5 中标记为 Clean cond. 的方法采取了强得多的途径。它不只提供部分或含噪的引导，而是在首个块的整个去噪过程中，将已知区域直接对齐到干净条件。实际上，模型始终看到提示条件部分的精确且稳定的版本，仅允许未知区域变化。

该策略比部分重绘保守得多。它减少混合区域中的歧义，使首个块的角色非常清晰：精确保留提示条件部分，并围绕它生成其余部分。当已知与未知位置之间的边界在语义上重要时，这尤为有用。

干净条件化的简单示例。 假设块中前几个位置对应提示内容，其余位置必须生成。在干净条件重绘下，无论采取多少去噪步，提示一侧始终保持固定。因此模型无需重新发现或重新估计该部分，其全部努力集中于使未知一侧与稳定上下文兼容。这比在漂移噪声下同时保留已知一侧并生成未知一侧要容易得多。

左填充与右填充。 最后两种方法 Left pad. 与 Right pad. 应理解为基于布局的替代方案，而非基于重绘的条件化策略。它们改变已知条件相对于待生成区域的放置位置，但并不像基于重绘的方法那样在去噪期间显式施加条件。

它们在表中的作用有助于解读：若仅靠填充就已足够，那么简单的位置安排就应已能匹敌显式条件化的性能；若不然，则增益必定来自条件化机制本身，而非仅来自布局。

为何干净条件化效果最好——流匹配视角。 干净条件重绘的优势不仅在于它提供"更强的引导"。更根本地，它是所比较策略中唯一保留了 Cola DLM 原始条件语义的策略。在标准流匹配形式下，记目标条件速度为 \(u_t\)，并设最优向量场为条件期望

其中 \(c\) 表示条件信息。对首个生成块，理想条件为

即干净前缀潜变量连同首个块内的干净已知区域。在干净条件重绘下，模型实质上在恰好这一条件下求解输运问题。在未知区域，这可视为如下形式的条件速度回归：

尽管实现上仍预测整个当前块的向量场，但真正重要的不确定性集中在未知区域，而已知区域充当固定边界条件。这正是模型被设计来利用的角色分解。

为何部分重绘在数学上更难。 部分重绘以关键方式改变了该问题。它不以真实干净的已知区域 \(z_K\) 为条件，而是仅在轨迹的一部分中提供一个退化且时变的代理 \(\tilde{z}_{K,t}\)。有效条件变为

相应的最优回归目标变为

这通常是更困难的回归问题。由于 \(\tilde{z}_{K,t}\) 只是真实条件的含噪代理，同一 \((z_{U,t}, t, \tilde{z}_{K,t})\) 可能对应更广的兼容干净目标集合。结果是，目标速度的条件方差更大。就贝叶斯风险而言，可比较

由于 \(\tilde{c}_t\) 是 \(c\) 的更弱、更含噪的版本，第二个量通常更大。因此，部分重绘增加了条件速度回归本身的不可约不确定性。从流匹配视角看，其弱点不仅在于引导更柔和，更在于它将一个干净的条件输运问题变成了更含噪的混合恢复问题。

部分重绘中的条件角色错配。 还存在结构性错配。在 Cola DLM 中，流路径用于先验输运，而非观测恢复。历史条件本应是稳定的锚点，而当前含噪块才是被输运的对象。部分重绘违背了这一分离，将已知区域从条件转变为部分去噪的状态变量。换言之，它将任务从

改变为

这种角色混淆在首个生成块中尤为有害，因为已知与未知区域在同一块内紧密耦合。一旦已知一侧漂移，未知一侧便不再从稳定的语义锚点生长。

为何误差沿流轨迹累积。 部分重绘的弱点被基于流的生成的连续性进一步放大。设干净条件下的理想向量场为 \(v^*(z, t; c)\)，部分重绘所诱导的场为

其中 \(\delta\) 表示条件诱导的偏置。由于推断通过沿 ODE 轨迹积分所学向量场来输运潜变量，该偏置会随时间累积。在标准稳定性假设下，轨迹误差满足如下形式的界：

其中 \(L\) 为向量场的 Lipschitz 常数。这一表达式使部分重绘的弱点尤为清晰。第一，减小 \(m\) 会使性能变差，因为显式引导仅覆盖轨迹较早的部分；一旦移除引导，后段便在失配条件下演化，故所诱导的偏置在无引导区间持续累积。第二，将 \(t\) 从 1 增至 3 并不带来稳定增益，因为早期阶段的重复校正无法消除后期阶段的结构性错配。换言之，重绘可反复修复局部的早期转移，却无法将一个瞬时条件变为持久条件。

为何首个块比后续块更敏感。 强差距的另一原因在于，首个生成块并非纯未知块。已知与未知区域在同一块内共存并交互。因此，已知区域中的任何不稳定都会通过块内交互立即传递给未知区域。在潜空间中，这一效应更强，因为已知区域充当语义锚点而非仅是词元级提示。若该锚点保持干净，模型只需将未知部分拟合到稳定上下文；若该锚点变得含噪并随时间漂移，模型就必须同时推断边界条件并生成补全，这是一个根本上更难的问题。

为何填充优于部分重绘却仍逊于干净条件化。 左/右填充不显式地对已知区域重新加噪，因此避免了部分重绘最有害的失效模式。这正是它们常强于多数部分重绘设置的原因。然而，仅靠填充仍不能在整个去噪过程中提供完全稳定的条件化机制：它改变位置布局，但不像干净条件重绘那样将已知区域锁定为精确条件。此外，填充还可能使块因果（block-causal）注意力模式更复杂——通过重塑已知与未知区域之间的相对排布，它可能为模型在去噪时引入不那么自然或不那么对齐的依赖结构。因此，填充可以有所帮助，但无法匹敌显式保留稳定条件的收益。

贯穿所有方法的统一直觉。 表 5 中所有方法都在求解同一问题：首个生成块既含一个应忠于提示的部分，又含一个应被新生成的部分。差异在于已知区域被保护的强度。部分重绘仅临时且近似地保护它；干净条件重绘强而持续地保护它；左右填充在去噪期间不显式保护它，而是寄望于有利的布局使交互对模型更容易。

如何解读表 5。 结果显示出非常清晰的模式：干净条件重绘在全部三项任务上一致表现最佳。这表明，对首个块中的混合去噪问题，强而持久的条件化远比柔和的部分校正有效。相对地，减小部分重绘中的 \(m\) 通常损害性能，说明缩短轨迹的受引导部分会使已知区域更难保留。将重绘循环从 \(t=1\) 增至 \(t=3\) 也未产生稳定增益，说明反复回访早期去噪步本身无法补偿弱条件化。

另一个有用的观察是，左右填充常强于部分重绘，但仍明显低于干净条件重绘。这表明位置安排确实重要，却非主因。特别地，尽管填充可能通过改变布局缓解部分干扰，它也可能使块因果注意力结构不那么干净、更难优化。主导优势仍来自在整个去噪过程中于已知区域显式维持一个稳定条件。

实践要点。 首个生成块并非后续生成块的缩小版，而是一个条件化与生成必须共存的特殊混合区域。从条件流匹配的视角看，关键挑战是将已知区域保留为稳定条件，同时仅输运未知区域。实验表明，该区制最受益于对已知条件强而显式的保留。在实践中，这恰是干净条件重绘所提供的，从而解释了为何它在表 5 中一致地是最强策略。

I.2图像模态下统一方法的更多结果

在本节中，我们呈现更多展示跨模态生成的样本，覆盖不同的输入与输出模态。值得强调的是，所有文本与图像输出均由单一统一模型产生。所有任务均从零预训练，模型在多种任务类型上联合训练，并在不同训练阶段调整各类数据的相对比例。尽管模型仅以非常有限的数据训练，所得样本已展现出可观的质量，表明 Cola DLM 在多模态理解与生成方面具有相当大的潜力。

I.2.1文本到文本

本小节呈现文本到文本生成的示例。如样本所示，尽管模型总共仅以约 1B 文本词元训练，生成文本总体上连贯流畅。

I.2.2文本到图像

本小节进一步评估模型执行文本到图像生成的能力。以下样本由统一原型从描述性自然语言提示生成，覆盖开阔风景、室内场景、餐饮场景、花卉特写、滨水、山景与建筑等多种构图。

I.2.3图像 × 文本到文本

本小节呈现"图像与文本到文本"生成的示例。输出总体流畅，且与输入在语义上对齐。值得注意的是，在一个仅接受过有限文本生成与图像生成训练的模型之上，我们进一步仅用约 5M 图文对训练，此后模型便已展现出初步的看图描述（captioning）能力。这表明 Cola DLM 能在有限的多模态监督下高效获取跨模态理解与生成能力。我们也指出，本小节所示的全部图像均由外部图像生成模型从真值描述（ground-truth captions）生成，因此不涉及与真实图像相关的版权问题。