在AI绘画的浪潮中，如何让模型既能听懂人类的美学偏好，又能高效地生成高质量图像，一直是开发者们不懈追求的目标。近日，腾讯混元团队带来了一项令人瞩目的技术突破，他们提出的全新微调范式，通过Direct-Align与语义相对偏好优化（SRPO）技术的融合，不仅实现了全扩散轨迹的优化，更在人工评估中取得了分数飙升300%的惊人成绩。这不仅是一次技术迭代，更可能预示着AI绘画从技术探索迈向真正美学创造的关键一步。

1. AI绘画微调的“老大难”问题：奖励作弊与效率瓶颈

当前主流的扩散模型在试图对齐人类偏好时，常常陷入两难境地。一方面，许多微调方法（如ReFL、DRaFT）往往只针对扩散过程的最后几步进行优化，这就像只批改作文的最后一段，很容易让模型学会“投其所好”——通过生成奖励模型偏好的特定特征（例如HPSv2奖励模型可能偏爱红色调，PickScore可能对紫色图像更友好）来获取高分，而非真正提升图像质量，这就是所谓的“奖励作弊”（Reward Hacking）。另一方面，传统的奖励模型调整往往依赖离线操作，不仅耗时耗力，还难以灵活适应多变的美学需求和风格控制。

tips：什么是“奖励作弊”？
“奖励作弊”指的是模型在训练过程中，学会了如何最大化奖励模型给出的分数，而不是真正理解和满足人类的潜在偏好。这可能导致生成的图像在评分指标上表现优异，但在实际观感或真实性上却不尽如人意，例如出现不自然的颜色偏向或模糊的细节。

此外，一些基于强化学习（如DanceGRPO）的微调方法，虽然也能在一定程度上提升美学评分，但训练过程复杂且不稳定，生成的图像也容易出现过度处理的伪影，影响观感。这些瓶颈不仅限制了AI绘画的实际应用体验，也制约了其向更专业、更个性化方向发展的步伐。

2. 腾讯混元的破局之道：Direct-Align与SRPO双剑合璧

面对这些挑战，腾讯混元团队另辟蹊径，提出了一套融合Direct-Align与语义相对偏好优化（SRPO）的全扩散轨迹优化新范式，从根本上革新了AI绘画的微调逻辑。

2.1 Direct-Align：全轨迹优化，告别“最后几步”依赖

Direct-Align方法的核心创新在于将优化的视野从扩散过程的“最后几步”扩展到了“整个去噪轨迹”（trajectory）。想象一下，扩散模型生成图像的过程就像一位画家从模糊的草稿逐步勾勒出清晰的画面。传统方法可能只关注画家最后几笔的修改，而Direct-Align则是对画家从起稿到完成的每一个步骤都进行细致的指导和优化。

具体而言，Direct-Align通过预先注入噪声，将扩散过程中的每一个状态都视为噪声与目标图像之间的插值。这使得模型能够从任意时间步直接恢复原始图像的基础结构，有效规避了早期去噪阶段容易出现的梯度爆炸问题。这种贯穿整个轨迹的优化，不仅大幅提升了训练的自由度与效果，还显著减少了“奖励作弊”现象，避免了模型过度拟合特定奖励函数的偏好，从而实现了更为自然和真实的美学对齐。

与ReFL、DRaFT等传统方法相比，Direct-Align展现出了更全面的优化能力和更优的生成质量。实验显示，即使在仅有5%去噪进度的极早期阶段，Direct-Align依然能够恢复出图像的基础结构，这为后续的精细化调整奠定了坚实基础。

2.2 SRPO：语义相对偏好，实现灵活在线风格控制

如果说Direct-Align解决了“如何全面优化”的问题，那么语义相对偏好优化（SRPO，Semantic Relative Preference Optimization）则为“如何定义优化目标”提供了全新的思路。SRPO将奖励机制从单一的、固定的奖励模型扩展为动态的文本条件信号。

其核心思想是：针对同一张图像，分别使用正面和负面的提示词来计算奖励，然后取这两个奖励值的相对差值作为优化目标。这种设计使得开发者无需额外数据，也无需重新训练奖励模型，只需在原始提示词前添加简单的控制短语（例如“. ”表示轻微调整，“Realistic photo”则要求生成逼真照片风格），即可实现在线的奖励信号调整和风格控制。

tips：SRPO如何工作？
假设你想生成一张“猫”的图片，但希望它更“可爱”。使用SRPO，你可以将“a cute cat”作为正面提示词，“a cat”（或“an ugly cat”）作为负面提示词。模型会比较这两个提示词下生成图像的奖励差异，并据此调整，使得生成的猫更符合“可爱”的语义偏好。

SRPO的灵活性体现在多个方面：它不仅支持亮度调节、漫画风格转换等多种风格控制，还能根据提示词在奖励模型训练集中的出现频率灵活调整控制强度。例如，高频词“painting”能显著影响生成效果，而低频词“Cyberpunk”则可能需要与其他高频词组合使用才能达到理想的控制效果。这种“提示词即控制”的能力，极大地降低了高质量AI绘画微调的门槛，因此被业内开发者评价为“看起来就像下一代RLHF”，足见其技术前瞻性。

3. 惊人的实验结果：10分钟训练，300%提升

一项新技术的价值，最终需要通过实验数据来证明。腾讯混元团队在主流的FLUX.1-dev模型上对这套新范式进行了系统的实验验证，其结果令人印象深刻。

3.1 极致的训练效率

在硬件效率方面，新方案展现出了惊人的表现：仅需32块H20 GPU，训练10分钟即可让模型收敛。这意味着模型的迭代周期大大缩短，开发者可以快速尝试不同的风格偏好和优化方向，极大地提升了研发效率。

3.2 全面领先的评估指标

与ReFL、DRaFT、DanceGRPO等当前主流的微调方法相比，融合了Direct-Align和SRPO的新方案在HPSv2（人类偏好分数）、AES（美学评估分数）、PickScore等多个权威自动评估指标上均实现了领先。

3.3 人工评估分数飙升300%

为了更直观地衡量生成图像的质量，腾讯混元团队邀请了10名训练有素的标注员及3名领域专家，对500个提示词生成的图像进行了全面的人工评估。评估结果显示，在真实感和美学质量两个关键维度上，优化后的模型表现出了质的飞跃：

评估维度 原始FLUX模型优秀率 SRPO训练后优秀率 提升倍数
真实感 8.2% 38.9% ≈3.7
美学质量 9.8% 40.5% ≈3.1
总体偏好度 — 29.4% —

从表格中可以清晰地看到，经过SRPO训练后，图像的真实感优秀率从8.2%提升到了38.9%，提升幅度约370%；美学质量优秀率从9.8%提升到了40.5%，提升幅度约310%。这种“飙升300%”的人工评估结果，远比冰冷的自动指标更能说明新范式在提升图像真实感与美学质量上的巨大成功。更重要的是，SRPO训练后的模型在生成图像时，有效避免了DanceGRPO等方法常见的过度处理和不自然伪影问题，保证了纹理细节的自然真实。

值得一提的是，仅仅10分钟的SRPO训练，就让FLUX.1-dev模型在HPDv2（Human Preference Dataset v2）基准上的表现超越了最新的开源版本FLUX.1.Krea，这进一步印证了新范式的效率与效果。

4. 行业反响与未来展望

腾讯混元团队这项技术革新一经推出，便在AI绘画领域引起了广泛关注和热烈讨论。许多开发者对Direct-Align的全轨迹优化理念和SRPO的灵活控制能力表示高度赞赏。他们认为，通过全轨迹优化（Direct-Align）和语义相对奖励（SRPO），腾讯混元从根本上规避了传统方法的局限性，实现了更稳定、高效和高质量的人类偏好对齐。

社区对于SRPO提供的“提示词即控制”能力尤其感兴趣，认为它极大地降低了高质量AI绘画微调的门槛和成本，具有巨大的应用潜力。不少讨论都聚焦在“何时开源代码”上，足见业界对这项技术的期待。

这项技术的突破，不仅让AI绘画在效率和质量上实现了双丰收，更重要的是，它为AI绘画的个性化和专业化应用开辟了新的道路。未来，我们或许可以期待：

  • 更高效的定制化模型：设计师或普通用户可以快速、低成本地微调模型，使其符合特定的品牌风格或个人审美。
  • 更自然的人机交互：通过简单的提示词调整，就能精确控制图像的各种属性，实现“所想即所得”。
  • 更广泛的应用场景：从游戏美术、影视特效到广告设计、虚拟现实，这项技术都将大有用武之地，推动相关产业的创新发展。

腾讯混元的这次范式革新，无疑为AI绘画的未来发展注入了强劲的动力。我们有理由相信，AI绘画正从单纯的技术探索，稳步迈向能够真正辅助甚至引领人类进行美学创造的新阶段。

参考链接