数据质量^[3]

OpenVision 2掀起视觉预训练“减法革命”，以极简设计挑战CLIP霸权：砍掉文本编码器与对比学习，仅保留图像→描述生成任务，训练效率提升1.5-2倍、显存占用减半，性能媲美CLIP，在OCR、图表理解等细粒度任务更优。依托Recap-DataComp-1B v2高质量数据，推动视觉大模型降门槛。

大模型RL训练中，在线（如PPO）与离线（如DPO）算法存在性能鸿沟，尤其面对OOD数据时，PPO准确率达82%而DPO仅64%。迭代DPO通过滚动数据缓存、奖励模型蒸馏等技术，3轮迭代后OOD准确率提升至76.4%，接近PPO的92%，且内存消耗仅为PPO的1/5。研究表明，数据质量影响远超算法选择，多领域偏好数据可使DPO性能提升37%，噪声过滤能让OOD鲁棒性增强29%。当前行业采用“PPO初始化+DPO微调”等混合策略，在保持95% OOD性能的同时降低60%训练成本，平衡效率与鲁棒性成优化关键。

大模型训练正从“参数竞赛”转向“数据效能”优化，微软亚洲研究院提出的DELT范式指出，数据顺序是决定模型性能的关键。DELT通过“评分-选择-排序”动态机制，让数据适配模型学习节奏，核心依托LQS评分（量化数据静态质量与动态适配性）和折叠排序（优化训练顺序）两大技术。实验显示，7B模型用80%数据即可达传统全量数据训练的SOTA性能，训练时间缩短23%；在金融风控、医疗诊断等领域，召回率提升4%、罕见病识别准确率提高6.7%。该范式推动AI从参数依赖转向数据智能编排，为大模型高效训练提供新路径。