本文第一作家来自国防科技大学数智建模与仿真国度级重心实验室（State Key Laboratory of Digital Intelligent Modeling and Simulation）2024 级博士生原方，通信作家为国防科技大学曾俊杰助理磋商员、李庆伦博士，并由尹三军磋商员、秦龙副老师、沈想淇长聘副老师（厦门大学）、谢毓湘老师、杨俊强副磋商员共同相助完成。磋商团队永久聚焦建师法真、强化学习等干系地方磋商。

纯熟强化学习智能体时，一个常见问题是：有些 level 太浅显，智能体跑几遍就会；有些 level 又太难，智能体简直得不到有用反应。前者仅仅在近似已有才能，后者则会把纯熟预算浮滥在无效探索上。信得过有价值的纯熟环境，时常位于二者之间。它刚好越过智能体刻下才能规模，但又莫得难到全齐学不会。换句话说，强化学习纯熟也存在某种「最近发展区」：高效纯熟的枢纽，不仅仅生成更多 level，而是找到刻下阶段最值得学的 level。

Unsupervised Environment Design（UED）恰是围绕这一问题伸开。UED 不再把纯熟环境看作固定数据集，而是通过自动生成、选定或重放 level，动态塑造纯熟散播，让智能体在不绝学习中赢得更好的泛化才能。但 UED 靠近一个中枢不毛：系统需要知说念，哪些 level 信得过推动了智能体学习。

近日，来自国防科技大学、厦门大学等机构的磋商者提议了 PACE（Parameter Change Environment Design）。PACE 使用 level 指引的计谋参数变化看成纯熟价值信号，径直预计该 level 是否带来实践学习进展。该责任已被 ICML 2026 领受。

论文题目：PACE: Parameter Change for Unsupervised Environment Design

论文斡旋：https://doi.org/10.48550/arXiv.2605.01358

UED：让纯熟环境我方酿成课程

UED 的起点并不复杂。传统强化学习往往先给定一批纯熟环境，再让智能体在其中反复学习。但纯熟环境并非越多越好，也不是越难越好。若是 level 太浅显，智能体很快参预「兴隆区」，只可牢固还是掌合手的行为；若是 level 太难，智能体又会参预「心焦区」，永久得不到有用奖励。两种情况齐会削弱学习恶果和最终泛化才能。

在 UED 之前，Domain Randomization 还是标明，环境各种性有助于培植泛化才能；但这类设施往往仅仅静态地立地采样环境参数，难以凭证智能体刻下的学习状况动态治愈纯熟内容。

UED 进一步将「纯熟什么」纳入学习过程：系统不再把纯熟环境视为固定布景，而是动态生成、选定或重放 level，并凭证某种评价信号决定哪些 level 更值得保留、重放或进一步剪辑。遐想情况下，这些 level 应该不绝迫临智能体刻下才能规模：既不减弱被经管，2026世界杯(中国)也不全齐超出可学习范畴。

现存 UED 设施往往需要一个 score 来评价 level。常见作念法包括 regret、GAE、MaxMC 等。这些信号在履行中有用，但它们更多从可解性差距、价值忖度颠倒或讲演忖度启程，莫得评估「此次纯熟到底带来了几许计谋改变」。另一类设施更径直，举例 Marginal Benefit 会比拟计谋更新前后的进展变化，因此更接近果真学习逾越。但它需要迥殊 rollout 来忖度更新前后的讲演，算计支出更高，忖度方差也更大。

因此，UED 的中枢问题就变成了：若何浅显而准确地判断一个 level 是否信得过推动了智能体的学习？

PACE：用参数变化预计学习逾越

PACE 的中枢判断很径直：若是一个 level 信得过促成了学习，那么智能体在这个 level 上纯熟后，计谋参数应该发生挑升旨的变化。也即是说，PACE 不再把 level 的价值设立在 regret、GAE 或 Monte Carlo return 等盘曲音号上，而是径直不雅察该 level 指引的计谋更新。

进一步假定这一步更新沿着局部梯度地方进行，即

将其代入一阶伸开，可得主义培植的近似时势：

这个近似关系阐扬：在局部梯度更新假定下，一个 level 带来的主义培植与其指引的计谋参数变化普遍范数成正比。因此，PACE 将 level score 界说为：

图 1：PACE 责任经过图。

基于这一 score，PACE 的开动过程不错分为两个部分：level scoring 和 policy training（图 1）。

所有过程不拒接替进行：新 level 被生成并打分，高价值 level 被写入 buffer，buffer 中的 level 又被优先重放来纯熟计谋。由此，PACE 用计谋参数变化构造出一种内生的学习逾越信号，并用它驱动纯熟课程随智能体才能动态演化。

实验限度：从迷宫泛化到怒放式任务

图 2：MiniGrid 上的零样本移动性能。

表 1：MiniGrid 上的合座泛化方针。

为了进一步磨真金不怕火 PACE 在更复杂任务中的适用性，论文还在 Craftax 上进行实验。Craftax 是一个面向怒放式强化学习的 JAX benchmark。跟着探索激动，智能体会碰到新的区域、机制和主义，任务散播也会不绝变化，因此更能磨真金不怕火 UED 设施是否能在长纯熟过程中不绝提供有用课程。

表 2：Craftax 上 20 个未见过 levels 上的平均讲演和轨范差。

结语与预计

在强化学习智能体需要不绝适合未见环境的布景下2026世界杯(中国)，若何准确识别信得过推动学习的 levels 是 UED 的枢纽问题；PACE 通过参数变化这一浅显、低方差、算计友好的内生信号，将环境评价径直设立在 realized learning progress 之上，从而减少代理方针偏差、高方差忖度和迥殊 rollout 支出的影响，并为构建更融会、更可扩张的自适合纯熟课程提供了新的想路。