Zhengxu Yu

Zhengxu Yu

AI Researcher, Huawei London Research Centre (ex-Alibaba)

Email: yuzxfred AT gmail.com

© 2026

多智能体 RL 的信用分配

PaperReading
Multi-Agent RLCredit AssignmentAgentic RLGRPOLLM Agents

TL;DR

在 LLM 多智能体系统的 RL 训练中，orchestrator 把任务拆给多个 sub-agent 执行，整条 rollout 最终只得到一个任务级奖励；GRPO 类算法据此为整条轨迹算出一个 advantage，所有 agent 的 token 共用这一个值。信用分配要回答的是：这个信号应如何分给各个 agent 和各个步骤。GRPO 类方法不训练 critic，baseline 来自同组样本的均值，各种做法的区别在于比较组的构造：同一题的其他整局 rollout（成本低，但混入了队友的随机性），同一角色的其他样本（要求角色固定），或只替换一条消息、去掉一个 agent 后重跑的反事实结果（信号最干净，但成本最高）。当 sub-agent 由 orchestrator 动态创建、各自任务不同时，这三种比较都难以成立。

用 RL 训练 LLM 多智能体系统时，常见的设置是：一个 orchestrator 拆解任务、派生多个 sub-agent 分头执行，再汇总作答；环境只对最终答案给出一个奖励。训练需要把这一个奖励转化为每个 agent、每一步的学习信号，也就是判断任务的成败中哪个 agent、哪一步起了作用，这就是多智能体信用分配问题。本文依次介绍背景、LLM RL 的训练流程、经典 MARL 的信用分配方法和 LLM 多智能体训练中的新做法，最后讨论未来方向。

1背景：LLM 多智能体系统的 RL 训练

LLM 多智能体系统由多个 LLM agent 协作完成一个任务。常见的组织方式有三类：

编排式

orchestrator + sub-agent

orchestrator 拆解任务、按需派生 sub-agent 并行执行，再汇总结果。例如 Kimi K2.5 的 Agent Swarm。

协作式

固定数量的 agent 共同求解

多个 agent 各自作答或分工产出，经多轮交流后给出最终结果。例如 MAGRPO、MAPoRL。

博弈式

agent 在博弈中扮演角色

agent 在多人游戏中扮演固定角色，相互对抗或合作。例如 SPIRAL、MARSHAL 的自我对弈。

这类系统起初多靠提示工程搭建，各个 agent 调用同一个不更新的模型。近期的工作开始用 RL 直接训练：把整个多智能体流程看作一次 rollout，以任务的最终结果（答案是否正确、游戏胜负）作为奖励，沿用单智能体 LLM RL 的 PPO 或 GRPO 框架更新参数。被训练的对象因工作而异：Kimi K2.5 只训练 orchestrator，sub-agent 冻结；MAGRPO 和 MAPoRL 联合训练所有 agent；SPIRAL 让同一个模型扮演所有角色自我对弈。

这种做法直接继承了单智能体 RL 的训练流程（第 2 节）。区别在于，单智能体的一条轨迹只有一个决策者，多智能体的一条轨迹里有多个决策者的输出，奖励却仍然只有一个。如何把这个奖励分给各个 agent 和各个步骤，是本文讨论的信用分配问题（第 3 节）。

2LLM RL 的训练流程

以 GRPO 为代表的 LLM RL，一个训练步包含以下六步。对一道题 q 采样 G 条轨迹作为一个组；每条轨迹由模型输出 a 和环境或工具的返回 o 交替组成；verifier、judge 或环境给出奖励 r；把奖励累加成回报 R；用组内均值和标准差做 baseline 得到 advantage A；最后把 A 广播给这条轨迹的每个 token，做 clipped policy gradient 更新。

当前 LLM RL 的训练流程：rollout、分组、reward、return、advantage、更新 ① Prompt ② Rollout 与分组 ③ Reward ④ Return ⑤ Advantage ⑥ 更新 q一道题 / 任务 τ₁ a1 o1 a2 o2 a3 o3 a4 1 R = 1 +1 τ₂ a1 o1 a2 o2 a3 o3 a4 0 R = 0 −1 τ₃ a1 o1 a2 o2 a3 o3 a4 0 R = 0 −1 τ₄ a1 o1 a2 o2 a3 o3 a4 1 R = 1 +1 组均值 0.5 · std 0.5 同一个 q 采样 G 条轨迹 = 一个组（a 是模型输出，o 是环境或工具返回） r = verifier /judge / 环境 Rt = Σj≥t rj只有终局奖励时 R = r Ai = (Ri − mean组) / std组baseline 来自组内其他样本 Ai 广播给 τi的每个 token，做 clipped PG baseline 从哪来，决定了“和谁比” PPO：学一个 critic V(st)，baseline 是同一状态的期望回报。 GRPO：不要 critic，baseline 是同组样本的均值，组内样本必须可比。 多智能体时，问题出在第 ⑤ 步 一条 rollout 里混着 orchestrator 和多个 sub-agent 的 token， 但第 ⑤ 步只算出一个 Ai，应如何在各 agent 间分配？这就是信用分配问题（图 2）。
图 1. LLM RL 的一个训练步。例子里 G = 4，四条轨迹的终局奖励是 [1, 0, 0, 1]，组均值 0.5、标准差 0.5，于是 advantage 为 [+1, −1, −1, +1]，每条轨迹的所有 token 共用同一个值。PPO 和 GRPO 的区别在第 ⑤ 步的 baseline：PPO 用学出来的 critic，GRPO 用同组其他样本的均值。单智能体时这一步没有歧义；多智能体时，一条轨迹里有多个 agent 的 token，一个 A 该怎么分就成了问题。

3问题是什么

图 2 用一个例子说明多智能体下第 ⑤ 步的问题。

多智能体 rollout 中，一个 advantage 被广播给 orchestrator 和所有 sub-agent 的 token 一条多智能体 rollout τ，终局 R = 0 第 ⑤ 步给出的 A 各部分实际的贡献 orchestrator sub-agent 1子任务 t1：正确 sub-agent 2子任务 t2：算错 sub-agent 3子任务 t3：未被采用 拆分、派任务 t3 的产出没进最终答案 汇总、作答 0 −1 −1 −1 −1 同一个值 ? 拆分好坏无法判断 应强化 应压低 ≈ 0，与结果无关
图 2. 一个 A，多个 agent。 orchestrator 把任务拆成 t1、t2、t3，三个 sub-agent 分别执行，orchestrator 汇总作答，终局 R = 0。GRPO 算出 A = −1 并广播给整条轨迹的全部 token：t1 做对了也被压低，t3 的产出未被采用也被更新，orchestrator 的拆分是否合理无法从 R 判断。信用分配要回答的是右栏：每个 agent 的实际贡献是多少。

合作型多智能体任务里，环境通常只给整个团队一个回报 \(R\)。每个 agent 要用这个标量更新自己的策略，需要回答两个问题：

AGENT 之间

谁的功劳

任务成功了，是哪个 agent 的贡献？失败了，是谁的错？

AGENT 内部

哪一步的功劳

一个 agent 走了很多步，哪些动作是好的？这是单智能体里就有的时间信用问题。

如果把 \(R\) 原样发给每个 agent，会出现两个经典症状：

  • 噪声大：agent i 的梯度里混进了其他所有 agent 的随机性，团队越大，信噪比越低。
  • 搭便车（lazy agent）：有的 agent 学会了，其他 agent 就不再学，因为团队奖励已经够高。VDN 把它称为 “lazy agent” 问题，并指出它源于部分可观测。

LLM 多智能体让问题更难。 agent 常常是动态创建的，没有固定角色；轨迹很长，团队奖励被摊薄到大量 token 上；主流算法是不带 critic 的 GRPO，baseline 只能来自样本之间的比较；每条 rollout 都很贵，反事实重跑的成本很高。

4经典 MARL 的五种答案

这些方法都建立在 actor-critic 或 Q-learning 上，靠集中式的价值函数做信用分配。训练时集中、执行时分散（CTDE）是共同框架。点工作名打开原文。

Wonderful Life Utility（difference reward）

Wolpert & Tumer · Advances in Complex Systems 4(2–3), 2001
\[ \mathrm{WLU}_\eta \equiv G(\zeta) - G(\zeta^{\,\hat{}\,\mathrm{CL}_\eta}) \]

agent η 的奖励等于团队实际得分，减去把 η 的分量“钳位”成固定值 CL 之后的得分。钳位成 0 等于把这个 agent 从系统里拿掉。后来文献通称 difference reward。

“WLU overcomes much of the signal-to-noise problem of team game utilities.” p.2 §1；定义见式 (7)
Figure 2 · p.7：钳位操作示例：把玩家 η₂ 的动作钳位成 “null”（等于把它移出系统），或钳位成“平均”动作向量。
原文 Figure 2 · p.7 钳位操作示例：把玩家 η₂ 的动作钳位成 “null”（等于把它移出系统），或钳位成“平均”动作向量。

COMA

Foerster et al. · AAAI 2018
\[ A^i = Q(s,\mathbf u) - \textstyle\sum_{u'} \pi^i(u' \mid \tau^i)\, Q\big(s,(\mathbf u^{-i}, u')\big) \]

用集中式 critic 代替重跑环境：固定其他 agent 的动作，只把 i 的动作边缘化掉，得到反事实 baseline。可以看作 difference reward 的可学习版本。

“it uses a counterfactual baseline that marginalises out a single agent's action” 摘要
Figure 1：(a) 分散的 actor、环境和集中式 critic 之间的信息流，红色部分只在集中训练时需要；(b)(c) actor 和 critic 的网络结构。
原文 Figure 1 (a) 分散的 actor、环境和集中式 critic 之间的信息流，红色部分只在集中训练时需要；(b)(c) actor 和 critic 的网络结构。

VDN / QMIX / QTRAN

Sunehag et al. AAMAS 2018 · Rashid et al. ICML 2018 · Son et al. ICML 2019
\[ Q_{tot} = \textstyle\sum_i Q_i \quad\text{或}\quad \partial Q_{tot} / \partial Q_i \ge 0 \]

价值分解：把团队 Q 拆成每个 agent 的 Q，分解结构本身就隐含了信用分配。VDN 用求和，QMIX 用单调的 mixing 网络，QTRAN 去掉了这两种结构约束。

VDN：“learns to decompose the team value function into agent-wise value functions” · QMIX：“structurally enforce that the joint-action value is monotonic in the per-agent values” · QTRAN：“free from such structural constraints” 均为摘要
VDN Figure 2：价值分解架构：各 agent 的局部 Q 相加得到团队 Q。
原文 VDN Figure 2 价值分解架构：各 agent 的局部 Q 相加得到团队 Q。
QMIX Figure 2：(a) mixing 网络，红色是生成其权重和偏置的 hypernetwork；(b) QMIX 整体结构；(c) agent 网络。
原文 QMIX Figure 2 (a) mixing 网络，红色是生成其权重和偏置的 hypernetwork；(b) QMIX 整体结构；(c) agent 网络。
QTRAN Figure 1：QTRAN-base 与 QTRAN-alt 的架构。
原文 QTRAN Figure 1 QTRAN-base 与 QTRAN-alt 的架构。

5LLM 多智能体训练里的六类做法

LLM 时代的主要变化是去掉了 critic。GRPO 系方法的 baseline 来自一组样本的均值，所以信用分配的问题变成了拿谁和谁比。以下按比较对象分类。

A. 不分配：只训 orchestrator

Kimi K2.5 Agent Swarm（PARL）

Kimi Team · arXiv 2602.02276, 2026

可训练的 orchestrator 加冻结的子 agent，子 agent 的轨迹不进入优化目标，被当作环境观测。奖励由三项加权：实例化奖励 \(r_{\text{parallel}}\) 防止退化成串行执行（serial collapse），子任务完成率 \(r_{\text{finish}}\) 防止只创建不完成的“虚假并行”，任务结果 \(r_{\text{perf}}\)；前两项的权重在训练中退火到 0。子 agent 这一层的信用问题被直接绕开。

“sub-agents are frozen and their execution trajectories are excluded from the optimization objective” §1
Figure 3：可训练的 orchestrator 动态创建专门化的冻结子 agent，把复杂任务拆成可并行的子任务。
原文 Figure 3 可训练的 orchestrator 动态创建专门化的冻结子 agent，把复杂任务拆成可并行的子任务。

B. 广播团队奖励，组内比较整局

MAGRPO

Liu, Chen, Liang, Lyu, Amato · AAAI 2026 · arXiv

把 LLM 协作建模为 Dec-POMDP。所有 agent 共享一个联合奖励；每个 agent 每轮采样一组回答，baseline 是这组联合回报的均值；训练时集中，执行时各自独立。相当于 MAPPO 的 GRPO 版。写作和编程协作任务。

“Using a joint reward allows agents to specialize as needed to complete the task without complex prompt or reward engineering.” §3.1
Figure 1：Dec-POMDP 与 MAGRPO 算法示意。
原文 Figure 1 Dec-POMDP 与 MAGRPO 算法示意。

MAPoRL

Park, Han, Guo, Ozdaglar, Zhang, Kim · ACL 2025

多个 LLM 先各自作答，再多轮讨论修正，联合训练。verifier 同时评价答案和讨论过程，并额外奖励纠错和有说服力的发言，这个分数就是联合训练的奖励。

“a MAPoRL verifier evaluates both the answer and the discussion … The score serves as the co-training reward” 摘要
Figure 1：MAPoRL 可接入任何带打分器或 verifier 的多 LLM 系统，图中接入的是协作辩论系统。
原文 Figure 1 MAPoRL 可接入任何带打分器或 verifier 的多 LLM 系统，图中接入的是协作辩论系统。

C. 按角色设 baseline

SPIRAL

Liu, Guertler, Yu, … Jaques · arXiv 2506.24119, 2025
\[ A_{G,p}(\tau) = R_p(\tau) - b_{G,p} \]

同一个模型在零和游戏里自博弈。RAE 为每个“游戏 × 角色”维护一个 baseline，用 EMA 更新（衰减率 0.95），因为先手和后手的期望回报本来就不同。

“RAE maintains separate baselines bG,p for each game G∈𝒢 and role p∈{0,1}.” §3
Figure 3：SPIRAL 框架：并行的 actor 在多种游戏里采样轨迹，同一个策略扮演两个角色；集中式 learner 用 RAE 为两个角色分别计算 advantage。
原文 Figure 3 SPIRAL 框架：并行的 actor 在多种游戏里采样轨迹，同一个策略扮演两个角色；集中式 learner 用 RAE 为两个角色分别计算 advantage。

MARSHAL

Yuan, Xu, … Yu, Wang · ICLR 2026
\[ A_{k} = \textstyle\sum_{j\ge k} r_j \;-\; \mathrm{mean}\big(R^{\,p}\big) \]

合作和竞争游戏都做。先把每轮之后的奖励求和，再减同角色子组 \(p\) 的均值（sum-then-normalize）。消融里把它换成 RAE，Mini Hanabi 从 54.33% 掉到 24.93%，合作游戏受影响最大。前提是角色固定、每个角色在 batch 里样本够多。

“We partition the batch of trajectories into sub-groups based on player role and apply the turn-level advantage estimator described above independently within each sub-group” p.4 §3.2
Figure 2 · p.3：左：自博弈生成每个玩家的轨迹；中：GRPO 的 advantage 估计，整条轨迹一个值；右：MARSHAL 先按轮累加回报，再按角色子组归一化。
原文 Figure 2 · p.3 左：自博弈生成每个玩家的轨迹；中：GRPO 的 advantage 估计，整条轨迹一个值；右：MARSHAL 先按轮累加回报，再按角色子组归一化。

D. 反事实：换掉一个再跑

C3

Chen et al. · arXiv 2603.06859, 2026

消息级信用。在某个决策点把一条消息换成另一条，把后续流程一直跑到终局奖励，得到这条消息的无偏信用；只需重新生成决策点下游的消息。前提是下游 agent 读到的一切都写在记录里，这样记录本身就是状态，反事实可以真的执行。当前版本标题为 The Trace Is the State: Exact Credit Assignment for LLM Agent Teams。

“substitutes one message at a decision point and continues the run to the terminal reward, so its credit is unbiased, exact up to Monte Carlo error” 摘要
Figure 1 · p.2：两种评估候选消息的方式：(a) 沿用 MARL 的做法，critic 预测每个候选的价值；(b) C3 回到前缀、换上候选、把下游跑到终局奖励，再和其他候选的加权均值比较。
原文 Figure 1 · p.2 两种评估候选消息的方式：(a) 沿用 MARL 的做法，critic 预测每个候选的价值；(b) C3 回到前缀、换上候选、把下游跑到终局奖励，再和其他候选的加权均值比较。

CCPO

Li, Tian, Chen, Zhang, Liu, Ban, Zhuang · arXiv 2603.21563, 2026

agent 级信用。比较实际联合结果和去掉某个 agent 后的结果，得到每个角色的奖励，再交给 GRPO、GSPO 或 REINFORCE++。在 Think–Solve 双 agent 的数学推理上实验：去掉 Thinker 就是让 Solver 直接答题，额外采样 solver-only 的 rollout 并用 verifier 打分；Solver 没有对应的反事实，因为去掉它就没有答案了。

“estimates an agent's marginal contribution by comparing the realized joint outcome with a counterfactual outcome” 摘要
Figure 1：奖励构造层：共享奖励、CCPO、SEPO 产出信用信号，再交给独立的策略优化器。
原文 Figure 1 奖励构造层：共享奖励、CCPO、SEPO 产出信用信号，再交给独立的策略优化器。

E. 在语言空间里分配

LangMARL

Yao, Da, Liu, Fleming, Chen, Wei · EMNLP 2026

把合作 MARL 的信用分配搬到语言空间：从回放的轨迹里抽取和任务相关的因果关系，给每个 agent 稠密的文字反馈，用来改进各自的策略。适合奖励稀疏的场景。

“agent-level language credit assignment” 摘要
Figure 3 · p.4：系统流程（CTDE）：语言策略 actor 分散执行，集中式语言 critic 给出轨迹级因果信用，语言策略优化器用自然语言更新策略。
原文 Figure 3 · p.4 系统流程（CTDE）：语言策略 actor 分散执行，集中式语言 critic 给出轨迹级因果信用，语言策略优化器用自然语言更新策略。

F. agent 内部的时间信用（单智能体工作，供参照）

MT-GRPO

Wei, Zeng, Li, … Hong · arXiv 2505.11821, 2025

多轮 agent 里利用逐轮的稠密奖励做信用分配，分别推导了 GRPO 和 PPO 的版本，比较终局、延迟、逐轮三种奖励粒度。原题 Reinforcing Multi-Turn Reasoning in LLM Agents via Fine-Grained Reward Structure and Credit Assignment。

“dense per-turn reward structures consistently outperform sparse terminal and delayed reward structures” 摘要
Figure 1：多轮任务中三种 turn 级奖励分配方式的比较；方块代表 token，颜色表示分到的奖励。
原文 Figure 1 多轮任务中三种 turn 级奖励分配方式的比较；方块代表 token，颜色表示分到的奖励。

GiGPO

Feng, Xue, Liu, An · NeurIPS 2025

在同一任务的多条轨迹里找到相同的状态作为锚点，在锚点上做 step 级组内比较。不需要辅助模型，也不需要额外 rollout。

“Actions stemming from the same state are grouped together, enabling micro relative advantage estimation.” 摘要
Figure 2：GiGPO 概览：agent 在一组初始状态相同的环境里生成多条轨迹，颜色相同的是同一个环境状态；在 episode 级和 step 级两个维度分组，得到分层的相对 advantage。
原文 Figure 2 GiGPO 概览：agent 在一组初始状态相同的环境里生成多条轨迹，颜色相同的是同一个环境状态；在 episode 级和 step 级两个维度分组，得到分层的相对 advantage。

一篇值得读的综述：Reinforcement Learning for LLM-based Multi-Agent Systems through Orchestration Traces（Zhang，arXiv 2605.02801，2026.05）。它把一次多智能体 rollout 记成一张编排事件图：节点是六类事件，即 orchestrator 决策、派生 sub-agent、agent 间消息、工具调用、摘要返回和汇总；边是事件之间的时间或因果依赖（定义 3）。奖励和信用信号按从 token 到整个团队的 8 个单位归类。

“a set of events—orchestrator decisions, sub-agent spawns, inter-agent messages, tool calls, summary returns, and aggregation steps” §3.2 定义 3

其中两个观察与本文直接相关：

“explicit counterfactual message-level credit remains especially sparse in our curated pool” · “found no explicit RL training method for the stopping decision” 摘要

编排事件图上的信用单位

将以上工作置于同一张编排事件图上，它们的差别在于信用挂在图的哪个子结构上。

编排事件图与其上的 8 个信用单位 一次 rollout 的编排事件图 信用可以挂在哪 · 综述列出的代表工作 1 orch 决策 2 sub-agent A 角色：检索 tool turn 2 摘要返回 sub-agent B 角色：检索 tool turn 2 摘要返回 sub-agent C 角色：验算 tool turn 2 摘要返回 5 消息 6 3 4 7 token 8 汇总 orch 决策再派 / 停止 2 R 1 团队 共享结果 baseline 2 orchestrator Puppeteer、Kimi PARL、WideSeek（稀少） 3 角色 MALT、M-GRPO、MATPO、DEPART、LAMO 4 agent MAGRPO、Dr. MAS、SHARP、MAPoRL、LangMARL 5 turn MarsRL、Context-Folding、MARSHAL 6 消息 C3（稀少） 7 工具调用 MATPO、SHARP、Agent Lightning 8 token 标准 GAE（单智能体继承） 标黄的三层在经典 MARL 和单智能体 RL 里没有对应 六类事件（定义 3）： orchestrator 决策 派生的 sub-agent agent 间消息 工具调用 摘要返回 汇总 边是事件之间的时间或因果依赖。单智能体轨迹是它的特例：没有派生、没有分叉，事件排成一条链。 信用单位从粗到细：团队 → orchestrator → 角色 → agent → turn → 消息 → 工具调用 → token。
图 3. 编排事件图上的 8 个信用单位。左：一次 rollout 的编排事件图；右：每个信用单位及综述列出的代表工作。六类事件来自综述定义 3，8 个信用单位、代表工作以及“稀少”“无经典对应”的标注照录原文 Figure 12；示例 rollout 的结构和 ①–⑧ 在图上的标注位置为本文所画，原文 Figure 14 只画了事件图本身。

6对照：每种做法拿谁和谁比

做法比较对象（baseline 来源）经典对应额外成本前提
只训 orchestrator同一 prompt 的其他整局—无子 agent 能力够用
广播团队奖励同一 prompt 的其他整局MAPPO无agent 同质，或不在乎区分
按角色设 baselinebatch 里同角色的其他轨迹按角色的 critic无角色固定，每类样本够多
反事实回放同一上下文下换掉这个 agent 或这条消息COMA、difference reward每个 agent 或消息都要重跑环境可以 fork 和重放
语言信用不做数值比较，LLM 读轨迹归因—每局一次归因调用归因模型可靠
状态锚点其他轨迹里的相同状态状态价值 \(V(s)\)无状态会重复出现

7未来方向

现有方法的 baseline 有两种来源：经典 MARL 用学到的 \(Q\) 或 \(V\)；GRPO 类方法用同组样本的均值，信用分配的质量取决于比较组的构造方式，各种构造方式的成本和前提见第 6 节的表格。对编排式系统，以下问题尚未解决。

  1. 动态派生的 sub-agent 缺少可比样本。每个 sub-agent 的任务由 orchestrator 临时生成，不存在同角色的可比样本；整局比较会把 orchestrator 的拆分质量混入 sub-agent 的信号；逐个做反事实回放的成本过高。
  2. orchestrator 的决策缺少直接的训练信号。综述统计到的以 orchestrator 为信用单位的工作很少，也没有找到专门训练停止决策的 RL 方法。Kimi K2.5 依靠人工设计的并行与完成度辅助奖励，并在训练中把它们逐步退火到零。
  3. 消息级信用的成本。C3 的反事实回放能给出无偏的消息级信用，但每个候选消息都要重跑后续流程。能否用学到的价值模型或局部检查代替重跑，仍有待研究。

8参考

每条描述和引文都已对照原文（摘要或正文）核对，引文后标注出处位置。点击引文会在原文中定位并高亮这段话；两篇 PDF（Wolpert & Tumer、MARSHAL）只能跳到所在页。MARSHAL 读过正文和附录；Wolpert & Tumer 的式 (7) 来自原文 PDF。

No references found.

- views

Comments