[ICML26] The Flexibility Trap: Rethinking the Value of Arbitrary Order in Diffusion Language Models

논문 개요와 전체 구조

확산 언어 모델(Diffusion Large Language Model, dLLM)의 가장 매력적인 서사는 "왼쪽에서 오른쪽으로"라는 자기회귀(Autoregressive, AR)의 족쇄를 끊는다는 것입니다. 토큰을 임의의 순서(arbitrary order)로 생성할 수 있으니, 이론적으로 그 해공간(solution space)은 고정된 AR 궤적을 진부분집합으로 포함하는 상위집합이 되고, 따라서 더 강력한 추론 잠재력을 열어줄 것이라는 직관이 지배적이었습니다. 실제로 스도쿠나 제브라 퍼즐 같은 특정 과제에서는 비순차 생성의 우월성이 확인되기도 했습니다.

이 논문은 그 직관을 정면으로 반박합니다. 저자들은 수학·코딩 같은 일반 추론(general reasoning) 과제에서는 임의 순서 생성이 오히려 dLLM의 추론 잠재력을 확장하는 것이 아니라 좁힌다는 반직관적 관찰을 제시합니다. 그 원인으로 저자들은 dLLM이 순서 유연성을 이용해 탐색에 결정적인 고불확실성 토큰(high-uncertainty token)을 우회(bypass)하는 경향, 즉 엔트로피 열화(entropy degradation)를 지목합니다. 이 관찰은 dLLM용 강화학습(Reinforcement Learning, RL)이 조합 폭발하는 궤적과 다루기 힘든 우도(intractable likelihood)를 감수하면서까지 이 유연성을 보존하려 애쓰는 관행에 대한 근본적 재고를 요구합니다.

저자들이 내놓는 처방은 놀랍도록 단순합니다. 임의 순서를 아예 포기하고, dLLM을 RL 학습 동안만 AR 정책으로 취급해 표준 GRPO(Group Relative Policy Optimization, 집단 상대 정책 최적화)를 아무 수정 없이 적용하는 것입니다. 이 미니멀한 방법 JustGRPO는 GSM8K에서 89.1% 정확도를 달성하면서도 dLLM 고유의 병렬 디코딩(parallel decoding) 능력을 완전히 보존합니다. 저자는 Zanlin Ni, Shenzhi Wang, Yang Yue 등 칭화대학교(Tsinghua University)의 LeapLab·NLPLab·BNRist 연구진과 알리바바 그룹(Alibaba Group)이며, 2026년 6월 공개된 arXiv 프리프린트(2601.15165)입니다.

논문은 다음과 같은 구조로 전개됩니다. 전체 지도를 먼저 제시합니다.

이 리뷰는 위 섹션 순서를 그대로 따라가며 각 챕터를 충실히 정리합니다. 논문의 논증은 "관찰(3장) → 정식화(4장) → 실증(5장)"의 삼단 구조로, 각 단계가 앞 단계의 발견을 실행 가능한 형태로 옮기는 방식으로 맞물립니다. 실험 논문인 만큼 5장 결과와 부록의 강건성 분석은 별도의 심층 분석 섹션에서 다시 한번 표로 종합해 깊게 파고듭니다.

핵심 기여와 혁신성

해결하려는 문제의 중요성. dLLM은 시퀀스 생성을 이산 노이즈 제거(discrete denoising) 과정으로 다루어 지배적인 AR 패러다임에 도전합니다. dLLM의 매력은 두 가지 이론적 유연성, 즉 효율적 병렬 디코딩과 임의 순서 생성에 있습니다. 병렬 디코딩의 효율 이득은 이미 잘 정립되었지만, 임의 순서 생성이 추론에 실제로 무엇을 가져다주는지는 상대적으로 덜 탐구되었습니다. 이 논문이 파고드는 지점이 바로 여기입니다.

기존 접근법의 한계. 최근 학계는 dLLM에서 스도쿠 같은 과제의 성공과 이론적 약속에 이끌려, 수학·코딩 같은 일반 추론에도 RL로 유사한 고급 능력을 끌어내려 시도해 왔습니다. 그런데 이 시도들은 하나같이 임의 순서 유연성의 보존이 필수라는 전제 위에 서 있습니다. 이 전제는 무거운 세금을 부과합니다. 알고리즘은 조합적으로 폭발하는 노이즈 제거 궤적($O(N!)$)과 다루기 힘든 주변 우도(marginal likelihood)와 씨름해야 하고, 결국 부정확한 근사(ELBO 대리목적 등)에 의존하게 됩니다.

제안 해결책의 독창성. 저자들의 통찰은 "만약 임의 순서가 일반 추론 과제에 비본질적이거나 심지어 해롭다면, 이 모든 복잡성은 불필요하다"는 것입니다. 이들은 먼저 Pass@k(해공간 커버리지 지표)를 활용해 AR 순서가 임의 순서보다 더 높은 추론 경계를 가진다는 것을 실증한 뒤, 그 기제를 엔트로피 열화로 설명합니다. 그리고 dLLM을 RL 동안만 AR 정책으로 취급해 표준 GRPO를 정확히(근사 없이) 적용하는 JustGRPO를 제안합니다. 핵심은 AR 제약이 학습 시점의 "발판(scaffold)"으로만 작동하고, 모델의 양방향 어텐션과 이산 확산 구조는 건드리지 않는다는 점입니다. 그 결과 추론 능력의 유도(순차 탐색의 이점)와 추론 실행(병렬 디코딩의 이점)이 분리(decouple)됩니다.

예상 파급효과. 이 연구는 dLLM RL의 방법론적 무게 중심을 "유연성 보존을 위한 정교한 근사"에서 "유연성 포기를 통한 정확한 최적화"로 옮깁니다. 미니멀한 JustGRPO가 정교한 확산 특화 방법들과 대등하거나 앞서면서도(예: GSM8K 89.1%) 병렬 디코딩을 온전히 유지한다는 사실은, 추후 dLLM RL 연구의 기본 베이스라인을 재설정할 잠재력을 지닙니다.

기술적 세부사항

이 절에서는 논문의 방법론을 떠받치는 네 개의 축 — 확산 언어 모델의 정식화, GRPO, Pass@k, 그리고 AR 정책 대리(surrogate) 구성 — 을 수식과 함께 정리합니다. 각 수식은 논문의 논증에서 특정 역할을 맡습니다. 식 (1)-(2)는 dLLM이 무엇인지, 식 (3)-(4)는 무엇으로 평가·최적화하는지, 식 (5)-(7)은 유연성을 포기했을 때 최적화가 어떻게 다루기 쉬워지는지를 각각 규정합니다.

마스크 확산 모델(Masked Diffusion Model, MDM). dLLM, 특히 MDM은 완전히 마스킹된 상태에서 시작해 반복적으로 마스크를 벗겨 시퀀스를 생성합니다. 연속 시간 변수 $t \in [0,1]$ 는 마스킹 비율을 나타냅니다. 깨끗한 시퀀스 $x_0$ 가 주어지면, 순방향 과정은 각 토큰을 확률 $t$ 로 독립 마스킹합니다.

여기서 $k$ 는 토큰 인덱스, $x_{t,k}$ 는 시각 $t$ 에서 위치 $k$ 의 상태입니다. 신경망 $p_\theta(x_0 \mid x_t)$ 가 마스킹된 위치의 원래 토큰 분포를 추정합니다. 학습은 음의 증거 하한(Negative ELBO)을 최소화하며, 이는 마스킹된 토큰에 대한 가중 교차 엔트로피 손실로 환원됩니다.

$\frac{1}{t}$ 는 마스킹 비율에 따른 가중치, $\mathbb{1}[\cdot]$ 는 해당 위치가 마스크일 때만 손실을 계산하는 지시함수, $L$ 은 시퀀스 길이입니다. 추론 시에는 전부 마스크인 상태에서 시작해, 신뢰도 점수 같은 휴리스틱으로 일부 토큰을 골라 벗겨 나갑니다. 특수한 경우로, 항상 가장 왼쪽 토큰을 벗기면 dLLM은 AR 방식으로 생성하게 됩니다. 이 성질이 뒤의 JustGRPO를 가능하게 하는 열쇠입니다.

GRPO. GRPO는 가치함수 추정을 피하고 집단 수준 보상 정규화(group-level reward normalization)를 쓰는 RL 알고리즘입니다. 질의 $q$ 마다 옛 정책에서 $G$ 개 출력 $\{o_1, \ldots, o_G\}$ 을 샘플링하고, 각 출력의 보상 $r(o_i)$ 를 집단 통계로 표준화해 이점(advantage)을 구합니다.

$\mu_G$ 와 $\sigma_G$ 는 집단 보상의 평균과 표준편차입니다. 목적함수는 KL 정규화가 붙은 클리핑 대리목적을 최대화합니다.

여기서 $\rho_{i,k} = \frac{\pi_\theta(o_{i,k} \mid o_{i,<k}, q)}{\pi_{\text{old}}(o_{i,k} \mid o_{i,<k}, q)}$ 는 현재 정책과 옛 정책 사이의 토큰 수준 중요도 비율(importance ratio)입니다. 문제는 이 비율이 토큰 수준 조건부 확률 $\pi(o_k \mid o_{<k}, q)$ 을 요구한다는 점입니다. AR 모델은 이를 자연히 제공하지만, dLLM은 그렇지 않습니다 — 바로 이 지점이 4장의 갈등입니다.

Pass@k — 추론 잠재력의 대리 지표. 검증 가능 보상 강화학습(Reinforcement Learning with Verifiable Rewards, RLVR)에서 탐색은 개선의 전제 조건입니다. 모델이 탐색 단계에서 정답 경로를 샘플링해야만 RL이 그 경로를 강화할 수 있기 때문입니다. Pass@k는 $k$ 개 독립 샘플 중 적어도 하나가 정답일 확률로, RL 최적화가 접근 가능한 해공간의 상한을 나타냅니다. $n$ 개 샘플 중 $c$ 개가 정답일 때 불편(unbiased) 추정량은 다음과 같습니다.

$\binom{n-c}{k}$ 는 오답만 $k$ 개 뽑는 경우의 수, $\binom{n}{k}$ 는 전체에서 $k$ 개 뽑는 경우의 수이므로, 그 비율은 "$k$ 개를 뽑았는데 전부 오답일 확률"입니다. 1에서 이를 빼면 "적어도 하나가 정답일 확률"이 됩니다. 높은 Pass@k는 정답 궤적이 모델의 샘플링 분포 안에 있어 RL로 학습 가능함을 뜻합니다.

AR 정책 대리 구성. JustGRPO의 수학적 핵심은 dLLM 위에 AR 정책 $\pi_{\text{AR}}$ 을 엄밀히 정의하는 것입니다. 다음 토큰 $o_k$ 의 확률을 얻기 위해, 과거는 관측되고 미래는 마스킹된 입력 $\tilde{x}_k$ 를 구성합니다.

dLLM은 모든 마스크 위치를 동시에 예측하지만, AR 정책은 오직 다음 토큰 $o_k$ 만 취합니다.

$f_{\theta,k}$ 는 위치 $k$ 에서의 모델 로짓(logit)입니다. 이렇게 정의하면 순열에 대한 다루기 힘든 주변화가 정확히 계산 가능한 우도로 바뀝니다.

$f_{\theta,k}$ 는 위치 $k$ 에서의 모델 로짓, $|o|$ 는 출력 시퀀스 길이입니다. 즉 임의 순서를 포기하는 순간, $O(N!)$ 궤적 공간의 주변화가 표준 AR 인수분해로 붕괴하여 GRPO를 근사 없이 그대로 적용할 수 있게 됩니다.

챕터별 상세 리뷰

📖 Chapter 1: Introduction

챕터의 위치와 역할: 논문의 반직관적 문제의식을 선언하고, 관찰(3장)과 처방(4장)을 예고하는 도입부입니다. 이후 모든 실험은 여기서 던진 질문 — "임의 순서는 정말 추론 잠재력을 넓히는가?" — 에 답하기 위한 것입니다.

저자의 서술 순서를 따라가면 다음과 같습니다.

1. dLLM의 두 유연성: dLLM은 시퀀스 생성을 이산 노이즈 제거로 다루며, AR의 엄격한 좌→우 인과 사슬에 비해 효율적 병렬 디코딩과 임의 순서 생성이라는 두 이점을 제공합니다.
2. 탐구의 공백: 병렬 디코딩의 효율은 잘 정립됐지만, 임의 순서 생성의 함의는 덜 탐구됐습니다. 이론적으로는 AR 궤적의 상위집합이라 더 고급 문제 해결을 열 수 있고, 스도쿠·제브라 퍼즐에서 비순차 생성의 우월성도 보고됐습니다.
3. 반직관적 관찰: 그러나 수학·코딩 같은 일반 추론에서는 임의 순서가 RL로 끌어낼 수 있는 추론 잠재력을 넓히기보다 좁힌다는 것을 발견합니다. Pass@k로 측정하면 dLLM을 AR 순서로 제약할 때 오히려 더 높은 Pass@k와 더 높은 추론 경계가 나옵니다(Figure 1 좌).
4. 불확실성 처리와의 연결: 추론은 "Therefore", "Since" 같은 희소한 분기 토큰(forking token)에 달려 있고, 이 지점에서 엔트로피가 국소적으로 치솟습니다. AR은 이 불확실성에 직면하도록 강제하는 반면, 임의 순서는 쉬운 토큰을 먼저 풀어 어려운 분기를 우회합니다. 뒤늦게 분기를 채울 때는 이미 확정된 미래 맥락이 그 모호성을 조기에 해소해 버립니다 — 저자는 이를 엔트로피 열화라 명명합니다.
5. RL 재고의 동기: 현 방법들은 임의 순서 보존을 필수로 가정하지만, 이는 조합 폭발 궤적과 다루기 힘든 우도라는 무거운 세금을 부과합니다. 만약 임의 순서가 비본질적이거나 해롭다면 이 복잡성은 불필요합니다.
6. JustGRPO 예고: dLLM을 RL 동안 AR 정책으로 취급해 표준 GRPO를 무수정 적용합니다. AR은 학습 시점 발판일 뿐이며, 인과 마스킹을 부과하지 않아 양방향 어텐션과 병렬 디코딩을 보존합니다. GSM8K 89.1%, MATH-500 45.1%를 달성하고, 병렬 디코딩과도 완전 호환됩니다(Figure 8).

챕터의 핵심 기여: "임의 순서 유연성이 일반 추론에서 오히려 해로울 수 있다"는 반직관적 가설의 선언과, 그것을 Pass@k·엔트로피 열화로 검증·설명하겠다는 연구 설계.

다음 챕터로의 연결: 주장을 뒷받침하기 위해 먼저 dLLM·GRPO·Pass@k의 형식적 배경을 2장에서 정리합니다.

📖 Chapter 2: Preliminaries

챕터의 위치와 역할: 논문의 세 축(dLLM, GRPO, Pass@k)을 형식적으로 정의해, 3장의 관찰과 4장의 정식화가 딛고 설 토대를 마련합니다.

1. Diffusion Large Language Models (2.1): MDM은 완전 마스킹 상태 $x_1$ 에서 시작해 신뢰도 등 휴리스틱으로 토큰을 벗겨 $x_t \to x_{t-\Delta t}$ 로 진행합니다. 순방향 마스킹은 식 (1), 학습 손실(가중 교차 엔트로피)은 식 (2)로 주어집니다. 특히 항상 가장 왼쪽 토큰을 벗기면 AR 생성이 되는 특수 경우가 중요합니다 — 뒤의 AR 발판이 이 성질을 활용합니다.
2. Group Relative Policy Optimization (2.2): GRPO는 가치함수 없이 집단 보상 정규화로 이점 $\hat{A}_{i,k} = (r(o_i)-\mu_G)/\sigma_G$ 를 구하고, 클리핑 대리목적(식 3)을 최대화합니다. 토큰 수준 중요도 비율 $\rho_{i,k}$ 가 조건부 확률 $\pi(o_{i,k} \mid o_{i,<k}, q)$ 을 요구한다는 점이 dLLM 적용의 걸림돌임을 예고합니다.
3. Pass@k as a Proxy for Reasoning Potential (2.3): RLVR에서 탐색은 개선의 전제이므로, Pass@k(식 4)는 RL 최적화가 접근 가능한 해공간의 상한을 나타내는 표준 지표로 자리 잡았습니다. 방대한 샘플링 예산에도 해를 못 내면 그 문제는 모델의 내재적 추론 경계 밖에 있고, 표준 RLVR은 양의 탐색 신호 부재로 근본적으로 제한됩니다.

챕터의 핵심 기여: 새로운 기여라기보다, 세 축을 통일된 표기로 정리해 이후 논증의 정확성을 담보합니다. 특히 GRPO의 토큰 수준 비율이 dLLM에서 정의되기 어렵다는 긴장을 명시적으로 심어 둡니다.

다음 챕터로의 연결: 도구가 갖춰졌으니, 3장에서 "임의 순서 vs AR 순서"를 Pass@k로 실측해 반직관적 관찰을 검증합니다.

📖 Chapter 3: The Flexibility Trap

챕터의 위치와 역할: 논문 제목이 가리키는 핵심 발견을 실증하는 진단 챕터입니다. 3.1에서 현상(임의 순서가 추론 잠재력을 제한함)을, 3.2에서 그 기제(엔트로피 열화)를 규명합니다. 이 진단이 4장 처방의 정당성을 제공합니다.

실험 설정: 두 디코딩 모드를 비교합니다 — 저신뢰 리마스킹(low-confidence remasking)을 쓰는 표준 확산 디코딩인 Arbitrary Order, 그리고 좌→우로 엄격히 제약한 AR Order. 최대 256 토큰을 256 스텝에 걸쳐 디코딩하고, 반자기회귀(semi-autoregressive) 블록 크기 32, 샘플링 온도 0.6을 씁니다. 두 모드는 동일한 사전학습 모델을 쓰고 오직 디코딩 순서만 다르므로, 관찰된 성능 차이는 순서 유연성 자체에 귀속됩니다.

3.1 Arbitrary Order Can Limit Reasoning Potential

1. Pass@k 분석: LLaDA-Instruct, Dream-Instruct, LLaDA 1.5 세 dLLM을 GSM8K, MATH-500, HumanEval, MBPP 네 벤치마크에서 평가합니다(Figure 3). 임의 순서는 $k=1$ 단발 설정에서는 경쟁력 있고 종종 더 낫지만, 스케일링 곡선이 눈에 띄게 평평합니다. $k$ 가 커질수록 AR 모드가 더 많은 정답을 발굴합니다. 이 경향은 여러 dLLM과 벤치마크에서 일관됩니다.
2. 해공간 커버리지: 임의 순서가 단지 다른 공간을 비효율적으로 탐색하는 것은 아닌지 확인하기 위해, LLaDA-Instruct로 Pass@1024에서 해집합을 분석합니다(Figure 4). 임의 순서가 푸는 문제들은 대체로 AR이 푸는 문제들의 부분집합이며 실제로는 더 작은 부분집합을 이룹니다. 예컨대 HumanEval에서 AR만 푸는 문제가 21.3%인 반면, 임의 순서만 푸는 경우는 0.6%에 불과합니다. 이론적으로 더 큰 해공간이 실제 샘플링에서는 오히려 더 제약된다는 것입니다.
3. 더 많은 임의성, 더 낮은 잠재력: 임의성은 이분법이 아니라 블록 크기 $B$ 로 조절되는 연속량입니다. $B=1$ 은 순수 AR, $B$ 가 클수록 자유도가 큽니다. HumanEval·LLaDA-Instruct에서 $B$ 를 스윕하면(Figure 5), $k \in \{8, 32, 128\}$ 모두에서 $B$ 가 커질수록 Pass@k가 단조 감소합니다. 즉 임의성이 적을수록 추론 잠재력이 일관되게 높습니다.

3.2 Mechanism: The Entropy Degradation

1. 적응적 디코딩이 논리적 분기를 우회한다: AR은 매 스텝 가장 왼쪽 미지 토큰을 강제로 풀어 불확실성에 직면하는 반면, 임의 순서는 신뢰도 기반으로 "쉬운" 토큰을 먼저 풀고 "어려운" 토큰을 뒤로 미룹니다. 자주 우회되는 토큰을 살펴보면(Figure 6), 확산 샘플러가 "Therefore", "Thus", "Since" 같은 논리 접속사·전이어를 불균형하게 뒤로 미룹니다. 이런 토큰은 높은 엔트로피를 가지며 이후 추론 방향을 결정하는 "추론 불꽃(reasoning spark)" 또는 "논리적 분기(logical fork)"로 기능합니다.
2. 엔트로피 열화 현상: 이 분기 토큰들의 엔트로피를 측정하면(Figure 7), AR 순서에서는 이들이 디코딩될 때 높은 엔트로피를 유지해 여러 추론 경로가 살아 있는 유익한 분기점임을 보입니다. 반면 임의 순서는 엔트로피가 급감합니다. 접속사를 미루고 쉬운 미래 토큰을 먼저 생성한 뒤 돌아와 채우면, 이미 확정된 미래 맥락이 불확실성을 크게 줄여 버립니다. 그 결과 모델은 분기점에서 개방적 항해 결정을 내리는 것이 아니라, 미리 정해진 결론으로의 간극을 잇는 회고적 정렬을 할 뿐입니다. 전역 평균 엔트로피(점선)는 AR과 비슷해도, 분기 토큰의 엔트로피(막대)만 유독 떨어진다는 점이 핵심입니다.
3. 결론: 임의 순서의 유연성은 일반 추론에서 탐색(exploration)보다 추론 시점 착취(exploitation)를 무심코 선호합니다. 엔트로피 열화는 이 경향의 정량 지표이며, 낮은 불확실성 결정을 우선함으로써 궤적을 조기에 특정 결과로 고정해 단발 일관성은 높이되 복잡한 문제에 필요한 폭넓은 탐색은 제한합니다. AR은 인과 사슬을 엄격히 지켜 분기의 고엔트로피 성질을 보존하고, 결정적 지점을 우회할 수 없어 다양한 추론 가지에서 샘플링하도록 유도합니다.

챕터의 핵심 기여: (1) AR 순서가 임의 순서보다 높은 추론 경계를 가진다는 Pass@k·커버리지 증거, (2) 그 원인을 분기 토큰의 엔트로피 열화로 규명한 기제적 설명, (3) 임의성 정도($B$)와 잠재력 사이의 단조 관계.

다음 챕터로의 연결: 임의 순서가 잠재력을 제한한다면, 그것을 보존하려 감수하는 RL의 복잡성은 정당화되기 어렵습니다. 4장은 이 "유연성의 세금"을 해부하고 그것을 포기하는 처방을 제시합니다.

📖 Chapter 4: "Just GRPO" for dLLMs

챕터의 위치와 역할: 3장의 진단을 실행 가능한 알고리즘으로 옮기는 처방 챕터입니다. 4.1에서 임의 순서를 보존하려는 기존 RL이 치르는 세 가지 대가를 정리하고, 4.2에서 그 유연성을 포기해 문제를 잘 정의된 형태로 바꾸는 JustGRPO를 정식화합니다.

4.1 The Flexibility Tax in dLLMs' RL

1. 토큰 수준 분해의 모호성: dLLM에서 생성 상태 $s_t$ 는 확률적 언마스킹 궤적 $\tau$ 에 조건화된 잡음 시퀀스입니다. AR 모델과 달리 dLLM은 인덱스 정렬된 유일한 조건부 확률 $\pi(o_t \mid s_t)$ 을 갖지 못해, 토큰 수준 신용 할당(credit assignment)이 모호해지고 표준 중요도 비율 $\rho_t = \frac{\pi_\theta(o_t \mid s_t)}{\pi_{\text{old}}(o_t \mid s_t)}$ 를 정의하기 어렵습니다.
2. 다루기 힘든 시퀀스 우도: AR은 우도를 $\log \pi(o) = \sum_t \log \pi(o_t \mid o_{<t}, q)$ 로 인수분해하지만, dLLM은 모든 유효 궤적에 대한 주변화 $\pi(o \mid q) = \sum_{\tau \in \mathcal{T}} \pi(o, \tau \mid q)$ 가 필요합니다. 길이 $N$ 시퀀스의 궤적 공간은 $|\mathcal{T}| = O(N!)$ 로 폭발해 정확한 우도 계산이 불가능하고, 기존 방법은 ELBO 기반 대리목적에 의존하게 됩니다.
3. 샘플러-학습기 불일치(sampler-learner mismatch): 정확한 우도 근사가 있어도 미묘한 문제가 남습니다. 롤아웃은 보통 신뢰도 기반 생성 $o \sim \pi_{\text{conf}}(o \mid q)$ 로 만드는데, ELBO 목적은 실제 샘플링 정책 $\pi_{\text{conf}}$ 가 아니라 원 모델 분포 $\pi(o \mid q)$ 의 우도를 겨냥합니다. 이 롤아웃-최적화 불일치가 성능을 저해할 수 있습니다.

4.2 JustGRPO

1. 단순성으로의 회귀: 3장에서 순수 AR 순서가 더 높은 추론 잠재력을 보였으므로, RL 단계에서 임의 순서 생성을 명시적으로 포기합니다. 이 제약은 dLLM을 혼란스러운 시퀀스 노이즈 제거기에서 잘 정의된 AR 정책으로 변환합니다.
2. 정식화: 다음 토큰 $o_k$ 의 확률을 위해 과거는 관측, 미래는 마스킹한 $\tilde{x}_k$ (식 5)를 구성하고, 위치 $k$ 로짓의 소프트맥스로 AR 정책(식 6)을 정의합니다. dLLM은 모든 마스크 위치를 예측하지만 AR 정책은 다음 토큰만 취하므로, 순열 주변화가 정확히 계산 가능한 우도(식 7)로 붕괴합니다.
3. 최적화: 이 정식화 덕분에 표준 GRPO를 dLLM에 직접 적용할 수 있습니다(식 8). 각 질의에 대해 옛 AR 정책 $\pi_{\text{AR}}^{\text{old}}$ 로 $G$ 개 출력을 샘플링하고, 비율 $\rho_{i,k} = \frac{\pi_{\text{AR}}(o_{i,k} \mid o_{i,<k}, q)}{\pi_{\text{AR}}^{\text{old}}(o_{i,k} \mid o_{i,<k}, q)}$ 와 집단 표준화 이점 $\hat{A}_{i,k}$ 로 목적을 최대화합니다.
4. 핵심 주석(Remarks): AR 모드 학습이 dLLM을 표준 AR 모델로 바꾸는 것 아니냐는 우려에 저자는 아니라고 답합니다. AR 제약은 오직 RL 학습 시점에만 더 나은 탐색·신용 할당을 위해 적용되며, 인과 마스킹 같은 구조적 제약을 부과하지 않아 병렬 샘플링을 훼손하지 않습니다. 실증적으로 학습된 모델은 병렬 샘플러(EB-Sampler)와 호환됩니다.

챕터의 핵심 기여: 임의 순서 포기라는 단 하나의 결정으로 (1) 토큰 분해 모호성, (2) 다루기 힘든 우도, (3) 샘플러-학습기 불일치라는 세 세금을 동시에 제거하고, 표준 GRPO를 근사 없이 적용 가능하게 만든 정식화. AR을 "학습 발판"으로 한정해 추론 유도와 병렬 실행을 분리한 설계.

다음 챕터로의 연결: 정식화가 완성됐으니, 5장은 JustGRPO가 정교한 확산 특화 방법들과 대등한지, 그리고 병렬 디코딩을 정말 보존하는지 실증합니다.

📖 Chapter 5: Experiments

챕터의 위치와 역할: 두 가설을 검증하는 실증 챕터입니다 — (i) RL 학습에 AR 순서를 강제하면 복잡한 임의 순서 근사 없이도 추론 능력을 끌어낼 수 있다, (ii) 이 제약은 최적화 목적에만 적용되어 추론 시 병렬 디코딩을 온전히 남긴다.

실험 설정: LLaDA-Instruct에 JustGRPO를 적용하고 GSM8K, MATH-500, HumanEval, MBPP에서 평가합니다. 수학은 각 데이터셋 공식 학습 분할로, 코딩은 AceCoder-87K 부분집합(검증 가능 유닛 테스트를 갖춘 21K 표본)으로 학습합니다. 추가 SFT 없이 전체 파라미터 미세조정(full fine-tuning)을 쓰며, 평가는 표준 LLaDA 프로토콜(저신뢰 리마스킹 + 블록 32 반자기회귀, 생성 길이 128/256/512, 온도 0)을 따릅니다. 학습은 16×H100 GPU에서 수행합니다.

5.1 Main Results

1. 추론 과제 성능(Table 1): 확산 특화 적응이 전혀 없는 표준 GRPO만으로도 강력한 종합 성능을 얻습니다. GSM8K에서 89.1%(생성 길이 256)로 선행 확산 특화 방법들과 대등하거나 그 이상이며, MATH-500에서도 유사한 경향입니다. 보조 학습 모듈을 쓰는 LLaDOU나 대규모 사설 데이터로 학습한 LLaDA-1.5(HumanEval에서 더 높은 정확도 보고)와도 전반적으로 경쟁력을 유지합니다. 저자들은 이 비교의 설정 이질성(LoRA vs 전체 미세조정, 스텝당 언마스킹 토큰 수 등)을 캡션에 투명하게 밝히고, 다음 항의 통일 프로토콜로 보완합니다.
2. 통일 프로토콜 재현(Table 2): Table 1의 수치는 서로 다른 설정에서 보고된 것이라, 저자들은 대표 베이스라인을 통일 프로토콜(전체 미세조정, 스텝당 1토큰, 생성 길이 256)로 재현합니다. 이 공정한 비교에서도 JustGRPO가 앞섭니다. 이는 노이즈 제거 궤적의 전체 조합 공간을 최적화할 필요가 없으며, 학습 중 dLLM을 순차 생성기로 취급하는 것이 단순하지만 효과적인 레시피라는 견해를 뒷받침합니다.

5.2 JustGRPO Preserves Parallel Decoding

1. AR 학습이 병렬 디코딩을 훼손하는지 확인하기 위해, 학습 불필요 EB-Sampler(Entropy Bounded)로 병렬 정도(스텝당 토큰 수)를 바꿔 평가합니다(Figure 8). 모델은 병렬 디코딩과 완전 호환되며, 원 LLaDA-Instruct 대비 속도-정확도 트레이드오프가 유리합니다.
2. 흥미롭게도 병렬성이 커질수록 성능 이득이 더 커집니다. 베이스라인은 높은 병렬 스텝에서 성능이 급락하는 반면, JustGRPO 모델은 상대적으로 안정적입니다. MBPP에서 정확도 격차가 보수적 설정(1토큰/스텝) +10.6%에서 공격적 설정(5토큰/스텝) +25.5%로 벌어집니다. AR 정식화가 특정 궤적에 과적합하는 대신 근본 모델 분포를 정련하는 "발판"으로 작동해, 병렬 샘플링 근사에 더 강건한 분포를 만든다는 해석입니다.

5.3 Training Efficiency

1. dLLM에 정확한 GRPO를 적용하면 구조적 트레이드오프가 있습니다 — AR과 달리 각 위치를 단일 인과 순전파가 아니라 독립적으로 평가해야 해, 정확한 우도 계산에 반복당 추가 오버헤드가 붙습니다. 기존 방법은 근사로 이 비용을 회피했지만, Figure 9는 이 오버헤드에도 JustGRPO가 정확도/벽시계 시간 트레이드오프에서 경쟁력 있음을 보입니다 — 근사 기반 베이스라인 ESPO의 최고 정확도를 비슷한 시간 안에 따라잡고 계속 개선됩니다.
2. JustGRPO-Fast: 이 오버헤드는 근본적이지 않습니다. 주 비용원은 목적함수의 위치별 확률 비율 $\rho_{i,k}$ 계산인데, 추론이 희소한 고엔트로피 분기 토큰에 의해 조종된다는 3장 발견에 착안해, $\rho_{i,k}$ 를 상위 25% 고엔트로피 위치에서만 평가해 순전파 평가의 75%를 제거합니다. 위치별 엔트로피는 롤아웃 단계에서 바로 기록되므로 고엔트로피 위치 식별 비용은 무시할 만합니다. JustGRPO-Fast는 기본 JustGRPO보다도 트레이드오프를 개선합니다.

챕터의 핵심 기여: (1) 미니멀 JustGRPO가 정교한 확산 특화 방법들과 대등·우위임을 통일 프로토콜로 실증, (2) AR 학습이 병렬 디코딩을 보존하며 병렬성이 클수록 이득이 커진다는 발견, (3) 고엔트로피 위치 선별로 정확 최적화 비용을 실용화한 JustGRPO-Fast.

다음 챕터로의 연결: 실증이 끝났으니, 6장은 이 결과를 dLLM·순서 임의성·dLLM용 RL 문헌 지형 안에 위치시킵니다.

📖 Chapter 6: Related Work

챕터의 위치와 역할: 세 갈래 문헌 — 확산 언어 모델, 순서 임의성의 가치, dLLM용 RL — 을 정리해 이 논문의 차별점을 명확히 하는 맥락 챕터입니다.

1. 확산 언어 모델: 연속 영역 확산 모델의 성공에 힘입어 이산 텍스트로 확장됐고, 초기 임베딩 공간 접근의 최적화·이산화 난점을 거쳐 마스크 확산 모델이 채택됐습니다. LLaDA, Dream 같은 대규모 모델이 AR과 대등한 성능을 냅니다. 문헌은 특히 두 이점 — 병렬 디코딩과 임의 순서 생성 — 에 주목해 왔습니다.
2. 순서 임의성의 가치: 초기 연구는 제약된 과제에서 임의 순서를 검증했고, 최근에는 일반 추론으로 확장하며 스케치 우선(sketch-first) 같은 비표준 디코딩이나 디코딩 스케줄 최적화를 시도합니다. 이들은 대체로 임의 순서 패러다임 내부에서 성능을 높이는 데 집중해, 그 이점이 순서 임의성에 고유한지는 덜 검토했습니다. 최근 Du 등은 임의 순서의 필요성에 의문을 제기했는데(사전학습 관점에서 균일 순열 학습이 데이터 분포 근사를 크게 느슨하게 만든다), 저자들은 추론·RL에서 유사한 실패 모드를 관찰해 이를 확장합니다.
3. dLLM용 강화학습: dLLM RL은 노이즈 제거 궤적의 조합 폭발에서 비롯한 고유의 최적화 난관에 직면합니다. 초기 토큰 수준 시도는 평균장 근사에 의존했고, 이후 시퀀스 수준 관점으로 이동해 다양한 대리목적으로 주변 우도를 근사합니다. 그럼에도 휴리스틱 샘플링이 확산 사전분포에서 벗어나는 오프폴리시 불일치가 남습니다. LLaDOU(위치 선택 보조 정책)와 TraceRL(추론 트레이스 정렬)이 부분적으로 대응하지만, 둘 다 완전한 임의 순서 기제를 유지하며 그 필요성을 암묵적으로 가정합니다 — 저자들은 임의 순서 자체의 필요성을 재고함으로써 더 단순한 RL이 가능한지 묻습니다.

챕터의 핵심 기여: 기존 dLLM RL이 예외 없이 임의 순서 보존을 전제한다는 공통점을 드러내고, 그 전제 자체를 문제 삼는다는 점에서 이 논문의 독립적 위치를 확립합니다.

다음 챕터로의 연결: 문헌 대비 차별점이 분명해졌으니, 7장은 발견과 처방을 종합하며 임의 vs AR 순서의 트레이드오프를 재고하자고 제언합니다.

📖 Chapter 7: Conclusion

챕터의 위치와 역할: 논문의 논지를 한 문단으로 압축하는 마무리입니다.

1. dLLM의 직관적 매력인 순서 임의성은 복잡한 추론 경로 항해의 유망한 기제로 여겨지지만, 수학·코딩 같은 일반 추론에서는 이 무제약 유연성이 추론 잠재력을 무심코 제약할 수 있습니다 — 임의 순서는 폭넓은 해 커버리지보다 단일 궤적의 정련을 우선하는 경향이 있습니다.
2. 이 관찰은 더 단순한 해법을 시사합니다. 표준 AR 목적으로 모델을 정렬하면 임의 순서용 복잡한 적응 없이 GRPO를 직접 적용할 수 있습니다. JustGRPO는 학습 중 탐색 순서를 의도적으로 제약하는 것이, 단순함에도 불구하고, 추론 성능의 뚜렷한 개선을 낳으면서 추론 시 병렬 디코딩을 온전히 보존함을 보입니다.
3. 정렬을 위해 기본 좌→우 순서로 돌아감으로써, 이 연구는 dLLM 개발에서 임의 vs AR 순서의 트레이드오프를 재고할 것을 촉구합니다.

챕터의 핵심 기여: "덜한 유연성이 더 나은 추론을 연다"는 반직관적 명제를 연구의 최종 테제로 정립.

다음 챕터로의 연결: 본문의 주장을 부록의 강건성 분석(온도·샘플러·랜덤 순서·일반 능력)이 다각도로 방어합니다.

📖 Appendix: 강건성 및 추가 분석 (A–E)

챕터의 위치와 역할: 본문 주장이 특정 설정의 우연이 아님을 입증하는 방어 챕터입니다. 저자의 반박 가능성을 스스로 선제적으로 소진합니다.

1. 학습 세부(A): 코딩은 AceCoder-87K에서 검증 가능 유닛 테스트를 갖춘 21K 도전 표본을 선별합니다. 롤아웃 단계에서 정확한 AR 샘플링을 채택해 표준 GRPO 하 직접 로그확률 계산을 가능하게 합니다. 기본 모델은 LLaDA 8B Instruct, 옵티마이저는 AdamW, 학습률 $5 \times 10^{-6}$, 집단 크기 $G=64$, 16×H100 GPU입니다. 보상은 수학은 정답 동치 시 1의 이진 보상, 코딩은 정확성 보상 $r_{\text{code}}$ (유닛 테스트 통과율)과 형식 보상 $r_{\text{format}}$ 의 합 $r = r_{\text{code}} + r_{\text{format}}$ (식 9)입니다.
2. 온도 분석(B.1): HumanEval에서 Pass@k를 $k=256$ 까지 확장합니다(Figure 10). AR 모드는 표준 패턴(온도 $\approx 0.6$ 에서 정점, $T>1.0$ 에서 저하)을 보이는 반면, 임의 순서는 더 높은 온도에서 정점에 도달합니다 — 확산 샘플러가 결정적 분기점의 불확실성을 억누르기에 충분한 탐색을 위해 더 높은 온도가 필요하다는 엔트로피 열화 기제와 부합합니다. 그러나 각자의 최적 설정("Optimal")에서도 임의 순서는 AR의 추론 잠재력에 미치지 못합니다.
3. 샘플링 알고리즘(B.2): 음의 엔트로피 샘플링(Neg-Entropy), top-k 마진 샘플링(Margin) 등을 시험합니다(Figure 11). 더 정교한 샘플러가 기본 신뢰도 기반보다 나은 Pass@k를 낼 수 있지만 여전히 AR을 따라잡지 못하고, Pass@1은 오히려 약간 나빠져 곡선이 AR에 가까워집니다. 흥미롭게도 Pass@128이 높은 알고리즘일수록 AR과의 문제별 정확도 상관이 높으며(Neg-Entropy가 0.970), 좋은 샘플러일수록 AR처럼 행동한다는 것을 시사합니다.
4. 엔트로피 열화 확장(C): 26개에 이르는 광범위한 논리 접속사("Therefore", "Thus", "So", "Since", "However" 등)로 확장해도(Figure 12), AR이 분기에서 높은 평균 엔트로피를 유지하고 임의 순서가 일관되게 낮은 엔트로피를 보이는 현상이 반복됩니다.
5. 랜덤 순서는 대안인가?(D): 확산 원 정식화에 가까운 완전 랜덤 순서를 검토하지만 도움이 되지 않습니다. Pass@128에서 랜덤 순서는 잘해야 신뢰도 기반과 비슷하고 AR에 크게 못 미치며, Pass@1은 두 베이스라인보다 훨씬 나쁩니다(Table 4). 맥락이 존재하기 전에 토큰을 결정해야 해(예: 토큰 1만 아는데 토큰 30 예측) 출력이 구조적으로 깨지고 LaTeX가 손상되며, 그런 출력은 보상을 거의 못 얻어 RL이 배울 것이 제한됩니다. 고정 랜덤 순열로 학습한 JustGRPO-Random도 GSM8K 82.2%에 그쳐 AR의 89.1%에 크게 못 미칩니다(Table 5).
6. 일반 능력 보존(E): JustGRPO 체크포인트를 MMLU, MMLU-Pro, HellaSwag, ARC-C 등 비추론 벤치마크로 평가하면(Table 6), 일반 능력이 대체로 보존되고 소폭의 과제별 변동만 있습니다. AR 정식화가 구조적 제약이 아니라 순수 학습 시점 발판으로 작동해, 아키텍처·어텐션 패턴·사전학습 지식을 훼손하지 않기 때문입니다.

챕터의 핵심 기여: 온도·샘플러·랜덤 순서·일반 능력의 네 방향에서 본문 주장을 방어하고, "임의 순서의 어떤 변형도 AR을 따라잡지 못한다"는 결론의 견고함을 확립.

다음 챕터로의 연결: 이제 부록까지 포함한 실험 전체 수치를 심층 분석 절에서 표로 종합합니다.

실험 결과 심층 분석

이 절에서는 본문과 부록의 핵심 수치를 표로 종합해, 논문의 세 주장 — (i) AR 순서가 더 높은 추론 잠재력, (ii) JustGRPO의 우위, (iii) 병렬 디코딩 보존 — 이 데이터로 어떻게 뒷받침되는지 확인합니다.

주 결과 — 통일 프로토콜(Table 2). 서로 다른 설정에서 보고된 Table 1을 공정하게 재현한 결과입니다(전체 미세조정, 스텝당 1토큰, 생성 길이 256). †는 저자들이 재현한 베이스라인이며, ESPO의 HumanEval·MBPP는 원 논문 값(설정이 이미 일치)입니다.

미니멀한 JustGRPO가 근사 기반 방법(ESPO, SPG)과 정확 최적화 방법(d1)을 모두 앞섭니다. 특히 GSM8K에서 ESPO 대비 +4.4%p, MATH-500에서 +4.8%p로, "임의 순서 유연성 포기 → 정확 GRPO 적용"이라는 처방의 효과가 뚜렷합니다.

시스템 수준 비교(Table 1) — 생성 길이별 JustGRPO. 생성 길이 128/256/512에서의 JustGRPO 성능입니다.

수학 과제는 생성 길이가 길수록 대체로 향상되고, 코딩 과제는 256 근처에서 정점을 찍는 경향을 보입니다. GSM8K는 128→256 구간에서 +5.3%p(83.8→89.1)로 가장 큰 도약을 보이며, 이는 충분한 생성 여유가 있어야 순차 탐색으로 확보한 추론 잠재력이 발현됨을 시사합니다.

해공간 커버리지(Figure 4) — Pass@1024, LLaDA-Instruct. 임의 순서(AO)가 푸는 문제가 AR이 푸는 문제의 부분집합임을 보이는 핵심 증거입니다.

모든 벤치마크에서 "AR만 푸는" 비율이 "AO만 푸는" 비율을 압도합니다. HumanEval의 21.3% vs 0.6%는 특히 극적으로, 임의 순서가 이론적으로 더 큰 해공간을 갖는다는 통념과 정면으로 배치됩니다.

병렬 디코딩 보존(Figure 8) — MBPP 정확도 격차. JustGRPO가 병렬성이 커질수록 원 모델 대비 이득이 커진다는 발견입니다.

베이스라인이 고병렬에서 급락하는 반면 JustGRPO는 안정적이어서, AR 발판이 병렬 샘플링 근사에 강건한 분포를 만든다는 해석을 뒷받침합니다. 이는 "AR 학습이 dLLM을 AR 모델로 퇴화시키는 것 아니냐"는 우려에 대한 가장 강력한 반증이기도 합니다 — 오히려 병렬성이 커질수록 이득이 벌어지기 때문입니다.

랜덤 순서의 실패(Table 4·5) — LLaDA-Instruct. 랜덤 순서가 커버리지도 못 넓히고 단발 정확도를 붕괴시킴을 보입니다.

완전 랜덤의 Pass@1(예: GSM8K 43.3%)이 두 베이스라인보다 훨씬 낮은 반면, AR의 Pass@128은 모든 열에서 최고입니다. RL 후에도 JustGRPO-Random은 GSM8K 82.2%(+3.6%)에 그쳐 JustGRPO(AR)의 89.1%(+10.5%)에 크게 못 미칩니다(Table 5). 랜덤 순서는 샘플러로도 RL 정책으로도 해법이 아니라는 결론입니다.

일반 능력 보존(Table 6). 추론 학습이 일반 지식을 훼손하지 않음을 보입니다.

네 벤치마크 모두에서 변동이 ±1%p 안팎에 머물러, AR 제약이 학습 시점 발판일 뿐 구조적 제약이 아니라는 주장을 실증합니다. 추론 능력만 향상되고 일반 지식은 보존된다는 이 결과는, JustGRPO가 파괴적 망각(catastrophic forgetting) 없이 목표 능력만 정련하는 안전한 후학습(post-training) 레시피임을 뒷받침합니다.

통계적 신뢰도와 재현성에 관한 유의. 저자들은 Table 1의 베이스라인 수치가 이질적 설정에서 보고됐음을 명시하고(캡션), 이를 보완하기 위해 통일 프로토콜 재현(Table 2)을 추가로 제시합니다. 이는 결과 해석의 함정을 스스로 드러낸 정직한 서술입니다. 다만 논문 본문에는 분산·신뢰구간·다중 시드 반복 결과가 표로 제시되어 있지 않으며, 프로젝트 페이지(nzl-thu.github.io/the-flexibility-trap)가 공개되어 있으나 리뷰 시점 텍스트만으로는 코드·체크포인트의 완전 공개 범위를 단정하기 어렵습니다. 하이퍼파라미터(Table 3)와 보상 설계(부록 A)는 상세히 기술되어 재현의 기본 정보는 제공됩니다.

수치 종합. 표들을 관통하는 서사는 일관됩니다. AR 순서는 Pass@k 커버리지(Table 4)와 해집합 포함 관계(Figure 4)에서 임의 순서를 지배하고, 그 잠재력을 정확 GRPO로 실현한 JustGRPO는 통일 비교(Table 2)에서 근사·정확 기반 모든 베이스라인을 앞섭니다. 동시에 병렬 디코딩(Figure 8)과 일반 능력(Table 6)은 훼손되지 않고, 랜덤 순서(Table 4·5)라는 대안은 커버리지와 단발 정확도 양쪽에서 실패합니다. 즉 "유연성을 포기하되 병렬성은 지킨다"는 논문의 핵심 주장이 진단·처방·강건성의 세 층위 모두에서 정량적으로 방어됩니다.

기술적 함의와 응용

분야에 미치는 영향. 이 논문의 가장 큰 함의는 dLLM RL 연구의 기본 전제를 뒤집는다는 데 있습니다. 그간 이 분야의 지적 에너지는 "임의 순서를 어떻게 보존하면서 우도를 근사할 것인가"에 집중됐습니다. 저자들은 그 전제 자체가 일반 추론에서는 역효과라는 것을 Pass@k·엔트로피 열화로 보이고, 유연성을 포기하면 문제가 잘 정의된 표준 GRPO로 붕괴함을 정식화로 증명했습니다. 앞으로 dLLM RL 논문은 정교한 근사를 제안하기 전에 "그것이 JustGRPO보다 나은가"를 먼저 답해야 하는, 강력한 미니멀 베이스라인이 생긴 셈입니다.

개념적 일반화 가능성. 이 연구가 던지는 더 큰 통찰은 "추론은 희소한 고엔트로피 분기 토큰에 의해 조종된다"는 관점입니다. 저자들은 이 관점을 진단(엔트로피 열화)과 처방(JustGRPO-Fast의 상위 25% 위치 선별) 양쪽에 일관되게 적용해, 관찰과 알고리즘 설계를 하나의 원리로 잇습니다. 이 관점은 dLLM에 국한되지 않습니다 — AR LLM의 탐색 연구(고엔트로피 소수 토큰이 효과적 RL을 이끈다는 최근 결과들)와 자연스럽게 접속합니다. JustGRPO-Fast가 상위 25% 고엔트로피 위치만 평가해 계산의 75%를 절감한 것처럼, 엔트로피 기반 희소 신용 할당이 RL 학습 효율 최적화의 일반 원리로 확장될 여지가 있습니다.

산업 적용 시 고려사항. dLLM의 상업적 매력은 병렬 디코딩에 의한 추론 가속입니다. JustGRPO가 추론 능력 유도(순차 탐색)와 추론 실행(병렬 디코딩)을 분리하고, 특히 병렬성이 클수록 이득이 커진다는 점은 실무적으로 중요합니다. 공격적 병렬 설정에서 원 모델이 급락하는 반면 JustGRPO 모델은 안정적이므로, 지연시간 예산이 빡빡한 서빙 환경에서 속도와 정확도를 동시에 취할 수 있습니다. 또한 표준 GRPO 스택을 그대로 재사용할 수 있어, 확산 특화 RL 파이프라인을 새로 구축·유지하는 엔지니어링 비용을 절감합니다.

향후 연구 방향(논문 명시). 저자들은 결론과 부록에서 두 방향을 시사합니다. 첫째, JustGRPO가 AR 인수분해를 학습 시점 발판으로만 부과하므로 dLLM의 양방향 성질이 대체로 보존될 것으로 기대하며, dLLM이 이미 디코딩한 출력을 반복적으로 정련·수정하는 능력(CDLM 같은 교정 접근, ParallelBench의 양방향 맥락 설정과 연결)이 JustGRPO를 보완할 유망한 방향이라 봅니다. 둘째, 임의 순서가 유익한 특정 과제(스도쿠·제브라 퍼즐 등)와 일반 추론 사이의 경계를 더 정밀히 규명하는 것도 자연스러운 후속 과제입니다.

TrendHacker와의 접점. 이 논문의 방법론적 교훈 — "더 많은 자유도가 항상 더 나은 것은 아니며, 제약이 오히려 탐색을 보존한다" — 은 지식 파이프라인 설계에도 시사점이 있습니다. TrendHacker의 태그 파이프라인이 무제한 LLM 자유생성 대신 폐쇄형 승격(closed-set promotion)과 결정론적 규칙을 택한 것도, 무제약 유연성이 노이즈와 조기 붕괴를 부르는 반면 잘 설계된 제약이 신호를 보존한다는 같은 직관의 다른 표현입니다. 유연성의 덫은 언어 모델 디코딩만의 문제가 아니라, 자유도와 통제 가능성 사이의 트레이드오프를 다루는 모든 시스템 설계에 공명하는 원리입니다.