[ICML26] A Random Matrix Perspective on the Consistency of Diffusion Models

논문 개요와 전체 구조

같은 데이터 분포에서 학습했지만 서로 겹치지 않는(non-overlapping) 데이터 부분집합으로 각각 훈련한 확산 모델(Diffusion Model)들이, 동일한 초기 노이즈 시드를 주면 놀랍도록 비슷한 이미지를 생성합니다. 심지어 아키텍처가 달라도(예: CNN 기반 UNet vs. 트랜스포머 기반 DiT) 그렇습니다. 이 현상을 저자들은 일관성(consistency) 이라 부릅니다. GAN이나 VAE 같은 다른 생성 모델에서는 잠재 공간(latent space)의 회전 자유도 때문에 학습 때마다 매핑이 달라지는데, 확산 모델은 왜 이렇게 안정적일까요?

이 논문은 그 답을 선형 효과(linear effect) 에서 찾습니다. 서로 다른 데이터 분할이 공유하는 것은 결국 가우시안 통계량(Gaussian statistics), 즉 평균과 공분산이며, 이 공유된 통계량만으로도 생성 이미지의 상당 부분이 예측된다는 것입니다. 이를 정량화하기 위해 저자들은 무작위 행렬 이론(Random Matrix Theory, RMT) 프레임워크를 세워, 유한한 데이터셋이 학습된 잡음제거기(denoiser)와 샘플링 사상(sampling map)의 기댓값(expectation)과 분산(variance) 을 어떻게 형성하는지 정밀하게 계산합니다.

핵심 결과는 두 갈래입니다. 기댓값 측면에서는 유한 데이터의 샘플링 변동성이 노이즈 스케일을 재규격화(renormalization) 하는 것과 동등해, 저분산 방향을 과도하게 수축(overshrink)시키고 샘플을 데이터셋 평균 쪽으로 끌어당깁니다. 분산 측면에서는 분할 간 불일치가 세 가지 요인으로 분해됩니다 — 고유모드(eigenmode)에 걸친 비등방성(anisotropy), 입력 위치에 걸친 비균질성(inhomogeneity), 그리고 데이터셋 크기에 따른 전역 스케일링(global scaling) 입니다.

이 논문은 ICML 2026(서울)에서 Outstanding Paper Honorable Mention을 받았습니다. 저자는 하버드 대학교의 Binxu Wang, Jacob A. Zavatone-Veth, Cengiz Pehlevan(Kempner Institute·Society of Fellows·Center for Brain Science·SEAS)이며, PMLR 306(2026)에 수록되었습니다. 전개 순서는 다음과 같습니다.

이 리뷰는 위 섹션 순서를 그대로 따라가며 각 챕터를 충실히 정리합니다. 이론 논문이지만 선형 잡음제거기 수치 실험과 심층망 검증 실험을 함께 보고하므로, 실험 결과는 별도 섹션에서 다시 깊게 다룹니다.

핵심 기여와 혁신성

해결하려는 문제의 중요성. 확산 모델과 그 친척인 플로우 매칭(flow matching)은 이미지·비디오·단백질 등 다양한 영역에서 지배적인 생성 패러다임이 되었습니다. 이들은 결정론적 확률 흐름 상미분방정식(Probability Flow ODE, PF-ODE)을 통해 가우시안 노이즈를 구조화된 샘플로 변환합니다. 그런데 서로 겹치지 않는 데이터로 학습해도 동일 시드가 동일 출력에 가깝게 매핑된다는 것은, 이 모델들이 특정 학습 집합에 둔감한, 데이터 매니폴드의 보편적 규칙성을 복원한다는 뜻입니다. 이는 확산 모델의 일반화(generalization)·암기(memorization)·창발성(creativity)에 대한 근본 질문과 직결됩니다.

기존 접근법의 한계. 일관성·재현성은 그동안 주로 경험적으로 관측되어 왔습니다(Kadkhodaie et al., 2024; Zhang et al., 2024). "결정론적 샘플러를 쓰면 아키텍처·목적함수·학습 실행·샘플러·노이즈 커널이 달라도 노이즈→샘플 매핑이 일관적"이라는 관측은 강력하지만, 왜, 그리고 어디서·얼마나 일관적인지를 정량적으로 예측하는 이론은 없었습니다.

제안 해결책의 독창성. 저자들은 확산 모델의 학습된 점수(score, 로그밀도의 기울기)가 광범위한 노이즈 구간에서 데이터의 가우시안 적합의 선형 점수(linear score) 로 잘 근사된다는 선행 관측(Wang & Vastola, 2023; Li et al., 2024b)에서 출발합니다. 선형 잡음제거기는 데이터를 오직 처음 두 모멘트(평균·공분산) 로만 흡수하므로, 유한 표본이 만드는 경험적 공분산(empirical covariance)의 무작위성이 곧 일관성의 변동을 지배합니다. 이 무작위 행렬 문제를 RMT의 결정론적 등가(deterministic equivalence, DE) 도구로 정면 분석한 것이 이 논문의 독창성입니다.

다섯 가지 명시적 기여. 논문은 자신의 기여를 다음과 같이 정리합니다.

• 일관성의 선형 기원: 공유된 가우시안 통계량(선형 잡음제거기)만으로도 분할 간 일치가 예측됨을 보입니다.
• 유한 표본 RMT: 무작위성이 재규격화된 노이즈 스케일 $\sigma^2 \to \kappa(\sigma^2)$ 를 통해 들어오며, 이것이 저분산 모드의 과수축을 설명함을 밝힙니다.
• 분산 법칙(variance law): 분할 간 편차를 비등방성·비균질성·전역 스케일링의 인수분해 형태(factorized form) 로 유도합니다.
• 분수 거듭제곱 등가(fractional-power equivalence): 행렬 분수 거듭제곱의 적분 표현을 이용해 전체 샘플링 궤적의 결정론적 등가를 유도합니다.
• 심층망 검증: UNet·DiT에서 과수축·비등방성·비균질성 현상을 선형 영역 너머까지 정성적으로 확인합니다.

기존 연구 대비 차별점. 선행 연구(Kadkhodaie et al., 2024; Zhang et al., 2024)는 일관성을 관측·기술했고, 다른 선행 연구(Wang & Vastola, 2023; Li et al., 2024b)는 학습된 점수가 가우시안 선형 점수로 근사됨을 보였습니다. 이 논문은 두 흐름을 잇습니다 — 선형 근사를 출발점으로 삼되, 거기서 멈추지 않고 유한 표본이 만드는 편차 자체를 정량 예측하는 데까지 나아갑니다. 즉 "일관적이다"를 넘어 "얼마나·어디서·왜 일관적인가"에 닫힌 형태로 답합니다.

파급효과. 이 이론은 데이터의 스펙트럼 특성을 생성 출력의 안정성과 연결함으로써, 확산 훈련의 재현성에 대한 원리적 기준선(baseline) 을 제공합니다. 만약 두 데이터셋의 가우시안 통계량이 다르면 심층 모델도 일관적 샘플을 내지 못할 수 있으므로, 선형 이론은 일관성의 필요조건을 규정하는 하한 역할을 합니다.

기술적 세부사항

이 절에서는 이론이 기대는 RMT 설정과 핵심 도구, 그리고 가정을 정리합니다. 점수 기반 확산의 기본 표기(잡음화 분포 $p(x;\sigma) = p_0 * \mathcal{N}(0,\sigma^2 I)$, EDM의 PF-ODE, DSM·Tweedie, 선형 잡음제거기 $\hat{D}$, 샘플링 사상 $\hat{x}$)는 아래 Chapter 2에서 상세히 다루므로, 여기서는 무작위 행렬 분석에 특유한 도구에 집중합니다. 분석의 출발점은 "경험적 공분산 $\hat{\Sigma}$ 의 무작위성이 학습된 잡음제거기·샘플링 사상의 기댓값·분산으로 어떻게 전파되는가"입니다.

핵심 도구 — 결정론적 등가(DE). RMT의 핵심 무기는 결정론적 등가로, 무작위 행렬을 결정론적 대리물로 바꾸되 고차원 극한에서 정확해지는 근사입니다. 경험적 공분산에 대한 DE 관계는 다음과 같습니다.

여기서 $\simeq$ 는 결정론적 등가(트레이스류 측정에서 고차원 극한 시 차이가 0으로 수렴)를 뜻하고, $\Sigma$ 는 모집단 공분산, $\kappa(\lambda)$ 는 아래 자기충족 방정식(self-consistent equation)의 유일한 양의 해입니다.

$\mathrm{tr}$ 은 정규화 트레이스($\mathrm{tr}[I]=1$)이며, 이 관계는 종횡비(aspect ratio) $\gamma = d/n$ 와 $\Sigma$ 의 극한 스펙트럼 측도 $\rho$ 로 구동됩니다($n$ 은 표본 수). 핵심 직관은 유한 표본의 확률적 효과가 스칼라 $\kappa(\lambda)$ 하나로 흡수되고 모집단 공분산 $\Sigma$ 는 그대로 남는다는 것 — 장론(field theory)의 자체에너지 재규격화와 같은 구조입니다. 보통 $\lambda = \sigma^2$ 이므로 $\kappa$ 를 재규격화된 노이즈 분산으로 해석할 수 있습니다.

자유도 함수(degrees-of-freedom functions). 분산 결과에는 다음 세 함수가 등장합니다.

$\mathrm{Tr}$ 은 비정규화 트레이스입니다. 이들은 $0 \le \mathrm{df}_2(\lambda) \le \mathrm{df}_1(\lambda) \le \mathrm{rank}(\Sigma) \le d$ 를 만족하고, $\lambda>0$ 의 해 위에서는 엄격 부등식 $\mathrm{df}_1(\lambda) < n$ 이 성립합니다.

가정. 주요 결과는 다음 조건에서 성립합니다 — (i) 고차원 극한 $d, n \to \infty$, $d/n \to \gamma$; (ii) 결정론 대리 행렬의 스펙트럼 노름이 균일하게 유계; (iii) 공분산 효과 분리를 위한 $\hat{\mu} = \mu$; (iv) 분산 결과(Result 4.2)에서 탐침 벡터 $v$ 와 $x-\mu$ 가 일반적(generic) 이라는 것. $v$ 와 $x-\mu$ 가 강하게 정렬되면 추가 교환항이 선행 차수로 기여할 수 있습니다. 상세 기술 가정은 부록 C.1에 있습니다.

챕터별 상세 리뷰

📖 Chapter 1: Introduction

챕터의 위치와 역할: 일관성 현상을 소개하고, 그것이 선형 가우시안 모델로 이미 예측된다는 가설을 세우며, 논문의 다섯 가지 기여를 선언하는 도입부입니다.

저자의 서술 순서를 따라가면 다음과 같습니다.

1. 확산 모델의 부상: 시간 의존 벡터장을 학습해 가우시안 노이즈를 구조화된 샘플로 바꾸는 확산·플로우 매칭이 이미지·비디오·단백질 전반에서 지배적 패러다임이 되었습니다.
2. 일관성이라는 특징: 같은 분포로 학습하면 서로 겹치지 않는 데이터·다른 아키텍처·반복 초기화에도 같은 노이즈 시드가 매우 비슷한 출력으로 매핑됩니다. 이는 등방성 가우시안 잠재공간이 임의 회전을 허용하는 GAN·VAE의 실행 간 변동성과 대비됩니다.
3. 왜 일관성이 중요한가: 겹치지 않는 분할 간 일관성은 모델이 학습 집합에 둔감한 데이터 매니폴드의 측면을 복원함을 시사합니다. 이는 일반화·암기·창발성 논쟁과 직결됩니다.
4. 접근 방식: 저자들은 이 현상을 RMT의 렌즈로 분석하되, 일관성 효과가 이미 선형 가우시안 모델로 예측된다는 관측에서 시작합니다. 경험적 공분산의 유한 표본 변동성이 잡음제거기·샘플링 사상의 기댓값·요동에 미치는 영향을 정밀 분석합니다.
5. 기여 선언: 앞서 정리한 다섯 기여(선형 기원, 유한 표본 RMT, 분산 법칙, 분수 거듭제곱 등가, 심층망 검증)를 명시합니다.

저자들은 GAN·VAE와의 대비를 통해 왜 이 현상이 특히 확산 모델에서 두드러지는지를 미리 짚습니다. GAN·VAE는 등방성 가우시안 잠재공간이 임의의 회전을 허용하므로, 독립적으로 학습한 두 모델이 같은 잠재 벡터를 서로 다른 출력으로 매핑합니다(Martinez & Pearson, 2022). 반면 확산 모델은 결정론적 흐름 아래에서 노이즈→샘플 매핑이 안정적입니다. 이 대비가 논문 전체의 문제의식을 규정합니다.

챕터의 핵심 기여: "일관성은 공유된 가우시안 통계량에서 나온다"는 가설과, 이를 RMT로 정량화하겠다는 연구 설계의 선언. 다음 챕터로의 연결: 이 가설을 정식화하기 위해 점수 기반 확산과 선형 잡음제거기의 표기를 세웁니다.

📖 Chapter 2: Notation and Set up

챕터의 위치와 역할: 이후 모든 정리가 딛고 설 수학적 무대를 세우는 장입니다.

1. 점수 기반 확산 모델: 잡음화 분포 $p(x;\sigma) = p_0 * \mathcal{N}(0, \sigma^2 I)$ 와 점수 $\nabla_x \log p(x;\sigma)$ 를 정의하고, EDM 파라미터화의 PF-ODE를 제시합니다. 다른 확산 형식들은 시간·공간의 단순 재척도로 동등합니다.
2. 학습 목적함수: DSM 목적함수 $\mathcal{L}_\sigma = \mathbb{E}_{x_0 \sim p_0,\, z \sim \mathcal{N}(0,I)}\lVert D(x_0 + \sigma z; \sigma) - x_0 \rVert^2$ 를 최소화합니다. 이는 노이즈가 섞인 관측 $x_0 + \sigma z$ 에서 깨끗한 $x_0$ 를 복원하도록 잡음제거기를 학습시키는 것으로, 최적해는 조건부 기댓값 $\mathbb{E}[x_0 \mid x]$ 입니다. Tweedie 공식 $s(x,\sigma) = (D(x,\sigma)-x)/\sigma^2$ 로 점수를 잡음제거기와 연결하고, 실제로는 가중함수 $w(\sigma)$ 로 스케일별 목적함수를 균형 잡아 전체 손실 $\mathcal{L} = \int d\sigma\, w(\sigma) \mathcal{L}_\sigma$ 를 씁니다.
3. 데이터 분포: 모집단 평균 $\mu$·공분산 $\Sigma$ 를 가진 $p_0(x)$ 에서 $n$ 개 표본을 뽑아 경험적 평균 $\hat{\mu}$·공분산 $\hat{\Sigma}$ 를 만듭니다. 관심은 표본 수 $n$ 과 데이터 실현 $X$ 가 학습된 모델의 기댓값·요동에 미치는 효과입니다.

선형 잡음제거기. 잡음화 상태의 아핀 함수 $D(x;\sigma) = Wx + b$ 를 두고 DSM을 최소화하면, 최적 경험적 선형 잡음제거기는 다음이 됩니다.

$(\hat{\Sigma}+\sigma^2 I)^{-1}\hat{\Sigma}$ 는 각 고유방향을 그 분산 대 노이즈의 비율로 수축시키는 위너 필터형 축소 인자입니다. 선형 회귀처럼 데이터는 처음 두 모멘트로만 들어오며, 분석에서는 공분산 효과 분리를 위해 $\hat{\mu} = \mu$ 로 둡니다.

샘플링 궤적과 사상. 초기 노이즈 $x_T \sim \mathcal{N}(0, \sigma_T^2 I)$ 에서 PF-ODE를 적분하는 매핑 $x_T \mapsto x_0$ 가 샘플링 사상이며, 선형·최적 잡음제거기에서는 닫힌 형태로 풀립니다.

$\sigma \to 0$ 극한은 가우시안 사전분포의 위너 필터를 복원하고, 중심 분석 대상으로 분수 거듭제곱을 포함하는 행렬 $\hat{\Sigma}^{1/2}(\hat{\Sigma}+\sigma_T^2 I)^{-1/2}$ 가 드러납니다.

이 장의 핵심 통찰은 선형 잡음제거기가 데이터를 오직 처음 두 모멘트로만 흡수한다는 사실입니다. 따라서 서로 다른 분할이 공유하는 것이 곧 $(\mu, \Sigma)$ 이며, 분할 간 차이는 전적으로 경험적 공분산 $\hat{\Sigma}$ 의 표본 변동에서 비롯됩니다. 일관성 문제가 무작위 행렬 하나의 요동 문제로 깔끔히 환원되는 이유가 여기에 있습니다.

챕터의 핵심 기여: 일관성 문제를 "$\hat{\Sigma}$ 의 무작위성이 잡음제거기·샘플링 사상에 어떻게 전파되는가"라는 명확한 RMT 문제로 환원. 다음 챕터로의 연결: 이론에 앞서, 그 무대가 실제 심층망에서도 성립함을 보이는 동기 실험으로 넘어갑니다.

📖 Chapter 3: Motivating Empirical Observation

챕터의 위치와 역할: 이론의 출발점이 되는 경험적 관측을 제시해, 일관성이 실재하고 선형 예측자로 상당 부분 설명됨을 보이는 장입니다.

1. 실험 설정: EDM 프레임워크에서 UNet-CNN(Song & Ermon, 2019)과 DiT(Peebles & Xie, 2023)를 FFHQ32의 서로 겹치지 않는 두 분할(각 3만 장)로 학습합니다.
2. 일관성 관측: 같은 노이즈 시드를 결정론적 솔버로 샘플링하면 분할·아키텍처가 달라도 출력이 시각적으로 유사합니다(Fig. 1A). 픽셀 MSE로 정량화하면, 생성 이미지들은 학습 집합의 최근접 이웃보다 서로가 더 가깝습니다 — 이는 암기가 아님을 보여줍니다.
3. 선형 예측자의 위력: 각 분할의 $(\hat{\mu}, \hat{\Sigma})$ 로 만든 선형 가우시안 예측자(위너 필터)가 분할 간 거의 동일한 출력을 내며, CNN·DiT 결과와도 시각적으로 유사합니다. 점별로도 가우시안 해에 가까운 샘플일수록 분할 간 더 일관적입니다(Pearson $r = 0.244$, $p = 5\times10^{-15}$).
4. 선형 대 심층망의 위치: 선형 확산은 심층망보다 더 일관적입니다 — 고차 통계량을 활용할 수 없어 가우시안 통계량에만 의존하기 때문입니다. 그러나 이는 필수 기준선(necessary baseline)을 제공합니다. 만약 가우시안 통계량이 다르면 심층 모델도 일관적 샘플을 내지 못할 수 있기 때문입니다. 즉 선형 이론은 일관성의 하한을 규정합니다.
5. 요약과 반사실 실험: (i) 독립 분할이 거의 동일한 샘플링 사상으로 수렴, (ii) 아키텍처를 넘어 유지, (iii) 단순 가우시안 예측자가 효과의 상당 부분을 포착. 이를 직접 검증하려, 주성분을 따라 표본을 계층화해 평균·분산의 불일치를 의도적으로 유도한 반사실 분할을 만들면 생성 일관성이 뚜렷이 낮아집니다(Fig. 13, 14). 이 관측들이 유한 표본 효과에 대한 RMT 분석의 동기가 됩니다.

이 장의 관측은 두 방향의 증거를 함께 제시한다는 점에서 설득력이 큽니다. 한편으로는 실제 심층망(UNet·DiT)이 분할·아키텍처를 넘어 일관적임을 보이고, 다른 한편으로는 그 일관성이 순수 선형·가우시안 예측자로 재현됨을 보입니다. 전자는 현상의 실재를, 후자는 그 선형적 기원을 각각 뒷받침합니다.

챕터의 핵심 기여: 일관성이 실재하고, 그 상당 부분이 공유된 가우시안 통계량에서 나온다는 경험적 근거. 다음 챕터로의 연결: 이제 유한 표본의 $\hat{\Sigma}$ 가 만드는 편차를 RMT로 정밀 계산합니다.

📖 Chapter 4: Theory of Diffusion Consistency Across Independent Data

챕터의 위치와 역할: 논문의 이론적 심장부로, 데이터셋의 독립적 실현에 대해 잡음제거기의 기댓값과 공분산을 계산합니다.

4.1 Self consistency equation and renormalized noise scale

1. 결정론적 등가: 경험적 공분산에 대한 DE 관계 $\hat{\Sigma}(\hat{\Sigma}+\lambda I)^{-1} \simeq \Sigma(\Sigma+\kappa(\lambda)I)^{-1}$ 를 도입하고, $\kappa(\lambda)$ 를 자기충족(Silverstein) 방정식의 유일한 양의 해로 정의합니다. 이 관계의 의미는, 무작위 행렬 $\hat{\Sigma}$ 를 결정론적 대리물 $\Sigma$ 로 바꾸는 대가로 정규화 상수 $\lambda$ 가 $\kappa(\lambda)$ 로 부풀려진다는 것입니다.
2. 재규격화된 노이즈의 성질: 트레이스류 측정에서 $\hat{\Sigma}$ 의 확률적 효과는 스칼라 $\kappa(\lambda)$ 로 흡수되고 $\Sigma$ 는 불변입니다. 이는 장론에서 자체에너지(self-energy)가 상호작용의 복잡성을 유효 질량 하나로 흡수하는 재규격화와 같은 구조입니다. FFHQ 스펙트럼으로 수치 계산하면 재규격화 효과는 저노이즈에서, 그리고 표본이 차원보다 훨씬 적을 때($\gamma = d/n \gg 1$) 가장 두드러집니다(Fig. 2B). 노이즈가 크면 $\sigma^2 I$ 가 정규화를 지배해 $\kappa(\sigma^2) \approx \sigma^2$ 가 되지만, 노이즈가 작아지면 유한 표본 효과가 상대적으로 커져 $\kappa(\sigma^2)$ 가 $\sigma^2$ 를 크게 웃돕니다.
3. 자유도 함수: $\mathrm{df}_1$, $\mathrm{df}_2$ 와 부등식들을 정의합니다. $\mathrm{df}_1(\lambda)$ 는 리지 회귀의 유효 자유도에 해당하고, $\mathrm{df}_2$ 는 분산 공식에서 표본 수 $n$ 을 보정하는 유효 자유도로 나타납니다. 분모에 $n - \mathrm{df}_2$ 가 등장하는 것은, 유효 자유도만큼 "소진된" 표본을 빼야 진짜 변동 자유도가 남는다는 통계적 직관과 맞닿습니다.

4.2 Expectation: Finite Data Renormalize Noise Scales

이 절은 앞서 세운 DE 도구를 잡음제거기 기댓값에 적용합니다. 경험적 잡음제거기 $\hat{D}$ 의 형태(Eq. 2)에 $(\hat{\Sigma}+\sigma^2 I)^{-1}\hat{\Sigma}$ 가 등장하므로, 자연스럽게 DE 관계 $\hat{\Sigma}(\hat{\Sigma}+\lambda I)^{-1} \simeq \Sigma(\Sigma+\kappa(\lambda)I)^{-1}$ 를 대입할 수 있습니다. 그 결과가 다음 정리입니다.

Result 4.1 (잡음제거기 기댓값의 결정론적 등가). $\hat{\mu} = \mu$ 이고 고정된 탐침 벡터 $v \in \mathbb{R}^d$ 에 대해,

해석: 기댓값에서 유한 데이터는 모집단 잡음제거기의 노이즈 스케일을 $\sigma^2 \to \kappa(\sigma^2)$ 로 재규격화하는 방식으로 작용합니다. 좌변은 무작위 데이터 분할에 대한 잡음제거기 출력의 기댓값이고, 우변은 실제 노이즈 $\sigma^2$ 대신 재규격화된 노이즈 $\kappa(\sigma^2)$ 를 쓴 모집단 잡음제거기입니다. $v$ 는 우리가 관심 갖는 임의의 관측 방향(탐침), $x$ 는 잡음화된 입력입니다. 이는 DSM 목적함수에 적응적 리지(Ridge) 벌점을 더하는 것과 동등합니다. $\kappa(\sigma^2) > \sigma^2$ 이므로 유한 표본 잡음제거기는 저분산 방향을 더 공격적으로 수축시켜 노이즈처럼 취급하고, 출력을 데이터셋 평균 쪽으로 끌어당깁니다(Fig. 2D). 편차는 하위 스펙트럼과 저노이즈에서 가장 큽니다(Fig. 2C). 작은 노이즈는 이미지의 고주파 디테일 생성과 연관되므로, 이 디테일 고유모드는 올바로 학습되는 데 더 많은 표본이 필요함을 시사합니다 — 이는 다음 절의 분산 분석과 5장의 고유대역별 스케일링에서 다시 확인됩니다.

4.3 Fluctuation: Anisotropic and Inhomogeneity of Denoiser Consistency

Result 4.2 (잡음제거기 분산의 결정론적 등가). $\hat{\mu} = \mu$ 이고 크기 $n$ 의 데이터셋 실현에 대해, 점 $x$·방향 $v$ 에서의 분산은 다음으로 인수분해됩니다.

여기서 $\alpha(u, \kappa, \Sigma) := u^\top \Sigma (\Sigma + \kappa I)^{-2} u$ 입니다. 좌변 $v^\top S_D(x) v$ 는 데이터 분할을 바꿔가며 측정한, 점 $x$·방향 $v$ 에서의 잡음제거기 출력의 분산입니다. 이 값이 클수록 두 분할로 학습한 잡음제거기가 그 지점·방향에서 더 크게 어긋난다는 뜻이므로, 곧 일관성의 반대 지표입니다. 우변은 세 조각으로 인수분해됩니다.

• 비등방성(anisotropy) $\alpha(v, \kappa(\sigma^2), \Sigma)$ — 탐침 방향 $v$ 에만 의존하며, 어느 방향으로 재면 편차가 큰지를 결정합니다.
• 비균질성(inhomogeneity) $\alpha(x - \mu, \kappa(\sigma^2), \Sigma)$ — 잡음화 샘플의 위치 $x$ 에 의존하며, 입력 공간의 어디에서 편차가 큰지를 결정합니다.
• 전역 스케일(global scale) $\kappa(\sigma^2)^2 / (n - \mathrm{df}_2(\kappa(\sigma^2)))$ — 표본 수 $n$ 과 종횡비 $\gamma$ 에 따라 전체 크기를 정하며, $n$ 이 커질수록 작아집니다.

핵심은 비등방성과 비균질성이 같은 함수 $\alpha$ 를 공유한다는 점입니다. 방향 의존성과 위치 의존성이 동일한 스펙트럼 구조를 따르므로, 편차 지도를 예측할 때 두 축을 통일된 틀로 다룰 수 있습니다. 점수와 잡음제거기의 관계상, 점수 공분산은 $\sigma^{-4} S_D(x)$ 로 스케일만 다릅니다.

세 요인을 하나씩 풀면 다음과 같습니다.

비등방성. 탐침 $v$ 가 고유값 $\lambda_k$ 의 주성분(PC) $u_k$ 와 정렬되면 $\alpha$ 는 다음과 같이 단순화됩니다.

이 함수는 $\lambda_k = \kappa$ 에서 최댓값 $1/(4\kappa)$ 를 갖는 종형(bell-shaped) 입니다. 즉 각 노이즈 스케일에서 불확실성이 가장 큰 방향은 분산이 재규격화된 노이즈 $\kappa(\sigma^2)$ 와 일치하는 방향입니다. 분산이 너무 크면($\lambda_k \gg \kappa$) 신호가 노이즈를 압도해 안정적으로 학습되고, 너무 작으면($\lambda_k \ll \kappa$) 아예 노이즈로 취급돼 일관되게 억제되므로, 그 중간의 "경계" 모드가 가장 불안정합니다. 시각적으로도 얼굴 데이터(FFHQ)에서 두 분할 잡음제거기의 차이는 고노이즈에서 저주파 얼굴 윤곽으로, 저노이즈에서 고주파 반사 패턴으로 나타납니다(Fig. 3B).

비균질성. $x - \mu$ 를 $\mathcal{N}(0, \Sigma + \sigma^2 I)$ 의 타원 껍질 위에 있다고 근사하면, $u_k$ 를 따른 전형적 반경은 $\sqrt{\sigma^2 + \lambda_k}$ 이고, 대입하면 $(\sigma^2 + \lambda_k)\,\bar\alpha(\lambda_k, \kappa)$ 가 됩니다. 이는 $\lambda_k$ 에 대해 단조 증가하므로, 고분산 모드를 따라 변위된 입력일수록 불확실성이 증폭됩니다(Fig. 3C, 노이즈 이미지 점별 예측 Pearson $r = 0.94$, $\sigma^2 = 1$, $n = 1000$).

전역 스케일링. 모든 방향·샘플에 대해 주변화하면 전체 잡음제거기 분산의 닫힌 형태를 얻습니다(Fig. 3D). 큰 $n$ 극한에서 분산은 $n^{-1}$ 로 감소해 고전 통계 법칙(표본 평균의 분산이 $1/n$ 로 줄어드는 것)을 재현하고, 작은 $n$ 에서는 분모의 $\mathrm{df}_2$ 와 $\kappa$ 의 재규격화 효과가 이 스케일링을 수정합니다. 즉 데이터가 충분하면 표준적 $1/n$ 감소를 따르지만, 데이터가 부족한 영역에서는 스펙트럼 구조가 개입해 감소 속도가 느려집니다.

이 세 요인을 한 문장으로 종합하면, 두 데이터 분할로 학습한 잡음제거기가 어긋나는 정도는 어느 방향으로 재는가(비등방성) × 입력이 어디에 있는가(비균질성) × 데이터가 얼마나 많은가(전역 스케일) 의 곱으로 정해집니다. 이 인수분해 덕분에 편차의 공간적·스펙트럼적 지도를 미리 그릴 수 있습니다.

네 요약하면, 4장의 결과는 잡음제거기 하나에 대한 것이지만 이미 일관성의 두 축을 모두 담고 있습니다. 기댓값 편차는 저분산 방향의 과수축(디테일 소실)으로, 분산 편차는 방향·위치·표본 수에 따른 불일치의 지도로 나타납니다. 그리고 두 효과 모두 재규격화된 노이즈 $\kappa(\sigma^2)$ 라는 단일 스칼라를 통해 데이터 부족의 정도와 연결됩니다.

챕터의 핵심 기여: 유한 데이터의 두 효과 — 기댓값의 노이즈 재규격화(과수축)와 분산의 3인자 분해 — 를 결정론적 등가로 정밀하게 특성화. 다음 챕터로의 연결: 단일 스텝 잡음제거기를 넘어, 분수 거듭제곱을 포함하는 전체 샘플링 궤적으로 결과를 확장합니다.

📖 Chapter 5: Consistency of Diffusion Samples for Linear Denoisers

챕터의 위치와 역할: 관심을 최종 생성 샘플로 옮겨, 샘플링 사상의 기댓값·분산을 계산하는 장입니다. 난점은 사상이 $\Sigma^{1/2}(\Sigma + \sigma^2 I)^{-1/2}$ 같은 분수 거듭제곱을 포함해 기존 DE가 바로 적용되지 않는다는 것입니다. 저자들은 분수 거듭제곱의 적분 표현(Balakrishnan(1960) 공식)과 DE를 결합해 새로운 등가를 유도합니다.

5.1 Expectation of diffusion sample: over-shrinkage to the mean

큰 $\sigma_T$ 근사. 초기 노이즈 스케일이 크면 샘플링 사상은 다음으로 근사됩니다.

여기서 $\bar{x} := (x_T - \mu)/\sigma_T$ 는 정규화된 초기 노이즈이고, $\sigma_T \to \infty$ 극한에서 이 근사는 정확해지며 $\bar{x} \sim \mathcal{N}(0, I)$ 가 됩니다. 명료함을 위해 본문 결과는 이 무한-$T$ 근사에서 제시되며, 유한 $T$ 효과를 반영한 표현은 부록 C.6에 있습니다. 핵심 대상은 이제 $\hat{\Sigma}^{1/2}$ 라는 분수 거듭제곱 행렬이며, 이것이 단일 스텝 잡음제거기 분석과의 차이를 만듭니다.

Result 5.1 (샘플링 사상 기댓값의 DE). 초기 상태 $x_T$ 에서 생성된 샘플의 기댓값은 유효 노이즈 스케일에 대한 적분 형태로 주어집니다. 잡음제거기 기댓값(Result 4.1)의 구조를 닮되, 다양한 유효 노이즈 스케일에 걸쳐 적분한 형태입니다.

과수축 해석. 모집단 사상에서는 $\kappa(u^2)$ 가 $u^2$ 로 환원되지만, 유한 데이터에서는 $\kappa(u^2) > u^2$ 이므로 특히 하위 고유모드에서 더 강한 수축 인자 $(\Sigma + \kappa I)^{-1}$ 로 적분됩니다. 결과적으로 데이터셋 평균 쪽으로의 체계적 과수축이 일어나 저분산 방향의 생성 분산이 줄어듭니다(Fig. 4A). 여기에는 $\hat{\Sigma}^{1/2}$ 의 유한 표본 편향 — $\Sigma = \mathbb{E}[\hat{\Sigma}] \neq (\mathbb{E}[\hat{\Sigma}^{1/2}])^2$ — 도 작용합니다. 흥미롭게도 이 편향은 $\hat{\Sigma}$ 자체가 $\Sigma$ 의 불편추정량임에도, 제곱근을 취하는 비선형 연산이 편향을 도입하기 때문에 발생합니다. 단일 스텝 잡음제거기의 과수축이 이 장에서 궤적 전체로 누적되어, 생성 이미지가 평균 얼굴처럼 매끄러워지는 시각적 결과로 이어집니다.

5.2 Variance of diffusion sample: Anisotropy and inhomogeneity

1. Result 5.2 (샘플링 사상 분산의 DE): 데이터셋 실현에 따른 생성 샘플의 분산 $\mathrm{Var}[v^\top \hat{x}(x_T, 0)]$ 은 잡음제거기 분산(Eq. 7)의 이중 적분으로 단순화됩니다. 두 개의 유효 노이즈 스케일 변수 $\kappa_u = \kappa(u^2)$, $\kappa_v = \kappa(v^2)$ 에 대해 적분하며, 피적분함수의 핵심은 두 정규화가 결합된 형태 $\beta(a; \kappa_u, \kappa_v, \Sigma) := a^\top \Sigma(\Sigma+\kappa_u I)^{-1}(\Sigma+\kappa_v I)^{-1} a$ 입니다. 이는 단일 스텝의 $\alpha$ 함수를 두 스케일로 일반화한 것으로, 방향 의존항(비등방성)과 초기 노이즈 의존항(비균질성)이 동일한 $\beta$ 형태를 공유해 $v$ 와 $\bar{x}$ 에 대한 의존성이 같은 스펙트럼 구조를 가집니다. 이 결과는 데이터 리졸번트(resolvent)의 유효 랭크가 높은 고차원 가우시안 $\bar{x}$ 에서 지배적으로 성립합니다.
2. 수치 검증: Eq. 9, 10의 적분은 평가가 까다로워 별도 수치 기법(부록 D.1)을 씁니다. 이론 예측은 선형 확산의 직접 계산과 밀접히 일치합니다(Fig. 4). 공간적으로 초기 노이즈 $\bar{x}$ 가 $\Sigma$ 의 상위 고유공간을 따라 더 벗어날수록 불확실성이 커지고(Fig. 4C), 방향적으로도 상위 고유공간에서 절대 편차가 큽니다(Fig. 4B).
3. 고유대역별 스케일링: 데이터셋을 키우면 상위 고유공간의 분산은 작은 표본에서도 즉시 감소하지만, 하위 고유공간의 편차는 오래 남아 있다가 더 큰 데이터셋에서야 감소합니다(Fig. 4D). 즉 미세한 디테일은 일관성을 얻는 데 더 큰 데이터셋이 필요합니다. 이는 4.2절 기댓값 분석에서 예고된 "디테일 고유모드는 더 많은 표본을 요한다"는 관측이 궤적 수준에서 정량적으로 확인된 것입니다.

정리하면 5장은 4장의 단일 스텝 결과를 궤적 전체로 승격시키되, 분수 거듭제곱이라는 기술적 난관을 적분 표현으로 우회했다는 점에서 논문의 방법론적 핵심을 이룹니다.

이 장의 예측들은 선형 확산의 직접 계산과 정밀히 일치하지만, Eq. 9·10의 적분이 해석적으로 닫히지 않아 저자들은 별도 수치 적분 기법(부록 D.1)에 기댑니다. 그럼에도 이론이 요구하는 입력은 모집단 공분산 $\Sigma$ 와 표본 수 $n$ 뿐이라는 점이 이후 심층망 검증의 실용성으로 이어집니다.

챕터의 핵심 기여: 분수 거듭제곱으로의 DE 확장을 통해 전체 샘플링 궤적의 기댓값(과수축)·분산(비등방·비균질)을 닫힌 형태로 예측. 다음 챕터로의 연결: 선형 이론이 이렇게 정밀하다면, 실제 심층 확산망에서도 예측이 성립하는지 검증합니다.

📖 Chapter 6: Validating Predictions on Deep Networks

챕터의 위치와 역할: 선형 RMT 예측이 비선형 심층망까지 확장되는지 검증하는 장입니다.

1. 설정: EDM 프레임워크에서 UNet·DiT 잡음제거기를 FFHQ64/32, AFHQ32, LSUN church·bedroom(32/64픽셀), CIFAR10/100에 학습합니다. 각 데이터셋마다 크기 $n \in \{300, 1000, 3000, 10^4, 3\times10^4\}$ 의 서로 겹치지 않는 두 분할로 학습하고(아키텍처당 총 10회 실행), 같은 시드로 Heun 솔버 샘플링을 합니다. Adam으로 5만 스텝 학습합니다.
2. 기댓값 — 암기에서 재규격화로: 두 단계 거동이 뚜렷합니다. 암기 단계($n \le 1000$)에서는 모델이 학습 샘플을 대체로 재현하며, 이는 개별 점을 암기할 수 없는 선형 이론의 범위 밖입니다. 재규격화 단계($n \ge 3000$)에서는 학습 분할·대조 분할과의 거리가 비슷해져 일반화가 나타나고, $n$ 이 커질수록 샘플이 선형 예측자에 가까워집니다.
3. 과수축의 가시화: 재규격화 단계에서 Result 5.1의 과수축이 눈에 보입니다 — 생성된 얼굴이 평균 얼굴을 닮아 질감·배경이 매끄러워지고($n=3000$), 저·중 스펙트럼 고유모드의 분산이 줄어듭니다(Fig. 5D). 이는 이론이 예측한 대로, 유한 표본이 저분산 방향을 노이즈처럼 취급해 데이터 평균 쪽으로 끌어당긴 결과입니다. 이 편향은 $n$ 증가와 함께 감소해 학습·모집단 스펙트럼이 $n \approx 30000$ 에서 일치하면 사라집니다.
4. 요동 — 일관성의 비균질성: 재규격화 단계 안에서 RMT는 어느 초기 노이즈·방향이 분할 간 최대 불일치를 보일지 예측합니다. 스펙트럼상 상위 고유공간에서 특징적 비등방성 프로파일이 나타나고, 데이터셋을 키우면 상위 고유공간의 편차가 가장 먼저 줄어드는 반면 중·하위 고유공간은 그대로거나 오히려 덜 일관적으로 남습니다(Fig. 5E). 이는 "하위 고유모드일수록 일관성을 얻는 데 더 많은 표본이 필요하다"는 이론(Fig. 4B)과 부합합니다. 공간적으로도 RMT 예측이 관측 편차와 상관합니다(예: FFHQ64, $n=30000$, 1000개 시드에서 Spearman $0.33$, $p=2.5\times10^{-26}$, Fig. 5F).
5. 주목할 점과 대조군: 이 예측은 분할 정체성이나 네트워크 아키텍처를 몰라도 모집단 공분산과 데이터셋 크기만으로 가능합니다. 이는 이론이 데이터의 스펙트럼 통계량만을 입력으로 삼기 때문이며, 실무적으로는 "모델을 여러 번 학습하지 않고도 어느 시드가 불안정할지 예측"할 수 있음을 뜻합니다. 다만 심층망의 절대 편차 크기는 선형 이론보다 훨씬 커, 비선형 특유의 개별성을 반영합니다. 상관은 암기 단계에서 붕괴하고(Fig. 33, 34), 노이즈 시드가 어긋나면 사라집니다 — 두 대조 모두 예측력이 진짜 신호임을 확인해 줍니다.

1. 스펙트럼 구조의 확장 검증: 저자들은 AFHQ32, LSUN church·bedroom(32/64), CIFAR10/100 등 추가 데이터셋에서도 같은 두 신호를 확인합니다(Fig. 24–32). 즉 생성 샘플의 고유모드별 분산은 중간 대역에서 과수축(분산 부족)을 보이고(Fig. 5D 유사), 분할 간 편차는 상위 고유공간에서 크며 데이터셋 증가 시 상위부터 먼저 일관성을 회복합니다. 이 패턴이 데이터셋·아키텍처를 가로질러 재현된다는 점이 이론의 보편성을 뒷받침합니다.

챕터의 핵심 기여: 선형 RMT 예측(과수축·비등방성·비균질성)이 아키텍처·데이터셋을 넘어 심층망까지 정성적으로 확장됨을 확인. 다음 챕터로의 연결: 확산 모델이 왜 이런 안정성을 갖는지, 그리고 한계·향후 방향을 논의합니다.

📖 Chapter 7: Discussion

챕터의 위치와 역할: 결과를 종합하고, 다른 생성 모델과 대조하며, 명시된 한계·향후 방향을 정리하는 마무리 장입니다.

1. 종합: 확산 모델의 일관성 상당 부분은 가우시안 통계량으로 이미 포착되며, RMT는 유한 데이터가 재규격화된 노이즈 $\sigma^2 \to \kappa(\sigma^2)$ 를 통해 작용하고 요동이 비등방성·비균질성·전역 스케일링으로 인수분해됨을 보입니다. 이는 DE 도구를 분수 거듭제곱으로 확장한 결과로, 잡음제거기뿐 아니라 샘플링 궤적 전체에 대한 닫힌 형태 예측을 가능하게 하며, 비선형 심층망에서도 편차가 두드러지는 위치를 정성적으로 맞춥니다(비선형 효과가 그 크기를 증폭할지언정).
2. 확산 모델이 특별한 이유: 확산 모델의 근사자는 데이터 분포로 유일하게 결정되는 점수 벡터장 $\nabla \log p(x;\sigma)$ 를 학습합니다. 그 최저차 근사가 가우시안 통계량으로 정해지는 선형 벡터장이며, 이 통계량은 독립 분할 간에 매우 안정적입니다. 특히 고노이즈에서 선형 가우시안 근사가 정확하고, 샘플의 고분산·저주파 측면이 이 구간에서 결정되므로, 비선형 점수망도 공유된 가우시안 구조에서 상당한 안정성을 물려받습니다.
3. 다른 패러다임과의 대조: 자기회귀 모델은 무작위성이 온도 있는 순차 샘플링에서 들어와, 반복 생성이 결정론적 흐름이 아니라 이산 선택의 연쇄에 의존합니다. VAE·GAN은 학습된 사상 $x = f(z)$ 의 잠재공간이 식별 불가능합니다 — $f$ 에 직교변환을 합성해도 잠재·생성 분포가 보존되므로, 독립 학습 모델이 회전된 좌표계를 배울 수 있어 같은 잠재 벡터가 비슷한 출력을 내지 않습니다. 원리적으로는 평균 생성자 야코비안의 우특이벡터 기저 같은 의미 있는 국소 기저로 잠재를 표현해 이 회전 자유도를 고정하면 정렬이 가능하며, 실제로 그 기저에서는 서로 다른 GAN의 축이 얼굴 방향·배경 같은 일관된 의미를 가짐이 보고된 바 있습니다(Wang & Ponce, 2021).
4. 한계(논문 명시): 선형 대리물은 표현력 있는 모델의 변동성을 과소평가하고 아키텍처 특유의 귀납 편향을 담지 못합니다. 무작위 특징(random-feature) 모델로 이론을 확장하면 암기에서 재규격화로의 전이를 더 잘 설명할 수 있고, 모델 용량이 일관성에 필요한 데이터셋 크기를 어떻게 바꾸는지 정량화할 수 있을 것입니다.
5. 향후 방향(논문 명시): 초기 노이즈 공간의 비등방성과 데이터 매니폴드와의 정렬 연구, 노이즈 성분을 주성분 부분공간을 따라 조작해 배경·얼굴 변이를 해석 가능하게 억제하는 방향, "매직 시드(magic seed)" 현상의 설명, VAE·GAN 일관성 분석 등을 제시합니다.

종합하면 이 장은 "왜 하필 확산 모델인가"라는 질문에 대해, 결정론적 흐름과 유일하게 결정되는 점수장이라는 구조적 이유를 제시합니다. 고노이즈에서 선형 가우시안 근사가 정확하고 샘플의 고분산·저주파 측면이 그 구간에서 결정되므로, 비선형 점수망조차 공유 가우시안 구조로부터 상당한 안정성을 물려받습니다. 이것이 독립 학습된 확산 모델들이 노이즈→샘플의 공통 매핑을 공유하게 되는 메커니즘입니다.

챕터의 핵심 기여: 확산 모델 일관성의 메커니즘(공유 가우시안 구조 + 유일한 점수장)을 제시하고, 스펙트럼 기하가 생성 모델 전반을 잇는 통합 요인이 될 수 있음을 시사.

실험 결과 심층 분석

이 논문은 이론이 중심이지만, 선형 잡음제거기 수치 실험과 심층망 검증 실험을 함께 보고합니다. 자동화된 채점 대신 이론 예측과 경험적 측정의 상관계수와 스펙트럼 프로파일이 주된 지표입니다. 이는 "정확도 몇 %"를 겨루는 벤치마크 논문과 달리, 이론이 예측한 편차의 구조가 실제로 관측되는가를 검증하는 방식입니다.

동기 실험(Section 3). FFHQ32의 겹치지 않는 두 분할(각 3만 장)로 학습한 UNet·DiT는 같은 시드에서 시각적으로 유사한 출력을 냈고, 픽셀 MSE 기준 분할 간 거리가 학습 집합 최근접 이웃까지의 거리보다 작아 암기가 아님을 확인했습니다. 가우시안 해에 가까운 샘플일수록 분할 간 일관적이라는 점별 상관은 다음과 같습니다.

반사실 모멘트 조작 실험(Fig. 13–14). "공유된 처음 두 모멘트가 일관성을 만든다"는 가설을 직접 검증하려, 저자들은 두 번째 주성분(PC2)을 따라 표본을 계층화해 평균·공분산이 어긋나도록 분할을 인위적으로 구성했습니다(bottom/mid/top 각 3000장, 그리고 top+bottom 결합 분할). 그 결과 통계량이 조작된 분할(특히 top vs bottom) 사이의 픽셀 MSE는 무작위 대조 분할(split1 vs split2) 사이보다 뚜렷이 커, 일관성이 감소했습니다. 이는 CNN($N=3000$), DiT($N=3000$), CNN($N=10000$) 모두에서 재현되어, 처음 두 모멘트의 일치가 분할 간 일관성의 핵심임을 반대 방향에서 확증합니다.

심층망의 두 단계 전이(Section 6). 데이터셋 크기에 따른 거동이 암기 단계와 재규격화 단계로 뚜렷이 갈립니다.

RMT 예측의 공간적 상관(Fig. 33–34). RMT 분산 예측과 심층망 생성 샘플의 실제 MSE 사이 시드별 상관은, 이론이 예측한 대로 비암기 단계(큰 $n$)에서 유의하게 강해집니다. FFHQ32에서 데이터셋 크기별 Spearman 상관은 다음과 같습니다(1000개 시드 규모).

대부분의 조합에서 $p$-값은 큰 $n$ 에서 $10^{-20}$ 이하로 유의합니다. 반면 CNN(FFHQ64) 등 일부 조합은 작은 $n$ 에서 상관이 사실상 0(예: $n=300$ 에서 Spearman $\approx -0.01$, $p=0.86$)이며, 이는 "선형 점수 근사가 비암기 단계에서만 유효하다"는 이론과 정확히 부합합니다. 대표 사례로 UNet(FFHQ64, $n=30000$)은 1000개 시드에서 Spearman $0.33$($p = 2.5\times10^{-26}$)을 기록했습니다.

아키텍처 간 비교. 같은 데이터셋 크기에서 DiT가 UNet보다 일관성이 높았습니다(Fig. 5C). 이는 두 아키텍처 모두 재규격화 단계에서 공유 가우시안 구조를 물려받되, 암기에서 재규격화로 전이하는 데이터셋 크기 $n$ 이 모델 용량·이미지 해상도에 따라 다르기 때문입니다(Fig. 17–19). 즉 이론이 예측하는 스펙트럼적 편차 구조는 공통이지만, 그 전이가 일어나는 지점은 아키텍처 특유의 귀납 편향에 좌우됩니다.

결과의 함의. 심층망의 절대 편차 크기는 선형 이론보다 크지만(비선형 개별성), 편차가 어디서·어떻게 나타나는지(상위 고유공간의 비등방성, 고분산 방향의 비균질성, 저분산 모드의 느린 수렴)의 구조는 이론과 정성적으로 일치합니다. 특히 이 예측이 분할 정체성·아키텍처를 몰라도 모집단 공분산과 데이터셋 크기만으로 가능하다는 점이 실용적 가치를 높입니다. 상관이 암기 단계에서 붕괴하고 시드가 어긋나면 사라진다는 대조 실험(Fig. 33, 34)은, 이론의 예측력이 우연이 아니라 선형 점수 근사가 유효한 영역에 국한된 진짜 신호임을 뒷받침합니다.

기술적 함의와 응용

재현성의 원리적 기준선. 확산 훈련의 재현성이 "왜, 어디서, 얼마나" 성립하는지를 스펙트럼 특성으로 예측할 수 있게 되었습니다. 어떤 고유모드가 일관성을 얻으려면 얼마나 많은 데이터가 필요한지, 어떤 초기 노이즈 방향이 분할 간 큰 편차를 낼지를 사전에 진단하는 도구가 생긴 셈입니다.

암기·일반화·창발성과의 연결. 확산 모델이 언제 진짜 새로운 샘플을 생성하는지는 과학적으로도, 데이터 유출 방지 측면에서도 중요합니다. 학습된 점수가 경험적 분포의 점수와 정확히 일치하면 역과정은 학습 집합을 복제할 뿐이지만, 좋은 확산 모델은 학습 이미지의 복제가 아닌 새 이미지를 생성합니다. 이 논문의 관점에서 보면, 심층망이 관측하는 암기→재규격화 전이가 바로 이 지점입니다. 작은 $n$ 에서는 개별 점을 암기해 선형 이론의 범위를 벗어나고, 충분한 $n$ 에서는 공유 가우시안 구조로 수렴해 일반화하며, 이때 비로소 RMT 예측이 유의해집니다. 즉 일관성·일반화·암기가 하나의 스펙트럼적 그림 안에서 연결됩니다.

RMT 도구의 확장. 분수 행렬 거듭제곱까지 결정론적 등가를 확장한 것은 이 논문의 기술적 성취입니다. 저자들은 Balakrishnan(1960)의 적분 표현으로 $\hat{\Sigma}^{1/2}(\hat{\Sigma}+\sigma^2 I)^{-1/2}$ 같은 항의 결정론적 등가를 유도했습니다. 샘플링 궤적처럼 이런 분수 거듭제곱 형태가 등장하는 다른 문제(예: 화이트닝, 최적수송 근사)에도 이 기법이 이식될 여지가 있습니다.

초기 노이즈 공간의 기하. 겉보기에 구조 없는 노이즈 공간이 생성 전부터 데이터 공분산에 의해 이미 정박(anchor)되어 있으며, 초기 노이즈와 공분산 고유틀의 정렬이 분할 간 일관성 정도를 예측한다는 관측은, "매직 시드"가 왜 더 나은 생성을 내는지에 대한 스펙트럼적 설명을 제안합니다. 이는 GAN 잠재공간에서 관측된 비등방 효과와도 맥이 닿아, 입력 공간의 스펙트럼 기하가 생성 모델 전반을 잇는 통합 요인이 될 수 있음을 시사합니다.

재현성 노트. 논문은 여러 데이터셋(FFHQ, AFHQ, LSUN, CIFAR)과 두 아키텍처(UNet·DiT)에 걸쳐 실험을 보고하고, 수치 기법(부록 D.1)과 실험 설정(부록 D.3)을 문서화했으며, 부록 B에 확장 시각 예시와 정량 비교, 부록 C에 증명과 유도를 담았습니다. 추가 예시는 저자들이 운영하는 웹사이트에서도 제공된다고 밝힙니다.

한계와 향후 방향(논문 명시). 논문은 선형 대리물이 표현력 있는 모델의 변동성을 과소평가하고 아키텍처 특유의 귀납 편향을 담지 못한다는 점을 명시적 한계로 밝힙니다. 이를 넘어서는 자연스러운 다음 단계로 무작위 특징(random-feature) 모델로의 확장을 제안하는데, 이는 암기→재규격화 전이를 더 잘 설명하고 모델 용량이 일관성에 필요한 데이터셋 크기를 어떻게 바꾸는지 정량화할 수 있으리라 기대합니다. 또한 초기 노이즈 공간의 비등방성과 데이터 매니폴드의 정렬을 연구하면, 노이즈 성분을 주성분 부분공간을 따라 조작해 배경이나 특정 얼굴 변이를 해석 가능하게 억제하는 등 생성 제어로 이어질 수 있습니다. 저자들은 이것이 "매직 시드"가 왜 일관되게 더 나은 생성을 내는지에 대한 스펙트럼적 설명이 될 수 있다고 봅니다.

TrendHacker와의 접점. 이 연구는 "무작위성이 어떻게 구조화된 신호로 수렴하는가"를 스펙트럼 관점에서 정량화합니다. 동일 관점은 엔티티 공동출현 그래프의 스펙트럼 분석이나, 서로 다른 기간·코퍼스로 뽑은 트렌드가 얼마나 일관적으로 재현되는지를 진단하는 데에도 시사점을 줍니다 — 공유된 저차 통계량(고빈도 엔티티·강한 엣지)이 표본이 달라도 안정적으로 재현되고, 저분산 신호(희귀 엔티티)는 더 많은 데이터가 쌓여야 일관성을 얻는다는 직관과 자연스럽게 연결됩니다.