[ICML26] Motion Attribution for Video Generation

논문 개요와 전체 구조

영상 생성(video generation) 모델은 이미지 생성과 근본적으로 다른 한 가지를 다룹니다. 바로 움직임(motion, 시간적 동역학)입니다. 이미지 생성이 단일 프레임을 만든다면, 영상 생성 모델은 물체가 어떻게 이동하고, 상호작용하며, 물리 법칙을 따르는지를 포착해야 합니다. 그런데 이 움직임이 대체 어떤 학습 데이터에서 비롯되는지에 대해서는 놀라울 만큼 알려진 바가 없었습니다.

NVIDIA·Princeton·MIT 등 공동 연구진이 발표한 이 논문(arXiv:2601.08828, ICML 2026 Outstanding Paper Honorable Mention)은 바로 이 공백을 정면으로 다룹니다. 저자들은 Motive(MOTIon attribution for Video gEneration)라는 움직임 중심(motion-centric)·그래디언트 기반 데이터 귀속(data attribution) 프레임워크를 제안합니다. 핵심 질문은 단 하나입니다.

생성된 영상 속 움직임은 어떤 학습 클립(clip)에서 비롯되는가?

기존의 확산 모델(diffusion model) 데이터 귀속 기법은 대부분 정적 외형(static appearance), 즉 물체·텍스처·배경을 설명하는 데 초점을 맞춰 왔습니다. 이를 영상에 순진하게(naïvely) 확장하면 움직임이 외형 신호에 파묻혀 버립니다. Motive는 움직임 가중 손실 마스크(motion-weighted loss mask)로 시간적 동역학을 정적 외형에서 분리해, 대규모·고품질 영상 데이터셋과 모델에 확장 가능한 움직임 특화 영향력(influence) 계산을 구현합니다. 저자들의 표현을 빌리면, 이는 외형이 아니라 움직임을 귀속시키고, 그것으로 파인튜닝(fine-tuning) 데이터를 큐레이션한 최초의 프레임워크입니다.

실용적 성과도 뚜렷합니다. Motive가 고른 고영향력 데이터로 파인튜닝하면 VBench 벤치마크의 움직임 매끄러움(motion smoothness)과 동적 정도(dynamic degree)가 모두 개선되며, 사전학습(pretrained) 기저 모델 대비 74.1%의 인간 선호 승률(human preference win rate)을 달성합니다. 더욱이 전체 데이터의 단 10%만으로 전체 데이터 파인튜닝(full fine-tuning) 성능을 따라잡거나 넘어섭니다.

논문은 다음과 같은 구조로 전개됩니다. 전체 지도를 먼저 제시합니다.

섹션	제목	핵심 내용
1	Introduction	문제 제기(움직임의 데이터 출처), 기존 방법의 한계, 4대 기여
2	Background	확산·플로우 매칭 영상 생성, 데이터 귀속(영향 함수·TracIn·TRAK)
3	Method	문제 정식화, 확장 가능한 그래디언트 귀속, 프레임 길이 편향 보정, 움직임 귀속, 부분집합 선택, 효율성 분석
4	Experiment	셋업, 주요 결과, 인간 평가, 절제(ablation) 실험
5	Conclusion	결론과 전망
App. A–H	부록	표기법, 확장 관련연구, 추가 실험(LTX-2B), 분석, 알고리즘, 런타임·한계·향후

이 리뷰는 위 섹션 순서를 그대로 따라가며 각 챕터를 충실히 정리하고, 실험 논문인 만큼 4장 결과는 별도의 심층 분석 섹션에서 표와 함께 다시 파고듭니다.

핵심 기여와 혁신성

해결하려는 문제의 중요성. 확산 모델은 본질적으로 데이터 주도적(data-driven)이며, 그 발전은 데이터와 연산의 스케일링을 따라 이뤄져 왔습니다. 선행 연구들은 학습 데이터가 시각적 품질, 의미적 충실도, 조합성(compositionality) 같은 생성 속성을 좌우함을 보였습니다. 움직임도 예외가 아닙니다. 논문은 움직임을 광학 흐름(optical flow)으로 포착되는 시간적 동역학 — 궤적(trajectory), 변형(deformation), 카메라 이동, 상호작용 — 으로 정의합니다. 생성된 움직임이 모델을 빚은 데이터 분포를 반영한다면, 움직임을 영향력 있는 학습 클립으로 귀속시키는 일은 "모델이 왜 그렇게 움직이는가"를 들여다보는 직접적 렌즈가 되며, 원하는 동역학을 위한 표적 데이터 선택을 가능하게 합니다. 특히 대규모 사전학습 코퍼스에 접근할 수 없는 파인튜닝 국면에서 고품질 데이터의 가치가 가장 크기 때문에, 움직임 특화 귀속은 이 국면에서 특히 유용합니다.

기존 접근법의 한계. 저자들은 기존 방법을 움직임에 적용할 때 세 가지 난점이 발생한다고 짚습니다. 첫째, 움직임 지역화(localization) — 귀속이 정적 배경이 아니라 동적 영역에 집중해야 합니다. 둘째, 시퀀스로의 확장 — 그래디언트를 시간축 전체에 걸쳐 적분해야 합니다. 셋째, 시간적 관계 포착 — 속도·가속도·궤적 일관성 같은 단일 프레임 귀속으로는 잴 수 없는 관계를 다뤄야 합니다. 순진한 영상 단위 귀속은 배경이나 물체가 공유된다는 이유로 클립을 높게 순위 매기며 동역학에 대한 통찰을 거의 주지 못합니다.

제안 해결책의 독창성. Motive는 그래디언트를 움직임 인식 마스킹(motion-aware masking)과 함께 계산하여, 귀속 신호가 정적 외형이 아니라 동적 영역을 강조하도록 만듭니다. 저자들이 명시한 4대 기여는 다음과 같습니다.

확장 가능한 그래디언트 기반 귀속: 현대의 고품질 대규모 데이터와 대형 생성 모델 규모에서도 연산 효율적인 귀속 방식을 제안합니다(§3.2).
영상 특유 편향 보정: 그래디언트 크기(magnitude)에 나타나는 프레임 길이(frame-length) 효과를 보정하여, 길이가 다른 클립 사이에서 공정한 귀속을 보장합니다(§3.3).
움직임 강조 귀속: 시간적 동역학을 강조하는 귀속을 도입하여, 움직임 품질에 가장 강하게 영향을 미치는 학습 클립을 추적합니다(§3.4).
실증적 개선: VBench와 인간 평가에서 움직임 매끄러움과 동적 정도를 개선하며, 데이터의 10%만으로 전체 파인튜닝에 필적하거나 능가하고, 움직임 비인식(motion-unaware) 귀속 베이스라인을 능가함을 보입니다(§4).

파급효과. 영상 모델이 스케일업될수록, 이러한 데이터 수준의 이해는 실패 모드를 진단하고 더 제어 가능한 생성 시스템을 구축하는 데 핵심이 됩니다. Motive는 데이터 큐레이션, 아티팩트 진단, 선택적 파인튜닝을 위한 실행 가능한 신호를 제공합니다. 프로젝트 페이지는 research.nvidia.com/labs/sil/projects/MOTIVE 에 공개돼 있습니다.

기술적 세부사항

배경 수식 — 확산·플로우 매칭과 영향 함수

Motive는 잠재 공간(latent space)에서 동작하는 조건부 영상 생성기 $p_\theta(v \mid c)$ 위에 세워집니다. 여기서 $v \in \mathbb{R}^{F \times H \times W \times 3}$ 는 높이 $H$ , 너비 $W$ , 프레임 수 $F$ 의 영상 클립이고, $c$ 는 텍스트 등 조건입니다. VAE 인코더로 잠재 $h = \mathcal{E}(v)$ 를 얻은 뒤, 노이즈 스케줄러가 제공하는 시간 의존 계수 $(\alpha_t, \sigma_t)$ 로 순방향 노이즈를 주입합니다.

z(t, \epsilon) = \alpha_t\, h + \sigma_t\, \epsilon, \qquad \epsilon \sim \mathcal{N}(0, I), \quad t \in \{1, \dots, T\}

여기서 $t$ 는 확산 타임스텝(timestep), $\epsilon$ 은 주입된 가우시안 노이즈, $\alpha_t$ · $\sigma_t$ 는 각각 신호·노이즈 스케일입니다. 확산 학습은 주입된 노이즈를 예측하는 네트워크 $\epsilon_\theta$ 를 훈련합니다.

\ell_{\text{diff}}(\theta; v, c) = \mathbb{E}_{t, \epsilon}\left[\, \lVert \epsilon_\theta(z(t, \epsilon),\, c,\, t) - \epsilon \rVert_2^2 \,\right]

플로우 매칭(flow matching)은 대신 선택된 보간자(interpolant)가 유도하는 순간 속도 $\dot z = \frac{d}{dt} z$ 를 맞추는 시간 의존 벡터장 $f_\theta$ 를 학습합니다.

\ell_{\text{flow}}(\theta; v, c) = \mathbb{E}_{t, \epsilon}\left[\, \lVert f_\theta(z(t, \epsilon),\, c,\, t) - \dot z(t, \epsilon) \rVert_2^2 \,\right]

두 목적함수 모두 $t$ 와 $\epsilon$ 에 걸쳐 적분하는 시간 인덱스 예측기이므로, 그래디언트 기반 귀속은 유사한 난점을 공유합니다. Motive의 귀속은 고정 $(t_{\text{fix}}, \epsilon_{\text{fix}})$ 하 예시별 그래디언트만 요구하므로 확산·플로우 매칭 양쪽에 그대로 적용됩니다(부록 E의 모델 무관성).

데이터 귀속의 고전적 접근은 영향 함수(influence function)입니다. 손실 $\ell(\theta; x)$ 와 테스트 표본 $x_{\text{test}}$ 에 대해, 학습점 $x$ 의 영향력은 다음과 같이 정량화됩니다.

\mathcal{I}(x, x_{\text{test}}) = -\nabla_\theta \ell(\theta; x_{\text{test}})^\top\, H_\theta^{-1}\, \nabla_\theta \ell(\theta; x), \qquad H_\theta = \frac{1}{n}\sum_{i=1}^{n} \nabla_\theta^2 \ell(\theta; x_i)

직관적으로 이 값은 "이 학습 예시를 상향 가중하면 테스트 예시에 대한 모델 예측이 얼마나 바뀌는가"를 잽니다. $\nabla_\theta \ell(\theta; x_{\text{test}})$ 는 테스트 그래디언트, $\nabla_\theta \ell(\theta; x)$ 는 학습 그래디언트, $H_\theta$ 는 손실 지형의 곡률을 담는 헤시안(Hessian)입니다. 그러나 현대 규모에서 헤시안 역행렬을 계산·저장하는 것은 불가능하므로, TracIn·TRAK 같은 실용 기법은 그래디언트 내적이나 특징 투영(feature projection)으로 영향력을 근사합니다.

확산 모델에서는 그래디언트 노름이 타임스텝 $t$ 에 따라 체계적으로 변하는 타임스텝 편향(timestep bias)이 생깁니다. 큰 노름을 갖는 타임스텝과 정렬된 예시가 허위로 영향력 있어 보이는 현상입니다. Diffusion-ReTrac 등은 그래디언트를 정규화하고 $(t, \epsilon)$ 를 부분표집(sub-sampling)해 이를 완화하며, Motive도 이 코사인 스타일(cosine-style) 정규화 점수를 출발점으로 삼습니다.

평가 셋업과 지표

데이터셋: VIDGEN-1M, 4DNeX-10M 두 대규모 영상 데이터셋에서 각각 1만 개 영상을 사용합니다.
질의(query) 데이터: 10개 움직임 범주(compress, bounce, roll, explode, float, free fall, slide, spin, stretch, swing)마다 5개씩, 총 50개 질의 영상. Veo-3로 합성하고 물리적 타당성을 수동 스크리닝해 확보합니다.
모델: Wan2.1-T2V-1.3B, Wan2.2-TI2V-5B(부록에서 LTX-2B 추가). DiT 백본만 갱신하고 T5 텍스트 인코더·VAE는 동결합니다.
벤치마크: VBench의 6개 차원 — 주체 일관성(Subject Consistency), 배경 일관성(Background Consistency), 움직임 매끄러움, 동적 정도, 미적 품질(Aesthetic Quality), 이미징 품질(Imaging Quality). 이 중 움직임 매끄러움과 동적 정도가 시간적 동역학의 1차 표적입니다.

합성 질의 설계와 구현 세부

질의 집합(query set)은 학습 데이터가 아니라 귀속의 표적을 지정하는 역할을 합니다. 자연 영상에서 텍스처 배경·통제되지 않은 카메라 이동 같은 교란 요인 없이 깨끗한 움직임 원형(primitive)을 얻기는 어렵기 때문에, 저자들은 Veo-3로 질의를 합성하고 물리적 타당성·생성 사실성을 엄격히 사후 스크리닝합니다. 예컨대 compress 질의는 "평평한 금속판에 눌리는 샌드위치 빵, 정지 카메라, 부드러운 스튜디오 조명; 공기주머니가 무너지는 것을 강조", roll 질의는 "왼쪽에서 오른쪽으로 굴러가는 실패, 근접 정지 카메라; 축 회전과 매끄러운 이동을 강조"와 같이 통제된 프롬프트로 생성됩니다. 테스트 집합은 동일한 10개 범주이되 시각적 외형이 다른 프롬프트(예: bounce의 경우 "나무 코트 위에서 수직으로 튀는 농구공")로 구성해 일반화를 검증합니다.

구현은 DiffSynth-Studio와 공식 Wan 저장소 설정을 따릅니다. 파인튜닝은 DiT 백본만 갱신하고 T5 텍스트 인코더·VAE는 동결하며, 해상도 480×832, 학습률 $1\times10^{-5}$ , AdamW 옵티마이저, bfloat16 정밀도로 1 에폭(데이터셋 50회 반복) 학습합니다. 단일 범주 선택 데이터로는 전문가(specialist) 모델을, 집계 선택으로는 범용(generalist) 모델을 훈련합니다. 그래디언트 투영 차원은 $d=1{,}418{,}996{,}800$ 에서 $k=512$ 로 줄이며, 움직임 가중치는 AllTracker 흐름 크기를 $[0,1]$ 로 min–max 정규화( $\eta=10^{-6}$ )해 얻습니다.

챕터별 상세 리뷰

📖 Chapter 1: Introduction

챕터의 위치와 역할: 논문 전체의 문제의식을 선언하는 도입부입니다. "움직임은 영상의 정의적 요소"라는 명제에서 출발해, 왜 움직임의 데이터 출처가 중요하고 왜 기존 방법으로는 부족한지를 논증한 뒤 4대 기여를 제시합니다.

저자의 서술 순서를 따라가면 다음과 같습니다.

움직임의 위상: 이미지 생성과 달리 영상 생성은 물체가 어떻게 움직이고 상호작용하며 물리 제약을 따르는지를 포착합니다. 그럼에도 "어떤 학습 데이터가 생성된 영상의 움직임에 영향을 미치는가"라는 근본 질문은 미해결로 남아 있습니다.
왜 중요한가: 확산 모델의 발전은 데이터·연산 스케일링을 따라왔고, 학습 데이터가 시각 품질·의미 충실도·조합성을 빚는다는 것은 선행 연구가 보였습니다. 움직임을 영향력 있는 클립으로 귀속하면 모델이 그렇게 움직이는 이유를 직접 들여다볼 수 있으며, 표적 데이터 선택이 가능해집니다. 고품질 데이터의 가치가 가장 큰 파인튜닝 국면에서 특히 그렇습니다.
왜 기존 방법으로는 부족한가: 선행 확산 귀속은 이미지·정적 콘텐츠에 집중합니다. 영상으로 순진하게 확장하면 움직임이 외형으로 붕괴(collapse)되어, 영상을 이미지와 구별짓는 시간 구조를 놓칩니다. 앞서 정리한 세 난점(지역화, 시퀀스 확장, 시간적 관계 포착)이 이 간극을 만듭니다.
우리의 방법: Motive는 움직임 인식 마스킹으로 그래디언트를 계산해, 귀속 신호가 정적 외형보다 동적 영역을 강조하도록 합니다. 효율적 근사로 대규모 데이터·모델에 실용적으로 확장하며, 생성된 움직임을 학습 클립으로 추적해 표적 큐레이션과 움직임 품질 개선을 가능하게 합니다.
4대 기여 선언: §3.2 확장성, §3.3 프레임 길이 편향 보정, §3.4 움직임 강조 귀속, §4 실증 개선(10% 데이터로 전체 파인튜닝 필적·능가).

챕터의 핵심 기여: "외형이 아니라 움직임을 귀속시킨다"는 문제 설정 자체의 참신함과, 이를 파인튜닝 데이터 큐레이션에 최초로 연결한 연구 프레임의 선언.

다음 챕터로의 연결: 방법을 전개하기 전, 확산·플로우 매칭 생성과 데이터 귀속의 수학적 배경을 2장에서 정리합니다.

📖 Chapter 2: Background

챕터의 위치와 역할: 3장의 방법이 딛고 서는 두 축 — 영상 생성 모델과 데이터 귀속 — 의 형식적 토대를 제공합니다. 표기법과 확장된 관련연구는 부록 A·B로 넘깁니다.

2.1 확산·플로우 매칭 영상 생성

잠재 공간의 확산·플로우 매칭: 조건부 생성기 $p_\theta(v \mid c)$ 를 VAE 잠재 위에서 정의하고, 순방향 노이즈 $z(t,\epsilon) = \alpha_t h + \sigma_t \epsilon$ 를 주입합니다. 확산은 $\ell_{\text{diff}}$ 로 노이즈를 예측하고, 플로우 매칭은 $\ell_{\text{flow}}$ 로 순간 속도 $\dot z$ 를 맞춥니다. 두 목적함수 모두 $t, \epsilon$ 적분 구조를 공유합니다.
이미지에서 영상으로: 시간축 추가는 모델링과 학습을 실질적으로 바꿉니다. 3D U-Net이나 시간 어텐션을 더한 2D U-Net, 인과·슬라이딩 윈도 컨텍스트, 시공간 분해 블록 등으로 시간적 용량을 확장합니다. 학습은 세 축에서 이미지와 갈라집니다 — (i) 연산·저장 비용(긴 시퀀스), (ii) 가변 지평(clip 길이·프레임률), (iii) 시간 특유 실패 모드(궤적 불일치, 시간적 깜빡임, 정체성 표류, 물리적으로 비타당한 동역학).
움직임 표현: 영상을 $v = [f_i]_{i=1}^{F}$ 로 두고, 연속 프레임 사이 광학 흐름 $\mathcal{F}$ 로 움직임을 표현합니다. 각 흐름 벡터는 픽셀의 수평·수직 변위 $(d_x, d_y)$ 를 인코딩하며, 움직임 크기 $M(i,p,q) = \lVert \mathcal{F}(i,p,q)\rVert_2$ 가 클립 내 움직임의 양과 공간적 배치를 요약합니다. 이 크기가 3장 움직임 가중 손실의 마스크로 쓰입니다.

2.2 데이터 귀속

영향 함수와 실용적 근사: 영향 함수(Eq. 4)는 헤시안 역행렬로 곡률을 담지만 대규모에서 계산 불가하므로, TracIn·TRAK가 그래디언트 내적·투영으로 근사합니다.
확산 모델의 귀속: 타임스텝 편향을 완화하기 위해 정규화된 테스트·학습 그래디언트의 코사인 스타일 점수를 씁니다.

\mathcal{I}_{\text{diff}}(x, x_{\text{test}}) = \frac{1}{|\mathcal{T}_{\text{test}}|}\sum_{t,\epsilon} \underbrace{\frac{\nabla_\theta \ell_{\text{diff}}(\theta; x_{\text{test}}, t, \epsilon)}{\lVert \nabla_\theta \ell_{\text{diff}}(\theta; x_{\text{test}}, t, \epsilon)\rVert}}_{\text{정규화된 테스트 그래디언트}} \cdot \frac{1}{|\mathcal{T}|}\sum_{t,\epsilon} \underbrace{\frac{\nabla_\theta \ell_{\text{diff}}(\theta; x, t, \epsilon)}{\lVert \nabla_\theta \ell_{\text{diff}}(\theta; x, t, \epsilon)\rVert}}_{\text{정규화된 학습 그래디언트}}

$(t, \epsilon)$ 에 걸친 평균이 추정을 안정화하고, 정규화가 타임스텝에 의한 스케일 효과를 완화합니다.

왜 순진한 귀속은 영상에 부족한가: 영상 확산에 그래디언트 귀속을 그대로 적용하면 외형과 움직임을 동일하게 취급해, 물체·텍스처·배경을 과대평가하고 동역학을 놓칩니다. 비용은 클립 길이·표집 타임스텝·노이즈·그래디언트 차원에 따라 커집니다. 움직임은 프레임에 분산돼 있고 정적 단서와 얽혀 있어, 영향력을 프레임 독립적으로 배정할 수 없습니다.

챕터의 핵심 기여: 3장의 모든 설계 선택(정규화, 단일 타임스텝, 투영, 마스킹)이 어떤 기존 문제를 겨냥하는지 명확한 좌표계를 세웁니다.

다음 챕터로의 연결: 이 배경 위에서, 확장성·프레임 길이 편향·움직임 특화라는 세 문제를 차례로 푸는 방법을 3장에서 전개합니다.

📖 Chapter 3: Method

챕터의 위치와 역할: 논문의 방법론 본체입니다. 문제를 정식화한 뒤(§3.1), 네 구성요소 — 확장 가능한 그래디언트 계산(§3.2), 프레임 길이 편향 보정(§3.3), 움직임 인식 가중(§3.4), 표적 데이터 선택(§3.5) — 를 쌓고, 효율성 분석(§3.6)으로 마무리합니다.

3.1 문제 정식화

파인튜닝 국면의 움직임 귀속을 다룹니다. 파인튜닝 코퍼스 $\mathcal{D}_{\text{ft}} = \{(v, c)\}$ 와 질의 영상 $(\hat v, \hat c)$ 가 주어지면, 각 학습 클립에 움직임 인식 영향력 점수 $\mathcal{I}_{\text{mot}}(v, \hat v; \theta)$ 를 배정해 그것이 $\hat v$ 의 동역학에 어떻게 기여하는지 설명합니다. 이 점수는 두 성질을 만족해야 합니다 — (i) 예측성(predictivity): 순위가 파인튜닝으로 관측된 변화와 상관해야 하고, (ii) 효율성: 명시적 헤시안 역산·값별 적분·과도한 저장 없이 현대 영상 생성기에 확장되어야 합니다. 예산 $K$ 에 대해 점수 상위 $K$ 개를 골라 움직임 중심 파인튜닝 후보 부분집합을 구성합니다.

3.2 확장 가능한 그래디언트 기반 귀속

이 절은 네 가지 기법으로 귀속을 확장 가능하게 만듭니다.

헤시안 역행렬 근사: 정확한 역헤시안-벡터곱은 불가능하므로, 항등 사전조건자(identity preconditioner)를 써서 그래디언트 유사도로 영향력을 추정합니다.
공통 난수(common randomness)로 안정적 순위: 학습·테스트 그래디언트를 동일한 $(t, \epsilon)$ 쌍에서 평가하고 작은 집합에 대해 평균 내, 독립 추출 대비 순위를 안정화합니다.

\mathcal{I}^{(1)}_{\text{diff}}(x, x_{\text{test}}) = \frac{1}{|\mathcal{T}|}\sum_{t,\epsilon} \frac{\nabla_\theta \ell_{\text{diff}}(\theta; x_{\text{test}}, t, \epsilon)}{\lVert \nabla_\theta \ell_{\text{diff}}(\theta; x_{\text{test}}, t, \epsilon)\rVert} \cdot \frac{\nabla_\theta \ell_{\text{diff}}(\theta; x, t, \epsilon)}{\lVert \nabla_\theta \ell_{\text{diff}}(\theta; x, t, \epsilon)\rVert}

단일 표본(single-sample) 변형: 모든 학습–테스트 쌍에 대해 단일 $t_{\text{fix}}$ 와 공유 추출 $\epsilon_{\text{fix}} \sim \mathcal{N}(0, I)$ 를 고정합니다. 공유가 상대적 순서를 유지할 만큼 분산을 낮춰, 연산을 대폭 줄입니다.

\mathcal{I}^{(2)}_{\text{diff}}(x, x_{\text{test}}) = \frac{\nabla_\theta \ell_{\text{diff}}(\theta; x_{\text{test}}, t_{\text{fix}}, \epsilon_{\text{fix}})}{\lVert \nabla_\theta \ell_{\text{diff}}(\theta; x_{\text{test}}, t_{\text{fix}}, \epsilon_{\text{fix}})\rVert} \cdot \frac{\nabla_\theta \ell_{\text{diff}}(\theta; x, t_{\text{fix}}, \epsilon_{\text{fix}})}{\lVert \nabla_\theta \ell_{\text{diff}}(\theta; x, t_{\text{fix}}, \epsilon_{\text{fix}})\rVert}

구조화 투영(structured projection)으로 저장 절감: 모델 규모에서 동작하기 위해 Fastfood 기반 존슨–린덴스트라우스(Johnson–Lindenstrauss) 투영 $P \in \mathbb{R}^{k \times d}$ 를 적용합니다.

P := \frac{1}{\sigma}\, S\, H\, G\, \Pi\, H\, B

여기서 $H$ 는 월시–아다마르(Walsh–Hadamard) 행렬, $B$ 는 대각 라데마허(Rademacher) 행렬, $\Pi$ 는 무작위 순열, $G$ 는 대각 가우시안 스케일링, $S$ 는 대각 재스케일링이며, $\sigma$ 가 분산을 정규화합니다. 이 구조 덕분에 곱셈을 $O(d \log d)$ 로 수행합니다. 투영·정규화된 그래디언트는

\tilde g(\theta, x) := \frac{P\, \nabla_\theta \ell_{\text{diff}}(\theta, x, t_{\text{fix}}, \epsilon_{\text{fix}})}{\lVert P\, \nabla_\theta \ell_{\text{diff}}(\theta, x, t_{\text{fix}}, \epsilon_{\text{fix}})\rVert}

이고, 최종 영향력 점수는 투영·정규화된 그래디언트의 내적(즉 $\mathbb{R}^k$ 상의 코사인 유사도)입니다.

\mathcal{I}^{(3)}_{\text{diff}}(x, x_{\text{test}}) = \tilde g(\theta; x_{\text{test}})^\top\, \tilde g(\theta; x)

이로써 투영은 $O(d \log d)$ , 내적은 $O(k)$ , 저장은 $O(|\mathcal{D}|\,k)$ 로 유지되면서 전체 그래디언트 코사인 유사도의 순위 행태에 근접합니다.

3.3 영상 특유 프레임 길이 편향 보정

원 그래디언트 크기는 프레임 수 $F$ 에 의존해, 점수가 긴 영상 쪽으로 편향됩니다. 이를 투영·정규화 이전에 프레임 수로 정규화해 보정합니다.

\nabla_\theta \ell_{\text{diff}}(\theta; v, t_{\text{fix}}, \epsilon_{\text{fix}}) \;\leftarrow\; \frac{1}{F}\, \nabla_\theta \ell_{\text{diff}}(\theta; v, t_{\text{fix}}, \epsilon_{\text{fix}})

Eq. 10의 $\ell_2$ 정규화는 그대로 적용되어 예시 간 스케일을 추가로 안정화합니다. 단일 타임스텝·공통 난수·투영·프레임 길이 보정이 함께 콤팩트하고 확장 가능한 추정기를 이룹니다. 다만 이 영상 단위 귀속은 여전히 외형과 움직임을 혼동합니다.

3.4 움직임 귀속 (Motion Attribution)

영상 전체 영향력을 넘어, 움직임 귀속은 학습 데이터가 시간적 동역학에 기여하는 몫만 분리합니다. 핵심은 움직임 마스크로 위치별 그래디언트를 재가중하여, 정적 콘텐츠가 아니라 동적 행동으로 영향력을 배정하는 것입니다.

움직임 검출과 잠재 공간 매핑: 영상을 VAE 잠재 $h = \mathcal{E}(v)$ 로 인코딩합니다(Wan2.1 백본, 공간 다운샘플 8, 채널 16). 움직임은 AllTracker로 픽셀 공간에서 추출하며, 처음 두 채널이 광학 흐름, 나머지가 가시성·신뢰도 점수입니다. 각 픽셀의 변위 벡터는

D_i(p, q) = \big(\Phi_{i,p,q,0},\, \Phi_{i,p,q,1}\big) = (d_x, d_y)

이며, 마스킹이 그래디언트가 계산되는 잠재 격자에 살도록 이중선형(bilinear) 다운샘플합니다.

움직임 가중 그래디언트 계산: 위치별 움직임 크기 $M(i,p,q) = \lVert D_i(p,q)\rVert_2$ 를 프레임·픽셀 전체에 걸쳐 min–max 정규화해 $[0, 1]$ 범위 가중치를 얻습니다.

W(i, p, q) = \frac{M(i, p, q) - M_{\min}}{M_{\max} - M_{\min} + \eta}

여기서 $M_{\min}, M_{\max}$ 는 전체 최소·최대, $\eta = 10^{-6}$ 은 분모의 양수성을 보장합니다. 이 정규화는 절대 움직임 스케일 편향을 줄여 상대적 움직임 현저성(saliency)을 강조합니다. 잠재 격자 $(\tilde h, \tilde w)$ 로 이중선형 다운샘플해 $\tilde W$ 를 얻습니다.

위치별 오차와 움직임 가중 손실: 고정 $(t_{\text{fix}}, \epsilon_{\text{fix}})$ 에서 프레임 $i$ ·잠재 픽셀 $(\tilde h, \tilde w)$ 마다 위치별 제곱 오차 $\delta_{\theta,v,c}(i, \tilde h, \tilde w)$ 를 계산하고, 이를 움직임 가중으로 평균 내 손실을 정의합니다.

\ell_{\text{mot}}(\theta; v, c) = \frac{1}{F}\, \operatorname{mean}_{i, \tilde h, \tilde w}\Big[\, \tilde W_{v,c}(i, \tilde h, \tilde w) \cdot \delta_{\theta, v, c}(i, \tilde h, \tilde w) \,\Big]

주목할 점은 $\tilde W$ 가 전부 1이면 움직임 강조가 없는 표준 목적함수로 환원된다는 것입니다. $1/F$ 항이 프레임 길이 편향을 보정합니다. 이에 대응하는 움직임 가중 그래디언트로 귀속 점수를 정의합니다.

\mathcal{I}_{\text{mot}}(v, \hat v) = \tilde g_{\text{mot}}(\theta, \hat v)^\top\, \tilde g_{\text{mot}}(\theta, v), \qquad \tilde g_{\text{mot}}(\theta, v) := \frac{P\, g_{\text{mot}}(\theta, v, t_{\text{fix}}, \epsilon_{\text{fix}})}{\lVert P\, g_{\text{mot}}(\theta, v, t_{\text{fix}}, \epsilon_{\text{fix}})\rVert}, \quad g_{\text{mot}} := \nabla_\theta \ell_{\text{mot}}

손실 공간 마스킹(loss-space masking)은 순방향 노이즈와 생성은 그대로 두고 귀속만 재가중합니다. 즉 움직임 가중과 노이즈 주입이 상호작용하지 않도록 분리하여, 순위가 외형이 아니라 모델의 움직임을 가장 강하게 빚는 학습 클립을 식별하게 합니다.

3.5 최다 영향력 파인튜닝 부분집합 선택

질의 클립 $(\hat v, \hat c)$ 에 대해 각 파인튜닝 표본의 움직임 인식 귀속 값을 계산합니다. 단일 질의에서는 예산 $K$ 만큼 상위 점수 예시를 고릅니다(보통 데이터 크기의 상위 1–10% 백분위). 다중 질의에서는 ICONS의 다수결 투표(majority voting)를 채택해 백분위 임계와 투표로 점수를 집계합니다. 표본은 질의별 백분위 컷 $\tau_k$ 를 넘으면 한 표를 받고, 후보 $v$ 의 합의 점수는 그를 지지한 질의 수입니다.

\text{MajVote}(v) = \sum_{k=1}^{m} \mathbb{1}\big[\, \mathcal{I}_{\text{mot}}(v, \hat v_k) > \tau_k \,\big], \qquad \mathcal{S} = \{\, v \mid v \in \text{top-}K \text{ by MajVote} \,\}

이 정식화는 원 점수의 교차 질의 보정 없이도, 여러 질의에 걸쳐 일관되게 영향력 있는 표본을 강조합니다.

3.6 계산 효율성 분석

그래디언트 연산: 타임스텝·노이즈를 순진하게 평균하면 $O(|\mathcal{D}|\,|\mathcal{T}|\,C)$ 이지만, 단일 표본으로 $O(|\mathcal{D}|\,C)$ 로 줄입니다( $C$ 는 단일 순전파+역전파 비용). 투영은 예시당 $O(d \log d)$ 로 무시할 만합니다.
그래디언트 저장: 전체 그래디언트 저장은 $O(|\mathcal{D}|\,d)$ 이지만, 투영 벡터만 저장하면 $O(|\mathcal{D}|\,k)$ 입니다. $k \ll d$ 이므로 10억 파라미터 모델에서도 저장이 다룰 만해집니다.
순위 연산: 영향력 계산은 $\mathbb{R}^k$ 내적이므로 모든 학습 예시 평가가 $O(|\mathcal{D}|\,k)$ , 정렬이 $O(|\mathcal{D}| \log |\mathcal{D}|)$ 입니다. 움직임 마스크 추출(AllTracker)은 한 번만 수행·캐시되어 그래디언트 비용 대비 무시할 만합니다.

부록 A(Algorithm 1)는 전체 파이프라인을 다음과 같이 요약합니다.

입력: 파인튜닝 코퍼스 D_ft, 질의 영상 (v̂, ĉ), 고정 (t_fix, ε_fix), 투영 행렬 P
출력: 움직임 인식 영향력 점수 {I_mot(v, v̂)}

1  각 (v, c) ∈ D_ft 에 대해:
2    D ← AllTracker(v)                        # 픽셀별 흐름 변위 (Eq. 12)
3    W ← 잠재 공간 움직임 마스크로 다운샘플·정규화 (Eqs. 13-15)
4    ℓ_mot(θ; v, c) 평가                        # 움직임 가중 손실 (Eq. 16)
5    g_mot ← ∇_θ ℓ_mot(θ; v, c, t_fix, ε_fix)  # 움직임 그래디언트
6    g_mot ← g_mot / F                         # 프레임 길이 정규화
7    g̃_mot(θ, v) ← P·g_mot / ‖P·g_mot‖         # 투영·정규화 (Eq. 17)
8  질의 그래디언트 g̃_mot(θ, v̂) 를 동일 절차로 계산
9  각 학습 클립: I_mot(v, v̂) ← g̃_mot(θ, v̂)ᵀ g̃_mot(θ, v)   # (Eq. 17)
10 MajVote 로 순위 매겨 top-K 선택 (Eq. 18)

챕터의 핵심 기여: 손실 공간 움직임 마스킹으로 "움직임만" 귀속하는 아이디어와, 단일 타임스텝·공통 난수·Fastfood 투영·프레임 길이 보정을 결합해 10억 파라미터 규모로 확장한 실용 추정기.

다음 챕터로의 연결: 이 프레임워크가 실제로 움직임 품질을 개선하는지, VBench·인간 평가·절제 실험으로 4장에서 검증합니다.

📖 Chapter 4: Experiment

챕터의 위치와 역할: 방법의 실증 검증부입니다. 셋업(§4.1), 주요 결과(§4.2), 인간 평가(§4.3), 절제 실험(§4.4) 순으로, 각 설계 선택이 실제로 기여하는지를 분리해 보입니다.

4.1 셋업

VIDGEN-1M·4DNeX-10M에서 각 1만 영상, 10개 움직임 범주×5개 = 50개 Veo-3 합성 질의를 사용합니다. 모델은 Wan2.1-T2V-1.3B·Wan2.2-TI2V-5B(부록 LTX-2B). 베이스라인은 Base(사전학습), Full FT(전체 데이터, 근사 상한), Random(균일 표집), Motion magnitude(평균 움직임 크기 최대), V-JEPA(임베딩 대표성), Ours w/o MM(마스킹 없는 영상 단위 영향력)입니다. 모든 선택 방법은 학습 데이터의 10%를 사용합니다.

4.2 주요 결과

고영향력 선택과 음영향(negative) 필터링: Motive는 명확하고 물리적으로 근거 있는 동역학(난류 수면, 행성 회전 등 연속 궤적)을 상위로, 전이되지 않는 움직임(정적 영상, 카메라만 움직이는 영상, 만화풍 단순 운동학)을 하위로 순위 매깁니다.
정성적 개선: 동일 데이터 예산에서 Random 대비 Motive가 더 높은 움직임 충실도와 시간 일관성을 보이며, 특히 복잡한 변형·물리 주도 움직임에서 두드러집니다.
정량 결과: Motive는 두 모델 모두에서 동적 정도 최고치(47.6% / 48.3%)를 달성해 Random(41.3% / 41.6%)과 영상 단위 귀속(43.8%)을 크게 능가합니다. 10% 데이터만으로 전체 파인튜닝(42.0% / 45.3%)의 동적 정도를 넘어섭니다.

4.3 인간 평가

17명의 주석자가 10개 범주에서 쌍대 비교(pairwise comparison)를 수행합니다. 두 생성 영상을 보고 어느 쪽 움직임이 더 나은지 선택하며, 제시 순서는 무작위화하고 무승부를 허용합니다. 총 850건의 판단에서 Motive는 Base 대비 74.1% 승률, 전체 파인튜닝 대비 53.1% 승률을 기록해 지각적으로 유의미한 움직임 개선을 입증합니다.

4.4 절제 실험

투영 그래디언트가 순위를 보존: 투영 차원 $k \in \{128, \dots, 2048\}$ 를 전체 그래디언트 기준선과 비교하고 스피어만 상관(Spearman correlation)으로 순위 보존을 평가합니다. $k=128$ 은 $\rho=46.9\%$ 로 부족하지만 $k=512$ 에서 $\rho=74.7\%$ 로 급상승하며, 그 이상은 이득이 미미( $k=1024$ 는 75.7%, $k=2048$ 은 76.1%)합니다. 따라서 $k=512$ 가 최적 절충입니다.
단일 타임스텝 귀속: $t=751$ (1000스텝 궤적의 중점)로 고정하면 10개 균등 타임스텝 기준 대비 $\rho=66\%$ 일치를 얻습니다. 고타임스텝(초기 노이즈 제거)은 노이즈로 움직임을 가리고, 저타임스텝(후기)은 거의 형성된 영상의 미세 디테일을 반영하므로, 중간 타임스텝이 순위 상관과 효율을 균형 잡습니다.
프레임 길이 정규화: 모든 영상을 81프레임·16fps로 표준화합니다. 표준화하지 않으면 점수가 움직임 품질이 아니라 클립 길이와 강하게 상관( $\rho=78.0\%$ )합니다. 표준화는 이 허위 길이 상관을 54.0% 감소시키면서 움직임 기반 상관은 보존합니다.

챕터의 핵심 기여: 각 설계 요소(투영 차원, 단일 타임스텝, 프레임 길이 정규화, 움직임 마스킹)가 순위 품질·효율에 기여함을 분리 검증하고, 10% 데이터로 전체 파인튜닝을 능가하는 실용성을 보인 점.

다음 챕터로의 연결: 이 결과들을 종합해, 영상 확산의 데이터 수준 이해가 갖는 함의를 5장 결론에서 정리합니다.

📖 Chapter 5: Conclusion

챕터의 위치와 역할: 논문을 닫으며 기여를 요약하고 전망을 제시합니다.

저자들은 "어떤 학습 클립이 생성 영상의 움직임에 영향을 미치는가"라는 영상 확산의 중심적·미탐구 질문을 다뤘다고 정리합니다. Motive는 시간적 동역학을 정적 외형에서 분리하는 움직임 인식 데이터 귀속 프레임워크이며, 생성된 움직임을 영향력 있는 학습 클립으로 추적함으로써 데이터의 일부만으로 움직임 품질을 개선하는 표적 큐레이션을 가능하게 합니다. 영상 모델이 스케일업될수록 이러한 데이터 수준 이해가 실패 모드 진단과 제어 가능한 생성 시스템 구축의 열쇠가 될 것이라고 전망합니다.

챕터의 핵심 기여: 움직임 귀속이라는 새 문제와 그 실용적 해법을 하나의 서사로 봉합.

다음 챕터로의 연결: 부록 A–H가 표기법·확장 관련연구·LTX-2B 추가 실험·움직임 분포 분석·알고리즘·런타임·한계·시각화로 본문을 보강합니다.

📖 부록 하이라이트: 확장 관련연구와 추가 분석

챕터의 위치와 역할: 본문의 밀도를 유지하기 위해 표기법(App. A)·확장 관련연구(App. B)·추가 실험(App. C)·분석(App. D)·알고리즘(App. E)·실험 세부(App. F)·논의(App. G)·시각화(App. H)가 부록으로 분리돼 있습니다. 리뷰의 완결성을 위해 핵심만 짚습니다.

데이터 귀속의 두 계보(App. B.1): 현대 데이터 귀속은 재학습 기반(leave-one-out, 다운샘플링, Shapley 값)과 그래디언트 기반(영향 함수, TracIn, TRAK) 두 축으로 나뉩니다. 재학습 기반은 원리적이지만 비싸고, 그래디언트 기반은 대규모에서 실용적입니다. 영향 함수형 귀속은 중첩 최적화(nested optimization)의 한 예로, 미분 가능 게임·하이퍼파라미터 최적화와 형식적으로 맞닿아 있습니다. 확산 모델에서는 반복적 노이즈 제거가 타임스텝 의존 편향을 유발해, Xie 등이 이 아티팩트와 정규화 기법을 규명했고 Concept-TRAK는 개념 수준으로 귀속을 확장했습니다. 다만 이들은 정적 외형에 국한된 이미지 확산에 머물렀습니다.
영상 생성의 움직임(App. B.2): 영상 확산은 어텐션 레이어·제어 신호·특징 대응·일관성 증류로 시간 구조를 구축해 왔습니다. 최근 연구는 영상 확산 트랜스포머에서 공간·시간 정보가 표현 내부에서 얽히는 문제(움직임과 외형의 분리 곤란)를 부각했습니다. 광학 흐름은 고전적 Horn–Schunck·Lucas–Kanade부터 현대 RAFT까지 발전했지만, 이들은 "어떤 학습 예시가 모델의 움직임을 빚었는가"를 설명하지 못합니다. Motive는 움직임 가중 그래디언트로 이 두 간극을 동시에 메웁니다.
트래커·모델 무관성(App. E): 움직임 추정기를 학습 의존성이 아니라 교체 가능한 현저성 소스로 취급합니다. 동일 인터페이스로 밀집 광학 흐름·점 추적을 끼울 수 있고, 귀속은 확산·플로우 매칭 목적함수 양쪽에 적용됩니다. 점수는 고정 사전조건자 하 그래디언트 내적으로 환원되므로, 생성기 아키텍처는 그래디언트 통계에만 영향을 주고 영향력의 정의는 바꾸지 않습니다.
움직임 오버레이 시각화(App. H): 픽셀별 움직임 크기를 오버레이로 그리면 동적 영역은 보존되고 정적 배경은 중립 회색으로 감쇠됩니다. 이는 움직임 손실이 어떤 정보에 가중을 두는지 — 회색 영역(움직임 없음)은 하향 가중된다 — 를 직관적으로 보여 줍니다.

챕터의 핵심 기여: 본문 방법이 데이터 귀속·영상 생성 두 계보에서 정확히 어디에 위치하는지, 그리고 프레임워크의 모듈성을 부록이 뒷받침합니다.

실험 결과 심층 분석

VBench 정량 평가 (Table 1)

두 Wan 모델에서 6개 차원을 비교합니다. 값은 모두 %이며 높을수록 좋습니다. MM은 움직임 마스킹(motion masking)입니다.

방법	Wan2.1 동적정도	Wan2.1 매끄러움	Wan2.1 미적	Wan2.2 동적정도	Wan2.2 매끄러움	Wan2.2 미적
Base	39.6	96.3	45.3	42.0	97.5	44.4
Full FT	42.0	96.3	45.0	45.3	97.5	44.8
Random	41.3	96.3	45.7	41.6	97.3	44.6
Motion mag.	40.1	95.7	45.1	44.9	97.4	45.0
V-JEPA	41.6	95.6	44.9	45.6	97.3	44.9
Ours w/o MM	43.8	96.3	45.7	43.8	97.4	45.2
Ours (Motive)	47.6	96.3	46.0	48.3	97.6	45.6

핵심은 동적 정도입니다. Motive는 47.6% / 48.3% 로 전체 파인튜닝(42.0% / 45.3%)을 10% 데이터만으로 능가하며, 마스킹을 뺀 변형(43.8%)과의 격차가 마스킹 자체의 기여를 방증합니다. 미적 품질에서도 최고(46.0% / 45.6%)이고, 움직임 매끄러움은 경쟁력 있는 수준을 유지합니다.

인간 평가 (Table 2)

50개 영상, 17명 참가, 총 850건 판단의 쌍대 비교 결과입니다.

비교 쌍	승률(%)	무승부(%)	패배(%)
Ours vs. Base	74.1	12.3	13.6
Ours vs. Random	58.9	12.1	29.0
Ours vs. Full FT	53.1	14.8	32.1
Ours vs. w/o MM	46.9	20.0	33.1

Motive는 Base·Random·Full FT 모두를 상대로 과반 선호를 얻습니다. 특히 근사 상한인 전체 파인튜닝을 상대로도 53.1% 승률을 낸 점이 두드러집니다. 흥미롭게도 마스킹을 뺀 변형(w/o MM)과의 비교에서는 승률 46.9%·무승부 20.0%로 거의 대등한데, 이는 자동 지표(VBench 동적 정도)에서 뚜렷했던 마스킹의 이득이 인간 지각에서는 상대적으로 미묘하게 나타남을 보여 줍니다. 그럼에도 자동·인간 평가가 방향성에서 일관되게 Motive를 지지한다는 점이 결과의 신뢰도를 높입니다.

실험 설계의 합리성. 저자들은 모든 선택 방법을 동일한 10% 예산으로 고정해 "선택 전략"이라는 변수만 분리했고, 근사 상한(Full FT)·순진한 기준(Random)·움직임 휴리스틱(Motion magnitude)·의미 임베딩(V-JEPA)·마스킹 제거(w/o MM)까지 폭넓은 대조군을 배치했습니다. 이 배치 덕분에 "움직임 마스킹"과 "그래디언트 기반 영향력" 각각의 기여를 절제 실험 없이도 표에서 읽어낼 수 있습니다.

추가 모델 일반화 — LTX-2B (Table 5)

Wan 계열과 다른 아키텍처·학습 패러다임인 LTX-2B에서도 효과가 재현됩니다.

방법	동적 정도	움직임 매끄러움	미적 품질
Base	36.5	94.6	32.1
Full FT	38.9	94.8	32.6
Ours w/o MM	41.8	95.3	32.8
Ours (Motive)	45.1	95.5	32.7

동적 정도가 45.1% 로, 마스킹을 뺀 변형(41.8%)과 전체 파인튜닝(38.9%)을 모두 능가해 아키텍처 무관 일반화를 시사합니다.

움직임 분포 분석 — "움직임 많은 클립"을 고르는 게 아니다 (Figure 6)

Motive가 단순히 움직임이 많은 클립을 고르는 것이 아님을 저자들은 실증합니다. VIDGEN 1만 영상의 평균 움직임 크기를 계산해, 상위 10%(최고 영향력)와 하위 10%(최저 영향력)의 분포를 비교하면 상위 10%의 평균 움직임 크기는 3.85로 하위 10%(3.69)보다 단 4.3% 높을 뿐입니다. 고영향력 영상은 움직임 스펙트럼 전체에 걸쳐 있으며, 움직임이 많아도 영향력이 낮은 영상이 많고 움직임이 적어도 영향력이 큰 영상이 다수입니다. 즉 Motive는 움직임 현저성 필터가 아니라 학습 영향력을 포착합니다.

교차 움직임 영향력 패턴 (Figure 7)

4DNeX·VIDGEN 두 데이터셋에서 범주별 top-100 영향력 학습 데이터의 중첩률을 봅니다. 두 데이터셋의 평균 중첩은 24.0% / 24.3% 로 놀랍도록 유사합니다. 일관된 고중첩 쌍(bounce–float: 44.4% / 46.3%)과 저중첩 쌍(free fall–stretch: 12.8% / 12.7%)이 데이터셋을 가로질러 재현되어, 이 영향력 패턴이 움직임 표현의 근본적 측면을 반영함을 시사합니다. 행렬이 비대칭인 이유는 범주별 고유 영향 표본 수가 달라 방향성 중첩률이 생기기 때문입니다.

런타임 (Table 6·7)

Wan2.1-T2V-1.3B·1만 학습 표본 기준입니다. 그래디언트는 $d = 1{,}418{,}996{,}800$ 차원에서 $k = 512$ 로 투영됩니다.

항목	비용/시간	비고
학습 데이터 그래디언트(1회)	약 150시간 (1× A100)	지배적 비용, 모든 질의에 상각(amortize); 64 GPU 시 약 2.3시간
질의 그래디언트	약 54초/질의	신규 질의당 단일 역전파
영향력 계산	46밀리초/질의	1만 학습 표본과의 코사인 유사도
다수결 집계	139밀리초	50질의 × 1만 표본

베이스라인 대비 총 비용(1만 표본, 1 GPU)은 Random <1초, Motion Magnitude 5.5시간, Optical Flow 5.7시간, V-JEPA 3시간, Ours 150시간입니다. 선행 비용은 크지만 질의 수가 아니라 학습셋 크기에만 비례하며 모든 질의에 재사용되므로, 대규모 데이터 큐레이션에서는 실용적이라는 것이 저자들의 논지입니다.

기술적 함의와 응용

분야에 대한 함의. Motive는 영상 생성 연구에서 오래 방치돼 온 "움직임의 데이터 출처"를 처음으로 정량화 가능한 문제로 만들었습니다. 이미지 확산 귀속이 정적 외형에 머물던 것을, 손실 공간 움직임 마스킹이라는 단순하면서도 강력한 장치로 시간적 동역학까지 확장한 점이 핵심 진전입니다. 마스크를 순방향 생성이 아니라 귀속 손실에만 얹어 노이즈 주입과의 상호작용을 피한 설계는, 향후 다른 축(예: 물리 타당성, 상호작용)에 대한 특화 귀속으로도 재사용 가능한 틀을 제시합니다.

모듈성과 재현성. 논문은 프레임워크의 두 가지 무관성(agnosticism)을 강조합니다. 트래커 무관(tracker-agnostic) — AllTracker를 밀집 광학 흐름이나 점 추적 등 다른 추정기로 코드 수정 없이 교체할 수 있습니다. 모델 무관(model-agnostic) — 고정 $(t_{\text{fix}}, \epsilon_{\text{fix}})$ 하 예시별 그래디언트만 요구하므로 확산·플로우 매칭 목적함수 양쪽에 적용됩니다. 하이퍼파라미터(투영 512차원, $t=751$ , 81프레임·16fps, LR $1\times10^{-5}$ , AdamW, 480×832, bfloat16, DiT만 학습·T5/VAE 동결)와 알고리즘 의사코드가 부록에 상세히 제시되어 재현성이 높으며, 프로젝트 페이지가 공개돼 있습니다.

산업 적용 시 고려사항. 지배적 비용이 학습 데이터 그래디언트의 1회 계산이고 이후 질의는 초 단위로 처리되므로, 대규모 파인튜닝 데이터 파이프라인에 편입하기 유리합니다. 음영향 필터링으로 바람직하지 않거나 안전하지 않은 동역학을 억제하는 데이터 거버넌스·감사 용도도 저자들이 향후 방향으로 제시합니다.

저자들이 명시한 한계. ① 그래디언트 기반 귀속은 예시별 그래디언트의 선행 비용이 크며(질의에 상각되긴 하나), ② 영상을 하나의 단위로 다뤄 클립 내 움직임 정보가 있는 구간이 정적·중복 부분과 평균되며 희석될 수 있어 움직임 세그먼트·이벤트 수준의 세밀한 귀속이 미해결로 남습니다. ③ 움직임 마스크가 카메라만의 움직임을 과대강조할 수 있어 $W$ 의 공간 균일성으로 탐지·하향 가중하지만 자아(ego)·물체 움직임의 완전 분리는 향후 과제입니다. ④ 널리 쓰이는 분류자 없는 안내(classifier-free guidance, CFG)를 명시적으로 다루지 않아, 안내가 움직임을 바꾸는 방식을 영향력 추정이 온전히 포착하지 못할 수 있습니다. ⑤ 표적 움직임 적응이 기저 모델의 광범위한 생성 능력과 상충할 여지가 있습니다.

향후 방향. 저자들은 트래커 강건 현저성(가시성·신뢰도 채널 활용), 모델 자체 생성 영상을 질의로 삼는 진단, 반복적 귀속–파인튜닝–재귀속의 닫힌 루프 큐레이션, 학습된 질의 가중, 다중 학생 증류(multi-student distillation), 그리고 월드 모델·오디오·영상+오디오 등 타 모달리티로의 확장을 제안합니다.

TrendHacker와의 접점. 이 논문의 핵심 발상 — 결과물(움직임)을 그것을 빚은 데이터(학습 클립)로 역추적해 순위 매기고 큐레이션한다 — 는 본 프로젝트가 GeekNews 기사에서 엔티티·관계를 추출해 트렌드의 출처를 추적하는 결정론적 파이프라인과 문제 구조가 닮아 있습니다. "무엇이 이 신호를 만들었는가"를 증거 기반으로 귀속하고, 그 귀속을 다시 큐레이션 결정으로 환류시키는 루프는 데이터 중심 시스템 설계의 공통 문법이라 할 수 있습니다.