[ICML26] To Grok Grokking: Provable Grokking in Ridge Regression

논문 개요와 전체 구조

딥러닝을 조금이라도 다뤄 본 분이라면 한 번쯤 이런 장면을 목격하셨을 것입니다. 학습 손실(training loss)은 진작 0에 수렴해 모델이 훈련 데이터를 완벽히 외웠는데, 정작 테스트 성능(test performance)은 한참 동안 형편없다가 어느 순간 갑자기 좋아지는 현상 말입니다. 2022년 Power 등이 모듈러 덧셈(modular addition) 학습에서 관찰해 이름 붙인 이 grokking(그로킹, 과적합 이후 뒤늦게 찾아오는 일반화)은, "과적합은 일반화에 해롭다"는 고전 통계학의 상식을 정면으로 거스릅니다.

이 논문은 grokking을 신경망이 아니라 ridge regression(릿지 회귀, $\ell_2$ 정규화를 붙인 선형 회귀)이라는 가장 고전적인 모델에서 증명 가능하게(provably) 재현합니다. 지금까지 grokking을 다룬 이론 연구들은 대부분 (a) 신경망의 lazy-to-rich(게으른 체제에서 풍부한 체제로) 전이에 기대거나, (b) 특정 문제(모듈러 덧셈, XOR 클러스터)에 국한되었거나, (c) 엄밀한 증명 없이 직관·수치 실험에 머물렀습니다. 이 논문은 저자들의 표현으로 "최초의 end-to-end(처음부터 끝까지 완결된) provable grokking 결과"를 제시합니다. 즉 (i) 모델이 학습 초반에 훈련 데이터를 과적합하고, (ii) 과적합 이후에도 나쁜 일반화가 오래 지속되며, (iii) 결국에는 일반화 오차가 임의로 작아진다는 세 단계를 하나의 정리 안에서 모두 증명합니다.

더 나아가 이 논문은 grokking이 하이퍼파라미터로 정량적으로 통제 가능함을 보입니다. "과적합 종료 시점 $t_1$ "과 "일반화 시작 시점 $t_2$ " 사이의 지연, 즉 grokking time(그로킹 시간) $t_2 - t_1$ 을 훈련 하이퍼파라미터(weight decay, 초기화 스케일, 표본 수, 특징 차원)의 함수로 명시적으로 하한(lower bound)합니다. 이는 grokking이 딥러닝의 본질적 실패 양식이 아니라 특정 훈련 조건의 산물이며, 아키텍처나 학습 알고리즘을 근본적으로 바꾸지 않고도 증폭하거나 제거할 수 있음을 시사합니다.

논문은 다음과 같은 구조로 전개됩니다. 전체 지도를 먼저 제시합니다.

섹션	제목	핵심 내용
1	Introduction	문제 제기, 선행 이론 연구의 공백, 세 가지 기여 선언
1.1	Additional Related Work	grokking 문헌 지형 정리
2	Preliminaries	표기, 데이터 생성, ridge regression 목적함수, GD
3	Informal Results	비공식 정리로 핵심 결과를 직관적으로 전달
4	Grokking in Ridge Regression	4.1 제로 교사(정리 4.1), 4.2 실현 가능 교사(정리 4.2·4.4·4.5·4.6)
5	Experiments	5.1 하이퍼파라미터 통제, 5.2 랜덤 특징 신경망, 5.3 비선형 신경망
6	Discussion and Future Directions	결론과 미해결 문제
부록 A–C	Proofs / Additional Experiments / Lemmas	전체 증명, 추가 실험, 기술 보조정리

이 리뷰는 위 섹션 순서를 그대로 따라가며 각 챕터를 충실히 정리합니다. 핵심은 4장의 네 정리이므로, 각 정리가 주장하는 바와 그 증명의 골격을 항(term) 단위로 풀어 설명하겠습니다.

저자와 출처. 저자는 Mingyue Xu(Purdue University), Gal Vardi(Weizmann Institute of Science), Itay Safran(Ben-Gurion University of the Negev)입니다. ICML 2026(PMLR 306, 서울)에서 발표되었으며 Outstanding Paper Honorable Mention(우수 논문 명예 언급)을 받았습니다. arXiv 프리프린트는 2601.19791(v3, 2026년 5월)입니다.

핵심 기여와 혁신성

해결하려는 문제의 중요성. grokking은 "일반화는 왜, 그리고 언제 일어나는가"라는 딥러닝의 근본 질문을 가장 극적인 형태로 던집니다. 그러나 현상은 널리 관찰되었음에도 엄밀한 정량적 보장은 극소수에 불과했습니다. 특히 "과적합이 끝난 뒤에도 나쁜 일반화가 얼마나 오래 지속되는가"를 하이퍼파라미터로 정량화한 결과는 사실상 없었습니다.

기존 접근법의 한계. 논문은 선행 이론 연구들을 조목조목 비판합니다. Lyu 등(2024)은 커널 체제와 풍부한 체제 사이의 날카로운 전이를 증명했지만, 그들의 기법은 KKT(Karush-Kuhn-Tucker) 점으로의 수렴만 보장할 뿐 전역 최적성을 논증하지 못하고 grokking을 함의하지도 못합니다. Mohamadi 등(2024)은 모듈러 덧셈에 대한 이론적 토대를 제공했지만, GD가 작은 가중치 노름의 잘 일반화되는 해로 수렴함을 증명하지는 못했습니다. 가장 근접한 Xu 등(2024)은 고차원 XOR 클러스터 이진 분류에서 "한 스텝 파국적 과적합" 이후 완벽한 테스트 정확도를 보였지만, 일반화의 시작이 첫 반복 이후로 지연됨을 증명하지 못했습니다(두 번째 반복부터 좋아질 수도 있음). Boursier 등(2025)은 ridgeless에서 ridge 체제로의 전이를 다뤘으나, 비정규화 해가 일반화하지 못하고 ridge 해는 일반화한다는 것을 증명하지 못해 provable grokking을 함의하지 못합니다. 선형 회귀를 직접 다룬 Levi 등(2024)조차 무작위 행렬 이론(random matrix theory)에 의존한 비엄밀 분석이며, 가우시안 데이터만 가정하고 weight decay를 포함하지 않았습니다.

제안 해결책의 독창성. 이 논문은 실현 가능(realizable) 교사-학생(teacher-student) 프레임워크에서, 임의의 고정된 특징 맵(feature map) 위에서 선형 모델로 표현 가능한 모든 교사 함수에 대해 grokking을 증명합니다. 과적합 이후에도 나쁜 일반화가 지속됨을 (첫 스텝을 넘어) 증명한 것, 그리고 임의의 과적합화(over-parameterization) 비율을 허용한 것이 선행 연구와의 결정적 차이입니다.

세 가지 명시적 기여. 논문은 자신의 기여를 다음 셋으로 정리합니다.

첫째, 과적합화 ridge regression 문제에서 임의의 실현 가능 교사에 대한 최초의 end-to-end provable grokking(정리 4.2)을 증명합니다 — 빠른 훈련 오차 수렴(정리 4.4), 느린 일반화 오차의 하한(정리 4.5), 최종 일반화 보장(정리 4.6)의 세 요소로 분해됩니다.
둘째, grokking을 실현하기에 충분한 하이퍼파라미터 조건(식 3·4·5)을 정량적으로 제시하고, grokking time에 대한 엄밀한 하한(식 6·7)을 하이퍼파라미터의 함수로 줍니다.
셋째, 실험(5장)으로 이론을 검증하며, 나아가 선형 설정을 넘어 비선형 신경망에서도 grokking time의 하이퍼파라미터 의존성이 이론 예측과 정성적으로 일치함을 실증합니다.

파급효과. grokking을 "투명한 통제 환경"인 선형 회귀에서 깨끗이 분리해 관찰함으로써, 이 연구는 현대 딥러닝의 복잡한 grokking 동역학을 규명하는 디딤돌 역할을 자처합니다.

기술적 세부사항

문제 설정과 표기

입력 $x \in \mathbb{R}^d$ 는 지정하지 않은 어떤 주변 분포(marginal distribution) $\mathcal{D}_x$ 를 따르고, 레이블은 교사 함수로 정확히 생성됩니다: $y = N^*(x)$ . 교사는 실현 가능(realizable)하다고 가정합니다. 즉 어떤 미지의 $\theta^* \in \mathbb{R}^m$ 에 대해 다음이 성립합니다.

N^*(x) = \langle \theta^*, \phi(x) \rangle

여기서 $\phi : \mathbb{R}^d \to \mathbb{R}^m$ 는 고정된 특징 맵이고, 학생(student) 모델은 학습 파라미터 $\theta \in \mathbb{R}^m$ 로 $N(x;\theta) = \langle \theta, \phi(x) \rangle$ 입니다. 핵심은 과적합화 체제, 즉 특징 차원 $m$ 이 표본 수 $n$ 보다 훨씬 큰( $m \gg n$ ) 상황입니다.

주요 표기를 정리합니다.

$\hat{\Phi} = (\phi(x_1), \ldots, \phi(x_n)) \in \mathbb{R}^{n \times m}$ — 경험적 특징 행렬(empirical feature matrix)입니다.
$\bar{L} = \frac{1}{n}\lVert \hat{\Phi} \rVert_F^2 = \frac{1}{n}\sum_{i=1}^n \lVert \phi(x_i) \rVert_2^2$ — 특징 벡터의 평균 제곱 노름입니다.
$\Sigma = \mathbb{E}_x[\phi(x)\phi(x)^\top] \in \mathbb{R}^{m \times m}$ — 특징의 모집단 공분산 행렬(population covariance matrix)입니다.
$\lambda_{\min}(A)$ 와 $\lambda_{\min}^+(A)$ — 각각 대칭 행렬 $A$ 의 최소 고유값과 최소 양의 고유값입니다.
$L(\theta) = \mathbb{E}_x[(N(x;\theta) - N^*(x))^2]$ — 일반화(모집단) 제곱 손실입니다.

목적함수와 최적화

훈련은 경험적 평균 제곱 오차(MSE)에 $\ell_2$ 정규화 항을 붙인 ridge 목적함수를 최소화합니다(식 1).

L_n(\theta;\lambda) = \frac{1}{2n}\sum_{i=1}^n \big(\langle \theta, \phi(x_i)\rangle - N^*(x_i)\big)^2 + \frac{\lambda}{2}\lVert \theta \rVert_2^2

각 항의 의미는 다음과 같습니다. 첫 항은 훈련 데이터에 대한 적합 오차(경험 손실)이고, 계수 $\frac{1}{2}$ 는 기울기(gradient) 분석을 단순화하기 위한 스케일링입니다. 둘째 항은 $\lambda > 0$ 을 정규화 파라미터로 하는 weight decay(가중치 감쇠)로, 파라미터 노름을 억제합니다. 이 $\lambda$ 가 바로 grokking을 조율하는 주 손잡이입니다.

최적화는 고정 스텝 크기 $\eta > 0$ (학습률)의 vanilla gradient descent로 수행합니다.

\theta^{(t+1)} = \theta^{(t)} - \eta \nabla L_n(\theta^{(t)};\lambda)

실현 가능 교사를 대입하면 각 GD 반복은 다음 형태로 정리됩니다(식 2).

\theta^{(t+1)} = \theta^{(t)} - \frac{\eta}{n}\sum_{i=1}^n \big(\langle \theta^{(t)}, \phi(x_i)\rangle - \langle \theta^*, \phi(x_i)\rangle\big)\phi(x_i) - \eta\lambda\theta^{(t)}

마지막 항 $-\eta\lambda\theta^{(t)}$ 가 weight decay가 매 스텝 파라미터를 원점 쪽으로 끌어당기는 힘입니다.

초기화와 grokking 시점의 정의

초기화는 $\theta^{(0)} \sim \mathcal{N}(0, \sigma^2 I_m)$ 로, $\sigma^2$ 이 초기화 스케일(initialization scale)입니다. grokking을 정량화하기 위해, 임계값 $\epsilon > 0$ 과 $c \ge \epsilon$ 에 대해 두 시점을 정의합니다.

t_1 := t_1(\epsilon) := \max\{t \in \mathbb{N} : L_n(\theta^{(t)}) \ge \epsilon\}, \qquad t_2 := t_2(c) := \min\{t \in \mathbb{N} : L(\theta^{(t)}) \le c\}

$t_1$ 은 훈련 손실이 $\epsilon$ 위에 있는 마지막 스텝(즉 과적합이 완료되는 시점)이고, $t_2$ 는 일반화 손실이 $c$ 아래로 처음 내려가는 스텝(즉 일반화가 시작되는 시점)입니다. 따라서 $t_2 - t_1$ 이 곧 grokking time이며, 이 값이 클수록 "과적합 후 오래 헤매다 뒤늦게 깨우치는" 극적인 grokking이 됩니다. $c \ge \epsilon$ 이라는 조건은 "일반화 기준을 훈련 기준만큼(또는 그보다 느슨하게) 잡는다"는 뜻으로, $c \to \epsilon$ 일 때 진짜 grokking이 됩니다.

grokking을 만드는 핵심 메커니즘: 두 속도의 어긋남

이 논문의 지적 핵심은 훈련 손실과 일반화 손실이 서로 다른 속도로 감소하며, 그 격차가 grokking을 만든다는 것입니다. 과적합화( $m \gg n$ )에서 GD는 사실상 파라미터 $\theta$ 를 두 부분공간으로 나눠 다룹니다. 데이터가 span하는 부분공간(row space)에 놓인 성분 $\theta_\parallel$ 은 훈련 데이터를 맞추기 위해 빠르게 갱신되지만, 그에 직교하는 여공간(null space)의 성분 $\theta_\perp$ 은 데이터로부터 정보를 거의 받지 못합니다. 전자의 수렴 속도는 $(1 - \frac{\eta}{n}\lambda_{\min}^+(\hat{\Phi}\hat{\Phi}^\top) - \eta\lambda)$ 의 거듭제곱으로 빠르지만, 후자는 오직 weight decay에 의해서만 $(1 - \eta\lambda)$ 의 거듭제곱으로 느리게 줄어듭니다. $\lambda$ 가 작으면 훈련 오차는 거의 영향을 받지 않고 빨리 0이 되지만, 여공간 성분은 초기화에 가까운 채로 오래 남아 일반화를 방해합니다. 결국 weight decay가 여공간 성분을 서서히 깎아 모델 복잡도를 낮추고, 균등 수렴(uniform convergence)이 성립하는 시점에서야 일반화가 찾아옵니다.

챕터별 상세 리뷰

📖 Chapter 1: Introduction

챕터의 위치와 역할: 문제의식과 선행 이론 연구의 공백을 정리하고, 세 가지 기여를 선언하는 도입부입니다. 이후 모든 정리가 여기서 세운 "end-to-end provable grokking"이라는 목표를 향합니다.

저자의 서술 순서를 따라가면 다음과 같습니다.

고전 상식과 grokking의 충돌: 고전 머신러닝에서 과적합은 일반화에 해로우며, 이를 막기 위해 early-stopping·dropout·weight decay 같은 정규화가 개발되었습니다. 그러나 딥러닝은 때때로 이 상식을 거스르는데, 가장 극적인 예가 grokking(과적합 한참 뒤에야 일반화가 개선되는 현상)입니다.
선행 이론의 공백: grokking은 신경망뿐 아니라 행렬 센싱, LLM 등 다양한 모델에서 관찰되었지만, 엄밀한 이론 보장은 극소수입니다. 많은 연구가 lazy-to-rich 전이로 grokking을 설명하지만(Lyu 등, Mohamadi 등, Kumar 등), KKT 점 수렴만 보장하거나 특정 문제에 국한되어 provable grokking을 함의하지 못합니다.
가장 근접한 선행 연구의 한계: Xu 등(2024)은 XOR 클러스터에서 파국적 과적합 후 완벽한 테스트 정확도를 보였으나 일반화 지연이 첫 스텝을 넘는다는 것을 증명하지 못했고, Boursier 등(2025)은 ridgeless→ridge 전이를 다뤘으나 두 해의 일반화 성질을 증명하지 못했습니다.
본 연구의 설정 선언: 실현 가능 교사-학생 프레임워크에서 선형 회귀를 다루며, 무작위 초기화 GD로 $\ell_2$ 정규화 제곱 손실을 최적화합니다. 결과는 임의의 고정 특징 맵 위에서 선형 모델로 실현 가능한 모든 교사 함수에 성립하며, 임의의 과적합화 비율을 허용합니다.
선형 회귀에 주목한 이유: 선형 회귀는 수백 년간 연구된 고전 통계 방법이며 ridge·Lasso 같은 정규화가 잘 확립되어 있습니다. 그럼에도 선형 회귀의 grokking은 거의 다뤄지지 않았고, 이 연구는 "깊거나 비선형인 구조가 grokking에 필수가 아니다"라는 것을 엄밀히 보입니다.
세 가지 기여 선언: 앞서 정리한 (1) end-to-end provable grokking, (2) 정량적 grokking time 하한, (3) 비선형 신경망으로의 정성적 일반화를 명시합니다.

챕터의 핵심 기여: grokking이 딥러닝의 본질적 실패가 아니라 훈련 조건의 산물이라는 주장을, 가장 단순한 ridge regression에서 증명하겠다는 연구 설계 선언.

다음 챕터로의 연결: 1.1절에서 grokking 문헌 지형을 넓게 조망한 뒤, 2장에서 정확한 문제 설정으로 들어갑니다.

📖 Chapter 1.1: Additional Related Work

챕터의 위치와 역할: grokking 연구의 지형도를 그려 본 논문의 위치를 명확히 하는 절입니다.

저자들은 grokking 설명 시도들을 폭넓게 나열합니다. 표현 학습의 관점(Liu 등, 2022), 적응적 옵티마이저의 "Slingshot 메커니즘"(Thilak 등, 2022), 훈련·테스트 손실 지형의 불일치인 "LU 메커니즘"(Liu 등, 2023), 기계적 해석 가능성(mechanistic interpretability) 기반 진행 척도(Nanda 등, 2023), grokking과 double descent의 통합(Davies 등, 2023), 희소·밀집 부분망의 경쟁(Merrill 등, 2023), 회로 효율성(Varma 등, 2023) 등이 그것입니다. 또한 grokking이 신경망이나 GD에 국한되지 않음을 보인 연구(Mallinar 등, 2025 — Recursive Feature Machines), 정규화 없는 grokking의 원인으로 Softmax Collapse를 지목한 Prieto 등(2025), grokking을 저계수(low-rank) 최소화와 연결한 Yunis 등(2024) 등을 소개합니다. 공통점은 어느 것도 엄밀한 end-to-end grokking 결과를 제공하지 못했다는 점이며, 이것이 본 논문의 차별점입니다.

챕터의 핵심 기여: 방대한 grokking 문헌을 정리해, 정성적 설명은 많지만 엄밀한 정량 보장은 비어 있음을 드러냄.

다음 챕터로의 연결: 이 공백을 메우기 위해 2장에서 정밀한 수학적 설정을 도입합니다.

📖 Chapter 2: Preliminaries

챕터의 위치와 역할: 이후 모든 정리가 딛고 설 표기와 문제 설정을 정의하는 장입니다. 앞의 "기술적 세부사항" 절에서 이미 상세히 소개했으므로 여기서는 논리 흐름만 정리합니다.

표기 도입: 벡터·행렬 표기, 연산자/프로베니우스 노름, 최소 (양의) 고유값 $\lambda_{\min}, \lambda_{\min}^+$ , 지시함수, 점근 표기 $O(\cdot), \Omega(\cdot)$ 를 정의합니다.
선형 회귀와 데이터 생성: 입력 $x \sim \mathcal{D}_x$ (분포 미지정), 레이블 $y = N^*(x)$ 로 정확히 라벨링, 학생 $N(x;\theta) = \langle\theta,\phi(x)\rangle$ , 실현 가능성 가정 $N^*(x) = \langle\theta^*,\phi(x)\rangle$ 을 세웁니다.
ridge regression 목적함수: 식 (1)의 정규화 MSE와 GD 갱신식, 실현 가능 대입 후의 식 (2)를 제시합니다.
추가 표기: 일반화 손실 $L(\theta)$ , 경험적 특징 맵 $\hat{\Phi}$ , 평균 특징 노름 $\bar{L}$ , 모집단 공분산 $\Sigma$ 를 정의합니다.

챕터의 핵심 기여: "임의의 특징 맵 + 실현 가능 교사 + 과적합화 + weight decay 있는 GD"라는, 일반적이면서도 분석 가능한 무대를 세움.

다음 챕터로의 연결: 3장에서 이 무대 위 결과를 비공식 정리로 먼저 직관적으로 전달합니다.

📖 Chapter 3: Informal Results

챕터의 위치와 역할: 4장의 엄밀한 정리를 읽기 전에, 핵심 메시지를 접근 가능한 언어로 요약하는 장입니다.

저자들이 제시하는 비공식 정리(Informal Theorem)의 내용은 다음과 같습니다. GD는 학습 초기 단계(스텝 $t_1$ )에 훈련 오차를 $\epsilon$ 아래로 떨어뜨리지만, 어떤 상수 $c > 0$ 위의 나쁜 일반화 오차가 과적합 시점을 한참 지나(스텝 $t_2 > t_1$ 까지) 지속되며, 그럼에도 결국에는 일반화 오차가 $\epsilon$ 아래로 내려갑니다. $c \ge \epsilon$ 일 때 이것이 곧 grokking을 확립합니다.

비공식 정리를 문장으로 옮기면 이렇습니다. 초기화 $\theta^{(0)} \sim \mathcal{N}(0, \sigma^2 I_m)$ 과 특징 맵에 대한 온건한(mild) 분포 가정 아래, 충분히 큰 표본 수 $n$ 과 충분히 큰 특징 차원 $m$ 에 대해, weight decay $\lambda$ 를 충분히 작게 선택하면 높은 확률로 $t_2 - t_1$ 을 임의로 크게 만들 수 있습니다. 즉 grokking의 지속 시간은 $\lambda$ 라는 손잡이 하나로 원하는 만큼 늘릴 수 있다는 것입니다.

챕터의 핵심 기여: "작은 weight decay가 grokking을 임의로 증폭한다"는 논문의 한 줄 메시지를, 엄밀한 정리에 앞서 명료하게 각인시킴.

다음 챕터로의 연결: 4장에서 이 직관을 정확한 정리와 정량적 하한으로 구체화합니다.

📖 Chapter 4: Grokking in Ridge Regression

챕터의 위치와 역할: 논문의 본체입니다. 먼저 4.1절에서 제로 교사(zero teacher)라는 단순 사례로 직관을 세우고, 4.2절에서 임의의 실현 가능 교사로 일반화하며 네 개의 정리를 제시합니다.

4.1 Warmup: Grokking with the Zero Teacher

교사가 영함수 $N^*(x) = 0$ 인 특수 사례부터 시작합니다. 이 경우 목적함수가 단순해지고, GD 갱신도 다음처럼 깔끔해집니다.

\theta^{(t+1)} = \theta^{(t)} - \frac{\eta}{n}\sum_{i=1}^n \langle\theta^{(t)}, \phi(x_i)\rangle \phi(x_i) - \eta\lambda\theta^{(t)}

정리 4.1 (제로 교사에 대한 end-to-end provable grokking). 스텝 크기가 $\eta \le 2/(\bar{L} + \lambda)$ 를 만족한다고 가정합니다. 그러면 모든 $t \in \mathbb{N}$ 에 대해 다음이 성립합니다.

\text{(i)}\quad L_n(\theta^{(t)}) \le \frac{\bar{L}}{2}\Big(1 - \frac{\eta}{n}\lambda_{\min}^+(\hat{\Phi}\hat{\Phi}^\top) - \eta\lambda\Big)^{2t}\lVert\theta^{(0)}\rVert_2^2

첫 번째 항은 훈련 손실의 상한입니다. 감소율의 밑(base)이 $(1 - \frac{\eta}{n}\lambda_{\min}^+(\hat{\Phi}\hat{\Phi}^\top) - \eta\lambda)$ 인데, 여기서 $\lambda_{\min}^+(\hat{\Phi}\hat{\Phi}^\top)$ 는 경험적 그람 행렬의 최소 양의 고유값으로, $m \gg n$ 에서 이 값이 상당히 커서 훈련 손실이 빠르게 0으로 수렴합니다. 작은 $\lambda$ 는 이 속도에 거의 영향을 주지 않습니다.

\text{(ii)}\quad \text{확률 } 1 - 2e^{-(m-n)/32} \text{ 이상으로}\quad L(\theta^{(t)}) \ge \lambda_{\min}(\Sigma)(1 - \eta\lambda)^{2t}\frac{(m-n)\sigma^2}{2}

두 번째 항은 일반화 손실의 하한입니다. 결정적으로 감소율의 밑이 $(1 - \eta\lambda)$ 뿐이어서, weight decay에만 의존해 느리게 줄어듭니다. 계수 $\frac{(m-n)\sigma^2}{2}$ 는 여공간의 차원( $\ge m-n$ )과 초기화 스케일에서 나오는데, 과적합화가 심할수록( $m \gg n$ ) 초기 일반화 오차가 크다는 뜻입니다.

\text{(iii)}\quad \lVert\theta^{(t)}\rVert_2 \le (1 - \eta\lambda)^t \lVert\theta^{(0)}\rVert_2

세 번째 항은 파라미터 노름이 $(1-\eta\lambda)^t$ 로 수렴함을 보입니다. 제로 교사에서는 $\theta = 0$ 이 정답이므로, 이는 GD가 결국 $\theta = 0$ 에 도달해 완벽히 일반화함을 함의합니다.

제로 교사를 워밍업으로 택한 이점은 두 가지입니다. 첫째, $\theta=0$ 이 정답이라 일반화 보장이 매우 단순해집니다. 둘째, 일반화 손실에 대해 (ii)의 하한과 (iii)에서 오는 상한을 수렴율 관점에서 일치시켜, 훈련 손실과 일반화 손실이 서로 다른 속도로 감소함을 깨끗이 드러냅니다. 정리 4.1이 전하는 메시지는 명확합니다: $m \gg n$ , $\frac{1}{n}\lambda_{\min}^+(\hat{\Phi}\hat{\Phi}^\top) \gg \lambda$ , 그리고 $\lambda \to 0$ 일 때 grokking이 증명 가능하게 발생합니다.

4.2 Grokking with Realizable Teachers

이제 임의의 실현 가능 교사 $N^*(x) = \langle\theta^*, \phi(x)\rangle$ 로 일반화합니다. 특징 맵의 유계성 $\lVert\phi(x)\rVert_2 \le b$ 를 추가로 가정합니다.

정리 4.2 (실현 가능 ridge regression의 end-to-end provable grokking). 앞의 $t_1(\epsilon), t_2(c)$ 정의 아래, 임의의 $\epsilon > 0$ 과 $c \ge \epsilon$ , $\delta \in (0,1)$ 에 대해 다음 세 조건이 충족된다고 합시다.

충분히 큰 표본 수(식 3):

n = \Omega\!\left(\frac{b^4 \lVert\theta^*\rVert_2^4}{\epsilon^2}\log\frac{1}{\delta}\right)

이 조건은 균등 수렴(정리 4.6)을 위해 필요하며, 최종 일반화를 보장하는 데 쓰입니다.

충분히 큰 특징 차원(식 4):

m = n + \Omega\!\left(\max\left\{\log\frac{1}{\delta},\ \frac{\sigma^2\lVert\theta^*\rVert_2^2}{\epsilon^2},\ \frac{c^2}{\sigma^2\lambda_{\min}(\Sigma)^2}\right\}\right)

$m - n$ 이 충분히 커야 고차원 회귀 상황(과적합화)이 보장되고, 여공간에 나쁜 일반화를 오래 잡아둘 여지가 생깁니다.

충분히 작은 weight decay(식 5):

\lambda = O\!\left(\min\left\{\frac{\epsilon}{\sigma^2\lVert\theta^*\rVert_2^2},\ \cdots\right\}\right)

그러면 $\eta < 1/(\lambda + \lambda_{\min}^+(\hat{\Phi}\hat{\Phi}^\top)/n)$ 일 때, 확률 $1 - \delta$ 이상으로 grokking time에 대한 다음 하한이 성립합니다(식 6).

t_1 \le \frac{n\,\ln\!\big(6b^2\lVert\theta^{(0)}\rVert_2^2/\epsilon\big)}{2\,\eta\,\lambda_{\min}^+(\hat{\Phi}\hat{\Phi}^\top)}

이는 과적합 완료 시점 $t_1$ 의 상한입니다. 분모에 $\lambda_{\min}^+(\hat{\Phi}\hat{\Phi}^\top)$ 가 있어 이 값이 클수록 $t_1$ 이 작아지고(빠른 과적합), 분자의 로그 항은 초기 노름 대비 목표 정밀도의 비율입니다. 주목할 점은 이 상한에 $\lambda$ 가 나타나지 않는다는 것으로, weight decay가 과적합 속도에는 영향을 주지 않음을 뜻합니다. 짝을 이루는 식 (7)은 일반화 시작 시점 $t_2$ 의 하한을 주는데, 그 감소율의 밑이 $(1 - \eta\lambda)$ 이므로 $t_2 \propto 1/(\eta\lambda)$ 로 스케일합니다. 따라서 $t_1$ 은 $\lambda$ 에 무관하고 $t_2$ 는 $1/\lambda$ 로 커지므로, $\lambda \to 0$ 일 때 $t_2 - t_1 \to \infty$ 가 되어 grokking이 임의로 증폭됩니다. 마지막으로 충분히 큰 $t$ 에 대해 $L(\theta^{(t)}) \le \epsilon$ , 즉 최종 일반화가 보장됩니다.

하이퍼파라미터가 grokking에 미치는 영향. 논문은 식 (6)·(7)에서 각 하이퍼파라미터의 효과를 분리해 논합니다.

weight decay $\lambda$ : 작은 $\lambda$ 영역에서 $\lambda$ 를 줄이면 $t_2 \propto 1/\lambda$ 로 커지고 $t_1$ 상한에는 영향이 없습니다. 따라서 $\lambda \to 0$ 이면 $(t_2 - t_1) \to \infty$ 입니다. (큰 $\lambda$ 는 본 연구의 관심 밖이며, 이 영역에서는 식 6 상한이 일반적으로 타이트하지 않습니다.)
초기화 스케일 $\sigma^2$ : $\sigma^2$ 을 키우면 $t_1, t_2$ 가 함께 $t_1, t_2 \propto \ln(\sigma^2)$ 로 증가합니다. 더 정확히는 $\lambda$ 가 충분히 작을 때 $t_1 \le c_1\ln(\sigma^2) + a_1$ , $t_2 \ge c_2\ln(\sigma^2) + a_2$ 이며 $c_2 > c_1 > 0$ 이어서, $\sigma^2$ 을 키우면 $(t_2 - t_1)$ 이 커져 grokking이 증폭됩니다.
표본 수 $n$ 과 특징 차원 $m$ : $\lambda_{\min}^+(\hat{\Phi}\hat{\Phi}^\top)$ 이 $n, m$ 에 어떻게 의존하는지 정량적 결과가 알려져 있지 않아, $t_1$ 의 $n, m$ 의존성은 깨끗한 형태로 유도하기 어렵습니다(Remark 4.3). 다만 실험적으로는 이론 예측(식 6)과 강하게 일치하며, $t_2$ 는 특징 맵에 가정을 두지 않는 한 $\lambda_{\min}(\Sigma)$ 가 통제되지 않습니다.

Remark 4.3 ( $\lambda_{\min}^+(\hat{\Phi}\hat{\Phi}^\top)$ 의 $n, m$ 의존성). $\lambda_{\min}^+(\hat{\Phi}\hat{\Phi}^\top)$ 는 표집된 특징에 의존하는 경험적 양입니다. 단순한 분포 $\phi(x) \sim \mathcal{N}(0, \frac{1}{m}I_m)$ 에서조차 이 값이 $n, m$ 의 함수로 어떻게 움직이는지 완전히 규명되지 않았습니다. Marchenko–Pastur 법칙은 $m, n \to \infty$ 이고 비율이 고정될 때의 점근적 결과( $\lambda_{\min}^+ \to (1 - \sqrt{n/m})^2$ 꼴)를 주지만, $m$ 과 $n$ 에 대한 정량적 경계는 저자들이 아는 한 존재하지 않습니다. 이 미해결 지점이 $t_1$ 의 이론적 스케일링을 깨끗이 못 쓰게 만드는 주된 이유입니다.

이어 논문은 세 단계를 각각 별도 정리로 분해합니다.

정리 4.4 (훈련 손실 수렴). $\theta^{(0)} \sim \mathcal{N}(0, \sigma^2 I_m)$ 이고 $\eta < 1/(\lambda + \lambda_{\min}^+(\hat{\Phi}\hat{\Phi}^\top)/n)$ 이라 가정합니다. 적절한 $m$ · $\lambda$ 조건 아래, 확률 $1 - \delta$ 이상으로 다음을 만족하는 모든 $t$ 에 대해 $L_n(\theta^{(t)}) \le \epsilon$ 입니다.

t \ge \frac{1}{2}\log_{1 - \eta\lambda_{\min}^+(\hat{\Phi}\hat{\Phi}^\top)/n - \eta\lambda}\!\left(\frac{\epsilon}{6\bar{L}\lVert\theta^{(0)}\rVert_2^2}\right)

여기서 로그의 밑 $1 - \eta\lambda_{\min}^+(\hat{\Phi}\hat{\Phi}^\top)/n - \eta\lambda$ 가 1보다 충분히 작아 빠른 수렴을 줍니다. 증명은 파라미터를 데이터 행공간 성분 $\theta_\parallel$ 과 여공간 성분 $\theta_\perp$ 로 직교 분해하고, 훈련 손실이 오직 $\theta_\parallel$ 에만 의존한다는 점을 이용합니다. $m = \Omega(\sigma^2\lVert\theta^*\rVert_2^2/\epsilon^2)$ 이라는 가정은 학생이 교사 노름 대비 큰 노름으로 초기화됨을 뜻하며, 작은 $\lambda$ 가 grokking을 촉진하므로 이 상한이 결과를 제약하지 않습니다.

정리 4.5 (과적합 시 나쁜 일반화). $\theta^{(0)} \sim \mathcal{N}(0, \sigma^2 I_m)$ 이고 $\eta < 1/\lambda$ 라 가정합니다. 임의의 $c > 0$ 에 대해 적절한 $m$ 조건 아래, 확률 $1 - \delta$ 이상으로 다음을 만족하는 모든 $t$ 에 대해 $L(\theta^{(t)}) \ge c$ 입니다.

t \le \log_{1 - \eta\lambda}\!\left(\frac{2}{(m-n)\sigma^2}\left(\frac{c}{\lambda_{\min}(\Sigma)} + \cdots\right)\right)

여기서 로그의 밑이 $(1 - \eta\lambda)$ 뿐이라 느린 수렴을 줍니다. 즉 이 상한 이하의 모든 스텝에서 일반화 오차가 $c$ 위에 머문다는 뜻으로, "과적합 이후에도 나쁜 일반화가 오래 지속됨"을 정량화합니다. 증명 핵심은 여공간 성분이 $\theta_\perp^{(t)} = (1-\eta\lambda)^t \theta_\perp^{(0)}$ 로만 줄어들고, 카이제곱 집중 부등식으로 $\lVert\theta_\perp^{(0)}\rVert_2^2 \ge \frac{(m-n)\sigma^2}{2}$ 가 높은 확률로 성립한다는 데 있습니다. 이 정리의 $m$ 하한이 정리 4.4의 것보다 강해, 우리가 확실히 고차원 회귀 상황에 있음을 보장합니다.

정리 4.6 (일반화). $\lVert\phi(x)\rVert_2 \le b$ 를 가정하고 $\hat{\theta} = \arg\min_\theta L_n(\theta;\lambda)$ 라 합시다. 임의의 $\epsilon > 0, \delta \in (0,1)$ 에 대해 $n = \Omega\!\big(\frac{b^4\lVert\theta^*\rVert_2^4}{\epsilon^2}\log\frac{1}{\delta}\big)$ 이면, 확률 $1 - \delta$ 이상으로 GD가 다음을 만족하는 $\hat{\theta}$ 로 수렴합니다.

L(\hat{\theta}) \le 2 L_n(\hat{\theta}) + \epsilon

이는 정규화 목적함수의 전역 최소해 $\hat{\theta}$ 에서 일반화 오차가 훈련 오차의 두 배에 $\epsilon$ 을 더한 값으로 유계임을 뜻합니다. 증명은 Rademacher 복잡도(Rademacher complexity)에 기반한 표준 균등 수렴 논증을 씁니다. 핵심 보조정리로, 함수 클래스 $\mathcal{H}(B) = \{x \mapsto \langle\theta,\phi(x)\rangle : \lVert\theta\rVert_2 \le B\}$ 의 경험적 Rademacher 복잡도가 $\mathrm{Rad}_{S_n}(\mathcal{H}(B)) \le B\sqrt{\bar{L}/n}$ 로 유계임을 Cauchy–Schwarz와 Jensen 부등식으로 보이고, Shalev-Shwartz & Ben-David(2014)의 일반화 경계와 결합합니다. 제곱 손실은 전역적으로 Lipschitz가 아니지만 유계 영역에서는 Lipschitz이며, $\lVert\theta\rVert_2 \le \sqrt{2}\lVert\theta^*\rVert_2$ 와 $\lvert N(x;\hat\theta)\rvert \le b\sqrt{2}\lVert\theta^*\rVert_2$ 의 유계성을 활용합니다. $n = \Omega(b^4\lVert\theta^*\rVert_2^4\epsilon^{-2})$ 하한이 바로 이 균등 수렴에서 나옵니다.

챕터의 핵심 기여: 제로 교사(정리 4.1)에서 실현 가능 교사(정리 4.2)로 나아가며, grokking을 "빠른 훈련 수렴(4.4) + 느린 일반화 하한(4.5) + 최종 일반화(4.6)"의 세 정리로 완결하고, grokking time을 하이퍼파라미터의 함수로 정량화.

다음 챕터로의 연결: 5장에서 이 정량적 예측이 실제 시뮬레이션과 얼마나 맞는지, 그리고 비선형 신경망으로도 이어지는지 검증합니다.

📖 Chapter 5: Experiments

챕터의 위치와 역할: 4장 이론을 수치 실험으로 검증하는 장입니다. 결과는 모두 로그 스케일 x축의 훈련/테스트 손실 곡선 및 하이퍼파라미터별 $t_1, t_2$ 곡선(그림 2–4)으로 제시되며, 별도의 성능 표는 없습니다.

5.1 Hyperparameter Control

학생 선형 회귀 모델을 GD + weight decay로 학습해 단위 노름( $\lVert\theta^*\rVert_2 = 1$ )의 실현 가능 교사를 배웁니다. 특징 맵은 항등함수 $\phi(x) = x \in \mathbb{R}^m$ 로 두고, $\lambda_{\min}(\Sigma)$ 을 통제하기 위해 특징을 $\mathcal{N}(0, \frac{1}{m}I_m)$ 에서 i.i.d.로 뽑는 분포 가정을 추가합니다. 이 가우시안 특징 가정 하에서 정리 4.2로부터 $t_1, t_2$ 의 명시적 근사 경계(식 8)를 유도할 수 있으며, $b^2 \approx 3/2$ , $\lambda_{\min}(\Sigma) = 1/m$ 등이 높은 확률로 성립합니다. 그림 2에서 점선(이론 경계)과 실선(관측값)이 네 패널 모두에서 잘 겹칩니다.

패널	조작 변수	관측된 효과	이론 대응
좌상	weight decay $\lambda$ 감소	일반화 지연 확대 ( $t_2 \propto 1/\lambda$ )	식 (7)
우상	표본 수 $n$ 감소	훈련 수렴 가속으로 grokking 증폭 ( $t_1$ 영향)	식 (6)
좌하	특징 차원 $m$ 증가	$t_1, t_2$ 에 큰 영향 없음	식 (6)·(7)
우하	초기화 스케일 $\sigma^2$ 증가	$t_1, t_2$ 동시 증가 (로그 비율, $t_1,t_2 \propto \ln\sigma^2$ )	식 (6)·(7)

기본값은 $n = 100$ , $m = 1000$ , $\sigma^2 = 1$ , $\lambda = 10^{-4}$ 이며 임계값은 $c = \epsilon = 0.01$ 입니다.

5.2 Random-Features Neural Networks

두 층 랜덤 ReLU 특징 신경망을 학습해, 단위 노름 가중치의 단일 ReLU 뉴런 교사( $x \mapsto \sigma(\langle w^*, x\rangle)$ , $\lVert w^*\rVert_2 = 1$ )를 배웁니다. 은닉층 가중치는 초기화 후 고정하고 출력층 $\theta = a$ 만 최적화하므로, 이는 특징 맵 $\phi_j(x) = \sigma(\langle w_j, x\rangle)$ 를 쓰는 선형 회귀의 특수 사례입니다. 초기화는 $a_j^{(0)} \sim \mathcal{N}(0, 1)$ , $w_j \sim \mathcal{N}(0, \frac{2}{dm}I_d)$ 입니다. 교사 $w^*$ 가 학생과 독립으로 표집되어 엄밀히는 비실현(non-realizable) 설정이지만, 충분히 넓은 학생망이 임의 교사를 근사할 수 있어 사실상 실현 가능에 가깝습니다. 그림 3은 실현 가능 ridge regression과 유사한 거동(작은 $\lambda$ 가 $t_2$ 를 늘려 grokking 증폭, 작은 $n$ 이 $t_1$ 을 앞당김 등)을 보입니다. 기본값은 $d = 100$ , $n = 100$ , $\eta = 10^{-5}$ , $m = 10000$ , $\sigma^2 = 1$ 입니다.

5.3 Non-linear Neural Networks

이번에는 두 층 ReLU 신경망의 두 층 모두( $\theta = (W, a)$ )를 학습합니다. 초기화는 $a_j^{(0)} \sim \mathcal{N}(0, \frac{1}{m})$ , $w_j^{(0)} \sim \mathcal{N}(0, \frac{\sigma^2}{d}I_d)$ 이고 교사는 영함수로 둡니다. 기본값은 $\lambda = 10^{-4}$ , $d = 50$ , $n = 50$ , $m = 1000$ , $\sigma^2 = 1$ , $\lambda = 0.05$ 입니다. 그림 4에서 $t_1, t_2$ 의 하이퍼파라미터 의존성이 그림 2(선형 회귀)와 정성적으로 일치합니다. 이는 본 논문의 경계가 분석 대상인 선형 설정을 넘어 훨씬 일반적인 거동까지 포착할 가능성을 시사합니다.

챕터의 핵심 기여: 가우시안 특징 하에서 이론 경계(식 8)가 관측값과 정량적으로 겹침을 보이고, 랜덤 특징·완전 비선형 신경망으로까지 정성적 일치가 이어짐을 실증.

다음 챕터로의 연결: 6장에서 이 결과의 의의와 남은 문제를 논합니다.

📖 Chapter 6: Discussion and Future Directions

챕터의 위치와 역할: 결론과 미해결 문제를 정리하는 마무리 장입니다.

저자들은 ridge regression에 대한 최초의 end-to-end provable grokking을 확립했으며, grokking time을 하이퍼파라미터의 함수로 정량화하고 실험으로 검증했다고 요약합니다. 가장 근본적인 선형 회귀에서 grokking을 관찰한 것은 놀라울 만큼 단순하면서도, 개별 하이퍼파라미터의 효과를 깨끗이 분리해 내는 투명한 통제 환경을 제공한다는 점에서 시사적입니다.

남긴 미해결 문제는 다음과 같습니다.

비실현 ridge regression: 레이블 잡음(label noise)이 있는 경우를 포함한 비실현 설정에서 provable grokking을 보일 수 있는가? 두 층 랜덤 특징 신경망에서 비실현 grokking이 이미 실험적으로 관찰되므로 여기서 출발하는 것이 자연스럽지만, agnostic(불가지) 학습에서 두 층 ReLU 랜덤 특징에 대한 증명은 어려워 보입니다. 현재 기법으로는 이 설정에서 grokking을 실현할 하이퍼파라미터 조합을 찾지 못했고(임의로 작은 weight decay가 오히려 일반화를 완전히 저해할 수 있음), 새로운 도구가 필요합니다.
lazy-to-rich 전이로부터의 provable grokking: 많은 연구가 grokking을 lazy-to-rich 전이로 설명하지만 엄밀한 증명은 없습니다. 저자들도 교사 신경망 학습을 시도했으나, 제로 교사에서 은닉층만 최적화하는 강한 가정 아래서도 과적합 발생 증명이 어렵습니다(NTK 분석은 각 뉴런이 초기화 근처에 머문다고만 말할 뿐, 지속적 나쁜 일반화를 보장하지 못함).
암묵적 사전분포의 전이라는 해석: 작은 weight decay에서 얻는 과적합 해는 weight decay 없는 훈련의 해, 즉 최소 노름 보간자(minimum-norm interpolating predictor)에 대응합니다. 따라서 이 설정의 grokking은 misspecified(잘못 지정된) 사전분포에서 well-specified(잘 지정된) 사전분포로의 전이로 볼 수 있습니다. Lauditi 등(2025)이 보인 "weight decay가 암묵적 사전분포를 바꾼다"는 관점과 궤를 같이합니다.
회귀 대 분류의 구조적 차이: 분류의 "테스트 오차 정체(plateau)"는 대개 이산 지표(정확도)를 평가한 산물인 반면, 회귀는 연속 손실이 보통 정체 없이 매끄럽게 감소합니다. 저자들은 임계값 기반 대리(surrogate) 정확도 지표 $P_x(\lvert N(x;\theta^{(t)}) - N^*(x)\rvert^2 \ge \rho)$ 를 정의하면 선형 회귀에서도 익숙한 정체 현상이 재현됨을 보입니다(부록 B, 그림 5). 부록 B는 또한 레이블 잡음(그림 6)과 랜덤 푸리에 특징(random Fourier features, 그림 7)에서도 grokking을 관찰합니다.

챕터의 핵심 기여: grokking을 "암묵적 사전분포의 전이"로 재해석하고, 비실현·lazy-to-rich 방향의 명확한 후속 과제를 제시.

다음 챕터로의 연결: 이로써 본문이 마무리되며, 부록 A(전 정리의 완전한 증명), B(추가 실험), C(집중 부등식 등 기술 보조정리)가 뒤따릅니다.

실험 결과 심층 분석

이 논문은 이론 논문이지만 5장에 상당한 실증 검증을 담고 있습니다. 다만 결과는 손실 곡선· $t_1$ · $t_2$ 곡선(그림)으로 제시되며 정량 성능 표는 없습니다. 따라서 여기서는 실험 설계의 합리성과 결과의 함의를 정리합니다.

설계의 핵심: 이론 경계를 그림에 직접 겹치기. 5.1절 그림 2에서 점선은 식 (8)의 이론 경계, 실선은 관측된 $t_1, t_2$ 입니다. 가우시안 특징이라는 통제된 조건에서 두 선이 함께 움직인다는 것은, 단순히 "grokking이 일어난다"를 넘어 grokking의 타이밍이 이론이 예측한 스케일링을 정량적으로 따른다는 강한 증거입니다. 특히 $t_2 \propto 1/\lambda$ (좌상 패널)와 $t_1, t_2 \propto \ln\sigma^2$ (우하 패널)의 스케일링이 관측된 것은 식 (6)·(7)의 예측을 뒷받침합니다.

실험 설정 요약.

실험	모델	교사	실현 여부	주요 기본값
5.1 선형 회귀	항등 특징 선형 모델	단위 노름 실현 가능 교사	실현 가능	$n{=}100, m{=}1000, \sigma^2{=}1, \lambda{=}10^{-4}$
5.2 랜덤 특징 NN	출력층만 학습하는 2층 ReLU	단일 ReLU 뉴런	근사적 실현	$d{=}100, n{=}100, m{=}10000, \eta{=}10^{-5}$
5.3 비선형 NN	두 층 모두 학습하는 2층 ReLU	영함수	—	$d{=}50, n{=}50, m{=}1000, \lambda{=}0.05$

결과의 함의. 5.2절과 5.3절은 이론이 직접 다루지 못하는 설정(랜덤 특징, 완전 비선형 학습)으로 관찰 범위를 넓힙니다. 5.3절에서 $t_1, t_2$ 의 하이퍼파라미터 의존성이 선형 회귀(그림 2)와 정성적으로 일치한다는 것은, 이 논문의 통찰(두 부분공간의 수렴 속도 차이)이 선형 설정에 국한된 인공물이 아닐 가능성을 시사합니다. 다만 저자들은 5.3절을 어디까지나 정성적 일치로 신중히 규정하며, 비선형 설정의 엄밀한 분석은 6장에서 명시적 미해결 과제로 남깁니다.

재현성. 모든 실험은 항등 특징·가우시안 분포·랜덤 ReLU/푸리에 특징 등 명시된 합성(synthetic) 설정이며, 하이퍼파라미터 기본값과 임계값( $c = \epsilon = 0.01$ 등), 초기화 스킴이 본문·부록에 상세히 기재되어 있어 재현에 필요한 정보가 충분히 제공됩니다. 그림 1의 설정도 부록에 명시됩니다(좌: $n{=}100, m{=}10000, \eta{=}10^{-5}, \sigma^2{=}1, \lambda{=}1$ ; 우: $d{=}50, n{=}50, m{=}1000, \eta{=}0.1, \sigma^2{=}1, \lambda{=}10^{-4}$ ). 별도의 코드 공개 여부는 본문에 언급되지 않습니다.

기술적 함의와 응용

분야에 미치는 영향. 이 논문의 가장 큰 개념적 기여는 grokking을 아키텍처의 문제에서 최적화 동역학의 문제로 옮긴 것입니다. grokking이 깊거나 비선형인 구조 없이 ridge regression에서 발생한다는 사실은, 이 현상이 딥러닝 특유의 신비가 아니라 "과적합화 + 두 부분공간의 서로 다른 수렴 속도 + weight decay"라는 일반적 조건의 산물임을 보여줍니다. 이는 grokking을 회피하거나 유도하려 할 때 아키텍처를 바꿀 필요 없이 하이퍼파라미터(특히 $\lambda$ 와 $\sigma^2$ )만 조율하면 된다는 실천적 처방으로 이어집니다.

다른 연구 영역으로의 확장. "grokking = misspecified 사전분포에서 well-specified 사전분포로의 전이"라는 재해석은, 암묵적 정규화(implicit regularization)와 최소 노름 보간(min-norm interpolation) 연구, 그리고 benign overfitting(양성 과적합) 문헌과 직접 맞닿습니다. 또한 대리 정확도 지표로 회귀에서도 테스트 오차 정체를 재현한 부록 B의 결과는, 회귀와 분류의 grokking을 통합적으로 볼 이론적 실마리를 제공합니다.

실제 적용 시 고려사항. 이 논문의 경계는 실현 가능·합성 특징이라는 강한 가정에 의존합니다. $\lambda_{\min}^+(\hat{\Phi}\hat{\Phi}^\top)$ 의 $n, m$ 의존성이 미해결이라는 점(Remark 4.3)은, 실제 데이터에서 $t_1$ 을 사전에 정확히 예측하기는 어렵다는 뜻입니다. 그럼에도 "작은 weight decay가 일반화를 지연시킨다"는 정성적 처방은 견고하며, weight decay 튜닝으로 grokking을 통제하려는 실무 감각과 정합적입니다.

향후 연구 방향(논문 명시). 저자들이 제시한 세 방향 — 비실현/레이블 잡음 설정의 provable grokking, lazy-to-rich 전이의 엄밀한 증명, 회귀·분류 통합 관점 — 은 모두 "가장 단순한 무대에서 얻은 통찰을 얼마나 현실적인 설정으로 밀어붙일 수 있는가"라는 하나의 질문으로 수렴합니다.

TrendHacker와의 접점. 이 프로젝트는 매일 유입되는 지식에서 신호를 뽑아내는 결정론적 파이프라인을 운영합니다. "이른 과적합 이후 뒤늦게 찾아오는 일반화"라는 grokking의 시간 구조는, 지표가 조기에 포화된 뒤에도 실제 유용성이 뒤늦게 드러나는 학습·큐레이션 루프의 거동을 사고하는 데 유용한 은유가 됩니다. 훈련 신호(빠른 수렴)와 일반화 신호(느린 수렴)를 구분해 관찰하라는 이 논문의 교훈은, 모델 성능을 하나의 지표가 아니라 서로 다른 속도로 움직이는 여러 축으로 나눠 보는 관점과도 잘 맞닿습니다.