[ICML26] How much can language models memorize?

논문 개요와 전체 구조

"언어 모델은 훈련 데이터를 얼마나 외우는가?" 이 질문은 프라이버시(멤버십 추론·데이터 추출), 저작권, 그리고 딥러닝의 근본 원리(암기 vs 일반화) 모두와 맞닿아 있어 지난 몇 해 동안 뜨거운 주제였습니다. 그런데 이 질문에 답하려면 먼저 "외운다(memorize)"가 무엇인지 정확히 정의해야 합니다. 기존 연구는 대부분 "모델이 어떤 문자열을 뱉어낼 수 있으면 그것을 외운 것"이라고 봤지만, 저자들은 이 관점이 근본적으로 결함이 있다고 지적합니다. 언어 모델은 적절히 유도하면 거의 아무 문자열이나 출력할 수 있고, " $2^{100}$ 은 얼마인가?"에 정답을 내놓는 것은 그 답을 외웠기 때문이 아니라 덧셈·곱셈을 일반화(generalization, 일반화)했기 때문일 수 있기 때문입니다.

이 논문(arXiv:2505.24832, 2025년 6월)은 Meta FAIR·Google DeepMind·Cornell·NVIDIA 공동 연구진이 발표했고 ICML 2026 Outstanding Paper Honorable Mention을 받았습니다. 핵심 아이디어는 정보이론(information theory)을 빌려와 암기(memorization, 암기)를 의도치 않은 암기(unintended memorization, 특정 데이터셋에 관해 모델이 담고 있는 정보)와 일반화(generalization, 데이터 생성 과정 자체에 관해 모델이 획득한 지식) 두 성분으로 형식적으로 분리하는 것입니다. 일반화 성분을 완전히 제거하면 모델이 데이터에 관해 담을 수 있는 총 정보량, 즉 모델 용량(model capacity, 모델 용량)을 측정할 수 있게 됩니다.

이렇게 측정한 결과가 이 논문의 헤드라인 수치입니다. GPT 계열 트랜스포머는 파라미터 하나당 약 3.6비트(bits-per-parameter, 파라미터당 비트)의 정보를 저장한다. 저자들은 500K에서 1.5B 파라미터에 이르는 수백 개의 트랜스포머 언어 모델을 직접 훈련시켜 이 값을 실측하고, 용량이 가득 차는 순간 "grokking(그로킹)"이 시작되며 의도치 않은 암기가 감소하고 모델이 일반화로 전환된다는 것, 나아가 멤버십 추론(membership inference, 멤버십 추론)에 대한 스케일링 법칙(scaling law, 스케일링 법칙)까지 도출합니다.

논문은 다음과 같은 구조로 전개됩니다. 전체 지도를 먼저 제시합니다.

섹션	제목	핵심 내용
1	Introduction	문제 제기, 기존 정의의 결함, 압축 기반 정의 제안
2	Memorization, intended and unintended	암기의 형식적 정의(엔트로피·Kolmogorov·압축 추정)
3	Model Capacity for Memorization	용량 정의, 합성 비트열로 용량 실측(3.6 bpp)
4	Disentangling Unintended Memorization from Generalization	실제 텍스트 실험, double descent 설명
5	Memorization and Membership	멤버십 추론과 그 스케일링 법칙, 대형 모델 검증
6	Related Work	압축·용량·정보 정규화·기존 암기 정의
7	Conclusion	결론 및 함의
A/B	Appendix	신뢰도 검증, TF-IDF 분석, 증명, 한계, 대안 정의 비교

이 리뷰는 위 섹션 순서를 그대로 따라가며 각 챕터를 충실히 정리합니다. 실측 수치가 핵심인 논문인 만큼 용량·스케일링 법칙 결과는 별도의 심층 분석 섹션에서 표와 함께 다시 파고듭니다.

핵심 기여와 혁신성

해결하려는 문제의 중요성. 현대 언어 모델은 파라미터 수는 수십억 규모로 정체된 반면 훈련 데이터는 수조 토큰으로 폭증했습니다. 예컨대 저자들이 인용하는 최신 모델은 80억 파라미터(디스크 약 32GB)인데 15조 토큰(디스크 약 7TB)으로 훈련됩니다. 이 극단적 비대칭 속에서 "모델이 특정 훈련 데이터를 의미 있게 외우고 있는가"라는 질문은 프라이버시와 저작권의 핵심이지만, 정작 그것을 재현 가능하고 알고리즘과 무관하게 정량화하는 방법이 없었습니다.

기존 접근법의 한계. 기존 연구는 크게 두 갈래였습니다. 하나는 추출(extraction)로, 모델 가중치에서 훈련 데이터를 복원할 수 있으면 암기했다고 봅니다. 다른 하나는 멤버십 추론으로, 특정 샘플이 훈련 집합에 있었는지 분류합니다. 저자들은 두 접근 모두 일반화와 암기를 구분하지 못한다고 지적합니다. 모델은 강제하면 거의 아무 문자열이나 뱉어낼 수 있으므로 "출력했다"는 사실 자체가 암기의 증거가 되지 못하며, 프롬프트 길이를 제한하거나 접두어를 맞추는 보정으로도 "일반화로 맞춘 것"과 "외워서 맞춘 것"을 가릴 수 없습니다.

제안 해결책의 독창성. 저자들은 압축률(compression rate)로 암기를 정의합니다. 어떤 입력이 모델을 참조로 두었을 때 더 짧게 압축된다면, 그 줄어든 만큼을 모델이 그 입력에 관해 담고 있는 정보로 봅니다. 이 발상은 Kolmogorov 정보이론(Kolmogorov, 1963)과 Shannon 정보이론(Shannon, 1948)에 뿌리를 두되, 모델 우도(likelihood)로 정보량을 추정해 실용적으로 계산 가능하게 만든 것이 핵심입니다. 결정적으로 이 정의는 암기를 의도치 않은 암기와 일반화 두 성분으로 인스턴스 수준에서 분리합니다. Brown et al.(2021)이 데이터셋과 모델 사이의 조건부 상호정보(conditional mutual information)로 암기를 정의한 것과 정신은 같지만, 저자들의 정의는 알고리즘적 정보 개념을 써서 개별 샘플 단위로 이 분리를 수행한다는 점이 다릅니다.

예상 파급효과와 세 가지 기여. 논문의 기여는 세 갈래로 정리할 수 있습니다.

첫째, 일반화와 분리 가능한 암기의 정의를 제안하고, 이를 압축으로 실측 가능하게 만들었습니다.
둘째, 이 정의로 GPT 계열의 용량을 실측해 약 3.6 bits-per-parameter라는 구체적 수치를 얻고, 정밀도(precision)에 따른 변화까지 규명했습니다.
셋째, 멤버십 추론 성능을 모델 용량·데이터 크기의 함수로 예측하는 스케일링 법칙을 세우고 최대 1.5B 파라미터 모델에서 검증했습니다.

특히 셋째 결과는 실무적 함의가 큽니다. 이 스케일링 법칙에 따르면 대부분의 현대 언어 모델은 평균적인 데이터포인트에 대해 신뢰할 만한 멤버십 추론이 불가능할 만큼 많은 데이터로 훈련되고 있습니다.

기술적 세부사항

이 절에서는 논문의 정의·측정 방법·실험 설계를 수식과 함께 정리합니다.

엔트로피 기반 정의(통계적 관점). 확률변수 $X$ 의 정보량을 엔트로피 $H(X)$ 로, $Y$ 를 고정한 뒤 남은 불확실성을 조건부 엔트로피 $H(X \mid Y)$ 로 둡니다. 학습 알고리즘 $L$ 이 데이터 $X$ 를 훈련 모델 $\hat{\theta}$ 로 사상할 때, $\hat{\theta}$ 에 담긴 $X$ 에 관한 총 정보는 상호정보로 정의됩니다.

\mathrm{mem}(X, \hat{\theta}) = I(X, \hat{\theta}) = H(X) - H(X \mid \hat{\theta})

여기서 $H(X)$ 는 데이터 자체의 총 정보량, $H(X \mid \hat{\theta})$ 는 훈련된 모델을 알고 난 뒤에도 남는 데이터의 불확실성입니다. 둘의 차이가 곧 모델이 데이터에 관해 "알게 된" 정보의 총량입니다.

의도치 않은 암기와 일반화의 분리. 핵심은 데이터 생성 과정을 대표하는 참조 모델(reference model) $\theta$ 를 도입해, $\theta$ 가 이미 설명하는 부분(일반화)을 걷어내는 것입니다. $\theta$ 를 고정하고 남은 정보 $[X \mid \theta]$ 중 $\hat{\theta}$ 가 담고 있는 몫이 의도치 않은 암기입니다.

\mathrm{mem}_U(X, \hat{\theta}, \theta) = I\big([X \mid \theta], \hat{\theta}\big) = H(X \mid \theta) - H\big(X \mid (\theta, \hat{\theta})\big)

그리고 일반화(의도된 암기)는 전체에서 의도치 않은 부분을 뺀 나머지로 정의됩니다.

\mathrm{mem}_I(X, \hat{\theta}, \theta) = \mathrm{mem}(X, \hat{\theta}) - \mathrm{mem}_U(X, \hat{\theta}, \theta)

$H(X \mid \theta)$ 는 "참 분포를 이미 안다고 할 때 데이터에 남은 정보"이고, 여기서 훈련 모델까지 알았을 때 줄어드는 양 $H(X \mid (\theta, \hat{\theta}))$ 을 빼면 훈련 모델만이 추가로 담고 있는 샘플 고유 정보가 나옵니다.

초가법성(super-additivity) 명제. 데이터 $X = (X_1, \dots, X_n)$ 이 i.i.d.일 때 다음이 성립합니다.

\sum_{i \in [n]} \mathrm{mem}_U(X_i, \hat{\theta}, \theta) \le \mathrm{mem}_U(X, \hat{\theta}, \theta) \le H(\hat{\theta})

왼쪽 부등식은 샘플별 암기를 합산하면 데이터셋 수준 암기의 하한이 됨을 뜻하고, 오른쪽 부등식은 모델의 정보량 엔트로피 $H(\hat{\theta})$ 가 그 상한임을 뜻합니다. 즉 의도치 않은 암기는 데이터가 커질수록 늘어나되 모델 용량을 넘어설 수 없습니다. 이것이 이후 용량 측정의 이론적 근거입니다.

Kolmogorov 복잡도로의 전환. 위 정의는 확률변수에 대한 것이지만, 실제로는 단일 모델·단일 데이터셋·단일 훈련 모델만 관측되므로 엔트로피를 잴 수 없습니다. 그래서 저자들은 압축 기반의 Kolmogorov 복잡도로 옮겨갑니다. 문자열 $x$ 의 정보량을 그것을 만드는 가장 짧은 프로그램 길이로 정의합니다.

H_K(x) = \min_{f(p)=x} |p|, \quad H_K(x \mid \theta) = \min_{f(p,\theta)=x} |p|, \quad I_K(x, \theta) = H_K(x) - H_K(x \mid \theta)

$f$ 는 범용 튜링 기계 같은 계산 모델, $|p|$ 는 입력 프로그램의 비트 길이입니다. $H_K(x \mid \theta)$ 는 참조 $\theta$ 를 곁에 둔 채 $x$ 를 재현하는 최단 기술 길이로, Grunwald & Vitanyi(2004)의 결과에 따라 Kolmogorov 정보가 Shannon 정보를 근사하므로 두 정의가 개념적으로 연결됩니다(Proposition 4).

압축으로 추정하기. Kolmogorov 복잡도는 계산 불가능하므로 실제로는 최선의 압축 알고리즘으로 근사합니다. 저자들은 언어에 가장 자연스러운 산술 부호화(arithmetic coding)를 씁니다. 산술 부호의 코드 길이가 모델 우도와 직결된다는 성질을 이용하면, 압축된 코드를 실제로 만들 필요 없이 음의 로그 우도로 정보량을 추정할 수 있습니다.

H_K(x \mid \hat{\theta}) \approx -\log p(x \mid \hat{\theta}), \quad H_K(x \mid \hat{\theta}, \theta) \approx -\log \max\{ p(x \mid \hat{\theta}),\, p(x \mid \theta) \}

즉 훈련 모델만 쓸 때는 그 모델 아래 $x$ 의 음의 로그 우도를, 참조 모델까지 함께 쓸 수 있을 때는 두 모델 중 더 잘 압축하는 쪽(더 큰 우도)을 택합니다. 참조 모델 $\theta$ 는 합성 데이터 실험에서는 정확히 아는 참 분포를, 텍스트 실험에서는 같은 계열의 더 큰 모델(훨씬 넓은 데이터로 오래 훈련한 것)을 씁니다.

실험 설계. 용량 측정 실험은 Kaplan et al.(2020)을 따라 GPT-2 아키텍처(Radford et al., 2019)를 처음부터 훈련합니다. 층 수 1~8, 은닉 차원 32~512, 파라미터 100K~20M 범위의 모델을, 배치 크기 2048로 $10^6$ 스텝, Adam으로 단일 A100에서 bfloat16 정밀도로 훈련합니다. 기본 설정은 어휘 크기 $V = 2048$ , 시퀀스 길이 $S = 64$ 이며 데이터셋 크기만 바꿉니다. 각 (모델, 데이터 크기) 쌍을 다섯 개의 랜덤 시드로 반복합니다. 텍스트 실험은 최신 중복 제거(deduplication) 관행을 따르는 FineWeb 데이터셋(Penedo et al., 2024)을 쓰되, 64토큰으로 자를 때 생기는 1~2% 중복까지 추가로 제거합니다.

챕터별 상세 리뷰

📖 Chapter 1: Introduction

챕터의 위치와 역할: 논문의 문제의식과 기존 정의의 결함을 드러내고, 압축 기반 정의라는 대안을 선언하는 도입부입니다. 이후 모든 실험이 여기서 제기한 "암기와 일반화를 어떻게 가를 것인가"에 답하기 위한 것임을 명확히 합니다.

저자의 서술 순서를 따라가면 다음과 같습니다.

파라미터 대비 데이터의 비대칭: 최신 모델은 파라미터는 수십억으로 정체됐지만 데이터는 수조 토큰으로 폭증했습니다. 이 상황에서 "모델이 훈련 데이터를 의미 있게 외우는가"라는 오랜 질문이 다시 제기됩니다.
두 갈래의 기존 접근과 그 결함: 추출(가중치에서 데이터 복원)과 멤버십 추론(훈련 여부 분류)이 주류였습니다. 그러나 모델은 강제하면 거의 아무 문자열이나 뱉어낼 수 있으므로, 무언가를 출력했다는 사실이 암기의 증거가 되지 못합니다.
보정의 한계: 프롬프트 길이를 제한하거나 접두어를 맞추는 보정도 "일반화로 맞춘 것"과 "외워서 맞춘 것"을 구분하지 못합니다. 덧셈을 배운 모델은 처음 보는 식의 답도 맞출 수 있기 때문입니다.
압축 기반 정의의 제안: 모델을 참조로 두었을 때 입력이 더 짧게 압축되면 그만큼 외운 것으로 봅니다. Kolmogorov·Shannon 정보이론에 기반하되 모델 우도로 실용화합니다.
두 성분으로의 분해: 암기를 의도치 않은 암기(특정 데이터셋 정보)와 일반화(데이터 생성 과정 정보)로 나눕니다. 이 분리가 논문 전체의 축입니다.
실험 로드맵 예고: 먼저 균일 랜덤 비트열로 일반화 가능성을 원천 제거해 용량을 실측하고(GPT 계열 파라미터당 3.5~4비트), 이어 실제 텍스트로 넘어가 double descent를 설명하며, 마지막으로 멤버십 추론 스케일링 법칙을 세웁니다.

챕터의 핵심 기여: "출력 가능성"이 아니라 "압축률"로 암기를 재정의하고, 일반화와 분리 가능한 형태로 문제를 재구성한 것. 다음 챕터로의 연결: 이 재정의를 수학적으로 엄밀히 형식화하기 위해 2장으로 넘어갑니다.

📖 Chapter 2: Memorization, intended and unintended

챕터의 위치와 역할: 논문의 이론적 심장부입니다. 암기가 만족해야 할 요건을 명시하고, 통계적 정의에서 출발해 Kolmogorov 복잡도, 다시 압축 추정으로 이어지는 세 단계를 밟습니다.

우선 저자들은 암기 정의가 갖춰야 할 세 요건을 제시합니다.

일반화와의 분리: 의도치 않은 암기는 일반화(의도된 암기)와 구별돼야 합니다. " $2^{100}$ 은?"에 정답을 내는 것은 수학 능력이지 암기가 아닙니다.
샘플 수준 정의: 확률변수가 아니라 그 실현값(개별 샘플 $x$ )에 대해 암기를 정의해야 합니다.
훈련 알고리즘 독립성: 정의는 학습 알고리즘 $L$ 이 아니라 최종 모델 $\hat{\theta}$ 와 샘플 $x$ 만의 함수여야 합니다. 우리는 보통 최종 모델과 대상 샘플만 접근할 수 있기 때문입니다.

저자들이 반복해 드는 예시가 이 세 요건의 취지를 잘 보여줍니다. 훈련 샘플 "Q: What is $2^{100}$ ? A: 1267650600228229401496703205376"을 두고 "이 샘플이 얼마나 외워졌는가"를 물을 때, 단순한 산술 수행 능력은 언어 모델에서 당연히 기대되는 일반화이므로 이를 암기로 세면 안 됩니다. 거의 모든 추출 기반 정의는 이 샘플을 "강하게 외워졌다"고 잘못 판정하는데, 이는 그 정의들이 일반화를 걷어내지 못하기 때문입니다. 저자들의 정의는 참조 모델이 이미 설명하는 부분(덧셈·곱셈)을 공제하므로 이 함정을 피합니다.

2.1 통계적 관점(warm-up)

상호정보로 총 암기 $\mathrm{mem}(X, \hat{\theta}) = H(X) - H(X \mid \hat{\theta})$ 를 정의한 뒤, 참조 모델 $\theta$ 로 일반화를 걷어내 의도치 않은 암기 $\mathrm{mem}_U$ 와 일반화 $\mathrm{mem}_I$ 를 분리합니다(기술적 세부사항 절의 수식 참조). 이어 초가법성 명제(Proposition 1)로 샘플별 암기 합이 데이터셋 암기의 하한, 모델 엔트로피 $H(\hat{\theta})$ 가 상한임을 보입니다. 이 정의는 Brown et al.(2021)에서 처음 도입됐지만, 단일 모델·단일 샘플만 관측되는 상황에서는 확률이나 조건부 확률을 정의할 수 없어 그대로는 쓸 수 없습니다.

2.2 Kolmogorov 복잡도로 측정

엔트로피 기반 정의의 측정 불가능성을 우회하기 위해 압축 기반의 Kolmogorov 복잡도로 전환합니다. 문자열의 정보량을 최단 기술 길이로, 참조 $\theta$ 가 있을 때의 조건부 복잡도 $H_K(x \mid \theta)$ 를 도입하고, 이를 통해 Kolmogorov 상호정보와 Kolmogorov 암기(의도된·의도치 않은 변형 포함)를 정의합니다. Proposition 4는 Kolmogorov 암기가 Shannon 암기를 상수 오차 내로 근사함을 보장해, 압축으로 갈아탄 것이 원래 정의를 배신하지 않음을 정당화합니다.

2.3 압축으로 Kolmogorov 추정

Kolmogorov 복잡도는 계산 불가능하므로 최선의 압축으로 근사합니다. 언어에 자연스러운 산술 부호화를 택하고, 코드 길이가 모델 우도와 직결된다는 성질(Shannon, 1950)을 이용해 음의 로그 우도로 각 항을 추정합니다. 흥미롭게도 논의는 "우도 → Kolmogorov → 다시 우도"로 순환하지만, 마지막 우도는 디코딩 파라미터(온도·top-k)에 의존한다는 점에서 처음 것과 구별되며, 산술 부호화는 이 넓은 틀의 한 가지 구현일 뿐이라고 저자들은 강조합니다.

챕터의 핵심 기여: 측정 가능하고 알고리즘과 무관하며 일반화와 분리되는, 인스턴스 수준 암기의 형식적 정의와 그 실용적 추정법. 다음 챕터로의 연결: 이 정의를 써서 일반화가 원천 봉쇄된 환경(합성 랜덤 데이터)에서 모델 용량을 실측하러 3장으로 넘어갑니다.

📖 Chapter 3: Model Capacity for Memorization

챕터의 위치와 역할: 논문의 헤드라인 수치(3.6 bits-per-parameter)가 나오는 챕터입니다. 각 데이터포인트가 완전히 독립이라 일반화가 불가능한 합성 데이터를 써서, 의도치 않은 암기의 총합으로 용량을 실측합니다.

3.1 용량의 정의

모델 용량을 학습 알고리즘 $L$ 이 담을 수 있는 최대 총 암기로 정의합니다.

\mathrm{Capacity}(L) = \max_{X} \; \mathrm{mem}\big(X, L(X)\big)

용량에 도달하면 데이터셋을 아무리 키워도 $\mathrm{mem}$ 이 더 늘지 않습니다. 따라서 실무적으로는 다양한 크기의 데이터셋으로 포화될 때까지 훈련한 뒤 최대 암기량을 취하면 용량을 구할 수 있습니다.

3.2 합성 시퀀스로 용량 측정

각 토큰을 정해진 토큰 집합에서 이전 토큰과 무관하게 균일 샘플링하면, 생성 과정이 완전히 무작위이므로 저장할 일반화가 없습니다. 이때 의도치 않은 암기가 곧 총 암기와 같아집니다( $\mathrm{mem}_U \approx \mathrm{mem}$ ). 데이터셋 크기 $N$ , 시퀀스 길이 $S$ , 어휘 크기 $V$ 일 때 총 엔트로피는 정확히 계산됩니다.

H(x_i) = N \cdot S \cdot \log_2 V

여기서 $\log_2 V$ 는 토큰 하나의 정보량(비트), $N \cdot S$ 는 총 토큰 수입니다. 이 알려진 총 정보에서 훈련 모델 아래의 압축 길이를 빼면 암기량이 나오고, 모든 데이터셋에 대한 최댓값이 용량입니다.

결과의 서술 순서를 따라가면 다음과 같습니다.

뚜렷한 포화 평탄부(plateau): 데이터셋을 키우면 암기가 늘다가 모델 용량에서 딱 멈춥니다. 충분한 용량을 가진 모델은 작은 데이터셋은 완전히 외웁니다.
파라미터와의 매끄러운 선형 관계: 관측 용량과 파라미터 수는 매우 매끄러운 관계를 보이며, 이 설정에서 모델들은 일관되게 파라미터당 3.5~3.6비트를 외웁니다. 이는 사실 저장이 용량에 선형 비례한다는 선행 연구(Roberts et al., 2020; Lu et al., 2024)와 부합하며, 양자화로 약 2비트를 추정한 Allen-Zhu & Li(2024)보다는 다소 큰 값입니다.
하한임에 유의: 경사하강으로 학습하므로 전역 최적을 보장하지 못하고, 따라서 측정값은 항상 용량의 하한입니다.
수렴 견고성: 8M 파라미터 모델에서 16,000~4M 샘플 데이터셋의 암기량이 $3.56$ ~ $3.65 \times 10^6$ 비트 범위에 들어, 측정이 한 자릿수 오차 내로 견고함을 보입니다.
정밀도의 영향: bfloat16에서 fp32로 정밀도를 두 배로 올려도 용량은 파라미터당 3.51에서 3.83비트로 소폭만 증가합니다. 이는 실제 비트 수의 2배 증가에 한참 못 미쳐, 정밀도를 높일 때 늘어난 비트 대부분이 원시 저장에 쓰이지 않음을 시사합니다.

챕터의 핵심 기여: 샘플별 엔트로피 측정으로 모델 용량의 명확한 상한을 실측한 최초의 연구이며, GPT 계열의 용량을 파라미터당 약 3.6비트로 못박은 것. 다음 챕터로의 연결: 일반화가 아예 없는 합성 데이터를 벗어나, 암기와 일반화가 섞이는 실제 텍스트로 무대를 옮깁니다.

📖 Chapter 4: Disentangling Unintended Memorization from Generalization

챕터의 위치와 역할: 이론이 실제 텍스트에서 어떻게 작동하는지 보이는 챕터입니다. 텍스트 학습은 샘플 수준 암기와 집단 수준 일반화가 뒤섞이므로, 참조 모델 설계가 관건이 됩니다.

저자의 서술 순서를 따라가면 다음과 같습니다.

참조 모델 설계: 같은 파라미터 수로 전체 데이터를 학습한 모델을 참조로 쓰거나, 평가 데이터에서 가장 낮은 손실(최선의 압축)을 내는 오라클(oracle) 참조 모델을 씁니다. 오라클은 파라미터가 훨씬 많을 수 있습니다.
실험 설정: 3.2절 실험을 텍스트로 반복하되, FineWeb에서 64토큰 시퀀스를 쓰고 추가 중복 제거를 수행합니다. 저자들은 정확한 추출률 측정을 위해 이 중복 제거가 극히 중요하다고 강조합니다.
암기의 증가 후 감소: 오라클 기준 의도치 않은 암기는, 작은 모델이 작은 훈련셋을 오라클보다 잘 학습하는 동안 증가하다가, 모델이 일반화를 시작하며 오라클보다 평균적으로 못하게 되면서 감소합니다. 즉 용량을 채운 뒤 샘플 고유 정보를 일반화로 대체합니다.
double descent의 설명: 큰 데이터셋에서는 용량에 도달해야 비로소 평가 손실이 떨어지기 시작합니다(대략 $10^5$ 샘플). 데이터 크기 대 용량 비율로 그리면, 데이터 용량이 모델 용량을 넘어서는 바로 그 지점에서 double descent(이중 하강)가 시작됩니다. 저자들은 이를 정확한 용량 추정으로 처음으로 명확히 짚었습니다. 직관적 설명은, 모델이 더 이상 데이터포인트를 개별적으로 외울 수 없게 되면 용량을 아끼려 데이터포인트 사이에 정보를 공유하게 되고, 이것이 일반화로 이어진다는 것입니다.
일반화가 설명하는 잔여 추출률: 32토큰 접두어에서 아주 작은 훈련셋은 100% 추출 가능하지만, 데이터셋이 커지면 추출률은 떨어지되 0으로 가지 않고 테스트 추출률에 수렴합니다. 즉 (중복 제거된) 데이터가 충분히 커지면 성공적 추출은 전부 일반화 덕분입니다.

챕터의 핵심 기여: 정확한 용량·데이터 크기 측정을 바탕으로 double descent가 "데이터 용량이 모델 용량을 초과하는 순간" 시작됨을 실증하고, 잔여 추출이 암기가 아니라 일반화의 산물임을 보인 것. 다음 챕터로의 연결: 암기와 일반화의 관계가 정리됐으니, 이를 프라이버시의 핵심 지표인 멤버십 추론과 연결합니다.

📖 Chapter 5: Memorization and Membership

챕터의 위치와 역할: 이론을 실무 프라이버시 지표로 번역하는 챕터입니다. 훈련·테스트 데이터를 완전히 통제하고 완벽히 중복 제거한 환경은 멤버십 추론 연구에 이상적입니다.

모든 멤버십 추론은 표준 손실 기반 방식(Yeom et al., 2018; Sablayrolles et al., 2019)을 씁니다. 손실 임계값을 정해 그보다 손실이 낮으면 훈련 멤버로 예측하는, 매우 단순한 절차입니다.

5.1 합성·텍스트 데이터에서의 멤버십

합성 데이터에서는 특정 데이터셋 크기를 넘어서면 평균적인 경우 멤버십 추론이 실패하기 시작합니다. 데이터가 모델에 비해 너무 크면 평균 샘플의 멤버십을 알아낼 수 없다는 뜻입니다. 텍스트에서는 고정 모델 크기에서 데이터가 커질수록 멤버십 추론이 어려워집니다. 또한 멤버십 추론은 모든 경우에서 추출보다 엄격히 쉬우며, 추출률이 0인데도 멤버십을 매우 잘(점수 0.97) 알아내는 경우가 있습니다. 부록 A.3의 분포 분석은 그 이유를 보여줍니다. 랜덤 비트열의 훈련·테스트 압축률 분포는 겹침이 작은 정규 분포에 가깝지만, 텍스트는 평균 손실이 낮은 대신 훨씬 넓게 퍼져 훈련·테스트 분포가 크게 겹칩니다. 이 겹침이 텍스트에서 멤버십 추론을 더 어렵게 만드는 근본 원인입니다.

5.2 멤버십 스케일링 법칙

저자들은 고정 용량에서 멤버십 F1이 데이터 크기에 대해 대략 시그모이드(sigmoidal) 형태를 띤다고 관찰합니다. 큰 모델이 작은 데이터에 과적합하면 F1이 1에서 시작하고, 데이터가 커지면 손실로 훈련·테스트를 가르기 어려워져 0.5(무작위 추측)로 붕괴합니다. 이를 다음과 같은 시그모이드 형태로 적합합니다.

\mathrm{MembershipF1}(\theta, D) = \frac{1}{2}\left(1 + \sigma\!\Big(c_1\big(c_2 \cdot r(\theta, D) + c_3\big)\Big)\right), \quad \sigma(x) = \frac{1}{1 + e^{-x}}

여기서 $r(\theta, D)$ 는 모델 용량과 데이터 크기 $|D|$ 의 비율, $\sigma$ 는 로지스틱 시그모이드이며 $c_1, c_2, c_3$ 는 적합 상수입니다. 비선형 최소제곱으로 구한 값은 $c_1 = 1.34$ , $c_2 = -0.034$ , $c_3 = -33.14$ 입니다. 극한 거동: $|D| \to \infty$ 이면 F1이 0.5로 수렴합니다. 즉 무한한 데이터로 훈련한 모델에서는 멤버십 추론도 추출도 불가능하다고 이 법칙은 예측합니다. 적합은 완벽하진 않지만 관측치의 1~2% 오차 내로 추정합니다.

대형 모델에서의 검증: 저자들은 예상 F1이 0.55, 0.75, 0.95가 되도록 데이터 크기를 역산해 GPT-2 small(125M)과 GPT-2 XL(1.5B)을 훈련시켰습니다. 관측 F1은 예측과 대체로 1.5점 이내로 일치했고, 시그모이드가 가장 가파른 0.75 부근에서 오차가 가장 컸습니다. 나아가 토큰 대 파라미터 비율이 $10^2$ 이상인 모든 현대 모델은 이 법칙상 멤버십 F1이 0.5, 즉 통계적으로 유의한 손실 기반 멤버십 추론이 불가능하다고 예측하며, 이는 대형 데이터셋 모델에서 멤버십 추론 공격이 실패한다는 최근 관찰(Das et al., 2024; Duan et al., 2024; Maini et al., 2024)에 근거를 제공합니다.

챕터의 핵심 기여: 멤버십 추론 성능을 용량·데이터 크기의 함수로 예측하는 스케일링 법칙을 세우고 1.5B 모델까지 검증해, 대형 모델에서 멤버십 추론이 왜 실패하는지 정량적으로 설명한 것. 다음 챕터로의 연결: 이 결과들을 기존 문헌의 맥락에 놓습니다.

📖 Chapter 6: Related Work

챕터의 위치와 역할: 논문의 정의·측정이 압축·용량·정보 정규화·기존 암기 정의라는 네 갈래 선행 연구와 어떻게 이어지고 갈라지는지 정리합니다.

저자의 서술 순서를 따라가면 다음과 같습니다.

언어 모델과 압축: Shannon의 소스 부호화 정리(1948)가 예측과 압축의 이중성을 형식화했고, Shannon(1950)은 더 정확한 영어 모델이 텍스트를 더 적은 비트로 압축함을 관찰했습니다. Deletang et al.(2024)은 트랜스포머를 압축기로 활용합니다. 이 논문은 압축을 암기 측정 도구로 씁니다.
언어 모델 용량: 단층 퍼셉트론이 파라미터당 2비트를 저장할 수 있다는 초기 연구(Cover, 1965; Gardner, 1988)부터, RNN·트랜스포머가 외울 수 있는 사실·랜덤 라벨 수를 잰 연구들(Roberts et al., 2020; Allen-Zhu & Li, 2024)까지 이어집니다. 저자들은 다층 현대 트랜스포머에서 샘플별 엔트로피로 용량의 명확한 상한을 잰 최초 연구라고 자리매김합니다.
학습 이론의 정보 정규화: 학습 알고리즘 입출력 사이의 상호정보를 다루는 일련의 연구(Bassily et al., 2018; Steinke & Zakynthinou, 2020)와 연결되며, double descent(Belkin et al., 2019; Nakkiran et al., 2019) 논의와도 맞닿습니다.
기존 암기 정의: Carlini et al.(2019)의 그리디 생성 기반 정의, Nasr et al.(2023)의 추출 가능 암기, 프롬프트 길이를 제한한 정제(Schwarzschild et al., 2024), 반사실적 암기(Zhang et al., 2023) 등을 검토합니다. 이들 모두 압축의 형태로 볼 수 있으나 명시적으로 압축으로 정의하진 않았으며, Cohen et al.(2024)의 동시 연구는 Kolmogorov에 기반한 이론적 정의를 제안합니다.

챕터의 핵심 기여: 이 논문의 접근을 압축·용량·정보이론이라는 오랜 계보 위에 정확히 위치시킨 것. 다음 챕터로의 연결: 결론에서 전체 기여를 종합합니다.

📖 Chapter 7: Conclusion

챕터의 위치와 역할: 논문 전체를 종합하는 마무리입니다.

저자들은 모델이 데이터셋에 관해 아는 정확한 비트 수를 잴 수 있는 새 암기 정의를 제안하고, 이를 써서 현대 트랜스포머의 용량을 측정했으며, 추출·F1 점수가 모델·데이터 크기에 따라 어떻게 변하는지 분석했습니다. 또한 멤버십 추론 스케일링 법칙을 제안하고 대형 모델에서 검증했습니다. 이 결과들은 언어 모델이 어떻게 외우고, 모델·데이터 규모에 걸쳐 무엇을 외우거나 외우지 않을 수 있는지에 대한 실무자들의 이해를 넓힙니다.

부록의 보강 결과도 함께 언급할 가치가 있습니다. 부록 A.1은 시퀀스 길이 $S$ 와 어휘 크기 $V$ 를 바꿔가며 $\alpha \approx 3.642$ 추정으로 총 암기를 예측했을 때 평균 오차가 각각 1.7%, 1.8%에 그침을 보여 용량 추정의 신뢰도를 확인합니다. 부록 A.3은 어떤 데이터포인트가 가장 많이 외워지는가를 분석합니다. 문서의 TF-IDF가 높을수록(희귀 단어가 많을수록) 의도치 않은 암기가 강하며, 가장 많이 외워진 상위 20개 시퀀스 중 세 개를 뺀 전부가 일본어·중국어·히브리어 등 비영어 토큰을 담고 있었습니다. 26만 개 중 TF-IDF가 가장 높은 한 일본어 시퀀스는 토큰 하나만 주어도 전체를 그대로 재생할 정도로 강하게 외워졌습니다.

챕터의 핵심 기여: 압축 기반 정의–용량 실측–멤버십 스케일링 법칙으로 이어지는 일관된 프레임을 완성한 것.

실험 결과 심층 분석

이 절에서는 논문의 핵심 수치를 표로 정리해 다시 살펴봅니다.

용량 추정: 약 3.6 bits-per-parameter. 합성 랜덤 데이터로 측정한 GPT 계열의 용량은 파라미터당 정보량으로 다음과 같이 수렴합니다. 파라미터당 비트는 용량을 파라미터 수로 나눈 값, 즉 $\alpha = \mathrm{Capacity}(\theta) / |\theta|$ 입니다.

조건	Bits-per-parameter ( $\alpha$ )	비고
반정밀도(bf16) GPT 대표 추정치	3.64	Figure 6, 헤드라인 수치
bf16 평균 (전 모델)	3.51 (±0.1)	Table 1
fp32 평균 (전 모델)	3.83 (±0.1)	Table 1
관측 범위	3.5 ~ 4.0	아키텍처·정밀도에 따라
선행 연구(Allen-Zhu & Li 2024, 양자화)	~2.0	비교 대상

정밀도를 bf16에서 fp32로 두 배 올려도 $\alpha$ 는 3.51에서 3.83으로만 오릅니다. 비트 수를 2배 늘렸는데 용량은 약 9%만 증가한 셈이라, 추가된 비트 대부분이 원시 저장이 아니라 최적화 안정성 등 다른 용도에 쓰인다는 해석을 뒷받침합니다.

용량 추정의 견고성. 8M 파라미터 모델(Figure 5에서는 6.86M 파라미터, 용량 23.9MB로 표기)의 경우 데이터셋 크기를 16,000에서 4M까지 바꿔도 총 암기량이 좁은 범위에 머뭅니다.

항목	값
16,000 ~ 4M 샘플 암기량 범위	3.56 ~ 3.65 × 10⁶ 비트
4M 샘플 총 암기	2.95 × 10⁶ 비트
8M 샘플 총 암기	1.98 × 10⁶ 비트
$S$ , $V$ 변화 시 총 암기 예측 오차	각각 1.7%, 1.8%

가장 큰 두 데이터셋(4M, 8M)은 아직 용량까지 채우지 못한 상태로, 더 많은 에폭을 돌리면 용량 쪽으로 계속 증가할 것으로 저자들은 봅니다.

부록 A.1은 데이터 크기를 시퀀스 길이 $S$ 나 어휘 크기 $V$ 로 조절하며 $\alpha \approx 3.642$ 추정으로 총 암기 $\mathrm{mem} \approx \min(\mathrm{Capacity}, H(X))$ 를 예측했을 때의 정확도를 검증합니다. 관측치와 예측치가 매우 잘 맞아, 용량이 단일 상수 $\alpha$ 로 파라미터 수에 선형 비례한다는 가정이 실제로 성립함을 보여줍니다.

조절 변수	예측 총 암기 평균 오차	비고
시퀀스 길이 $S$ (4~256)	1.7%	Table 3, 데이터 4096샘플·2층·은닉128 고정
어휘 크기 $V$ (128~4096)	1.8%	Table 4, $V$ 증가 시 파라미터도 증가해 평탄부 미관측

멤버십 스케일링 법칙 검증. 예상 F1을 목표로 데이터 크기를 역산해 훈련한 뒤 실제 F1을 측정한 결과입니다(Table 2).

모델	파라미터	데이터 크기 $\lvert D \rvert$	예측 F1	관측 F1
GPT-2 XL	1.5B	170,654,583	0.55	0.546 ± 0.013
GPT-2 XL	1.5B	76,795,021	0.75	0.711 ± 0.004
GPT-2 XL	1.5B	18,851,574	0.95	0.959 ± 0.008
GPT-2 small	125M	13,566,442	0.55	0.534 ± 0.011
GPT-2 small	125M	6,104,935	0.75	0.657 ± 0.006
GPT-2 small	125M	1,498,634	0.95	0.980 ± 0.003

관측 F1은 대체로 예측과 1.5점 이내로 일치합니다. 오차는 시그모이드가 가장 가파른 F1 = 0.75 부근에서 가장 큽니다. 같은 F1을 얻으려면 큰 모델(GPT-2 XL)일수록 훨씬 큰 데이터셋이 필요하다는 점이 표에서 뚜렷이 드러납니다. 1.5B 모델은 F1 0.95를 위해 약 1,900만 샘플이 필요한 반면 125M 모델은 약 150만 샘플이면 충분합니다.

실무적 함의. 스케일링 법칙에 따르면 토큰 대 파라미터 비율이 $10^2$ 이상인 모든 현대 모델은 멤버십 F1이 0.5, 즉 무작위 추측 수준입니다. 현대 대형 모델이 통상 이 비율을 크게 웃도는 데이터로 훈련된다는 점을 감안하면, 평균 데이터포인트에 대한 손실 기반 멤버십 추론은 사실상 불가능하다는 것이 이 논문의 정량적 결론입니다.

기술적 함의와 응용

딥러닝 이론에 대한 함의. 이 논문의 가장 큰 이론적 기여는 double descent와 grokking에 통일된 설명을 준 것입니다. "데이터 용량이 모델 용량을 초과하는 순간" 모델은 더 이상 데이터포인트를 개별적으로 외울 수 없어 정보를 공유하기 시작하고, 이 강제된 정보 공유가 일반화로 이어집니다. 용량이라는 정확히 측정 가능한 양으로 이 전이점을 짚어냈다는 점에서, 암기와 일반화를 잇는 다리 역할을 합니다.

프라이버시와 저작권에 대한 함의. 멤버십 스케일링 법칙은 프라이버시 감사에 직접 쓰일 수 있습니다. 모델 용량과 데이터 크기만 알면 손실 기반 멤버십 추론의 성공 가능성을 사전에 예측할 수 있고, 대형 데이터셋 모델에서 이런 공격이 실패하는 이유를 원리적으로 설명합니다. 다만 이는 "평균 데이터포인트"에 대한 진술입니다. TF-IDF 분석이 보여주듯 희귀 토큰(특히 비영어)을 담은 소수 샘플은 데이터가 아무리 커도 강하게 외워질 수 있어, 꼬리(tail) 데이터의 프라이버시 위험은 여전히 남습니다.

압축과 모델링의 이중성. 암기를 압축률로 정의한 이 프레임은 "언어 모델링은 곧 압축"이라는 오랜 관점(Shannon, 1950; Deletang et al., 2024)을 실측 도구로 벼려냅니다. 파라미터당 약 3.6비트라는 수치는 모델을 정보 저장 매체로 바라볼 때의 실제 밀도를 알려주며, 향후 압축 알고리즘을 훈련 데이터의 코드 길이를 최소화하도록 특화하면 더 정확한 Kolmogorov 복잡도·암기 추정이 가능하다는 방향도 제시합니다.

재현성. 논문은 GPT-2 아키텍처, FineWeb 데이터셋, Adam 최적화, 배치 크기·스텝 수·정밀도·시드 수까지 구체적으로 명시해 재현에 필요한 실험 세부를 상세히 제공합니다. 다만 본문 기준으로는 코드·가중치 공개 여부가 명시적으로 언급되지 않습니다.

논문이 명시한 한계. 부록 A.8에서 저자들은 결과가 자신들이 제안한 환경에 특정되며, 다른 데이터셋·아키텍처·훈련 설정으로 반드시 일반화되지는 않는다고 분명히 밝힙니다. 또한 경사하강이 전역 최적을 보장하지 않으므로 측정된 용량은 항상 하한이라는 점, 시그모이드 스케일링 법칙이 다소 단순해 관측치에 완벽히 맞지는 않는다는 점도 스스로 짚습니다.

TrendHacker와의 접점. 이 프로젝트는 매일 유입되는 지식을 결정론적 태그 파이프라인과 무료 LLM 관계 추출로 축적하고, 나아가 LLM Wiki 패턴으로 증류합니다. "모델이 무엇을 외우고 무엇을 일반화하는가"라는 이 논문의 구분은, 지식을 원시 저장(Supabase 불변 레이어)과 증류된 서사(위키)로 나눠 다루는 우리의 3계층 설계와 개념적으로 공명합니다. 암기는 압축이고 일반화는 재사용 가능한 패턴의 학습이라는 통찰은, 지식베이스를 단순 검색 저장소가 아니라 복리로 압축·재구조화되는 자산으로 보는 관점에 힘을 실어줍니다.