[ICML26] Position: AI/ML Deepfake Research is Misaligned with AI-Generated Non-Consensual Intimate Imagery (AIG-NCII)

논문 개요와 전체 구조

이 글에서 다루는 논문은 딥페이크(deepfake)를 둘러싼 기술 연구가 실제 피해의 지형과 구조적으로 어긋나 있다(misaligned)는 주장을 정면으로 제기하는 입장 논문(position paper)입니다. 저자들은 오늘날 딥페이크 연구가 "이 이미지가 진짜인가 가짜인가"라는 인식론적 해악(epistemic harm, 진실·진위에 관한 해악) 에 거의 전적으로 집중한다고 봅니다. 그러나 정작 생성형 AI 오용의 지배적 현실인 AI 생성 비동의 성적 이미지(AI-Generated Non-Consensual Intimate Imagery, AIG-NCII) 는 사실상 방치되어 왔다는 것이 이 논문의 핵심 문제의식입니다.

이 주제는 온라인 성폭력이라는 무거운 사안을 다루므로, 원 논문 역시 콘텐츠 경고(content warning)를 서두에 명시하고 있습니다. 본 리뷰 또한 피해를 조장할 수 있는 기법의 구체적 설명은 일절 배제하고, 연구 정렬(research alignment)의 논증과 정책·기술 권고에만 초점을 맞춰 정리합니다. 즉 "무엇이 문제인가"와 "연구 공동체가 무엇을 해야 하는가"에 집중하며, "어떻게 만드는가"는 다루지 않습니다.

논문의 핵심 명제는 다음과 같이 요약됩니다. 현재의 기술적 개입(detection, provenance, watermarking)은 모두 "진위 검증(authenticity)이 곧 안전(safety)의 대리 지표" 라는 하나의 가정 위에 서 있습니다. 그런데 AIG-NCII의 경우 피해는 진위 여부와 무관하게 발생하므로, 이 가정 자체가 범주 오류(category error)라는 것이 저자들의 진단입니다. 즉 이미지가 합성물임을 알게 되더라도 피사체(subject)에게 가해지는 주체 중심 존엄 해악(subject-centric dignity harm) 은 완화되지 않으며, 일부 배치(deployment) 맥락에서는 오히려 악화될 수 있다는 경고입니다.

논문은 제43회 국제머신러닝학회(ICML 2026, PMLR 306, 서울 개최)에서 발표되었고, Outstanding Position Paper Honorable Mention 을 받았습니다. 저자는 미시간대학교 정보대학(School of Information, University of Michigan, Ann Arbor)의 Li Qiwei, Wells Lucas Santo, Sarita Schoenebeck, Eric Gilbert입니다. 정보대학·HCI·온라인 안전을 연구해 온 저자들의 배경은, 이 논문이 순수 기술 논문이 아니라 기술과 사회의 접점을 다루는 위치에 서 있음을 잘 보여줍니다. 논문의 전체 구조는 다음과 같습니다. 먼저 전체 지도를 제시합니다.

이 리뷰는 위 섹션 순서를 그대로 따라가며 각 장을 충실히 정리합니다. 입장 논문(position paper)은 새로운 알고리즘이나 벤치마크 성능을 제시하는 통상적인 실험 논문과 성격이 다릅니다. 저자의 규범적 주장을 명확히 세우고, 그 주장을 문헌·사례·개념적 논증으로 뒷받침하며, 예상 반론에 응답하는 것이 이 장르의 핵심입니다. 따라서 이 논문에는 통제된 실험(controlled experiment)이 존재하지 않습니다. 대신 2장의 문헌 지형 분석이 논증의 실증적 뼈대를 이루며, 6장의 대안적 관점(Alternative Views)이 반론 대응을 담당합니다. 지형 분석 방법론은 논증 이해에 필수적이므로 별도로 「기술적 세부사항」에서 먼저 정리합니다.

핵심 기여와 혁신성

이 논문의 중심 입장(the central position)은 한 줄로 압축됩니다. AI/ML의 딥페이크 연구 의제와 AI 생성 미디어의 실제 피해 현실 사이에 구조적 불일치가 있으며, 이 불일치가 AIG-NCII 피해를 방치하거나 심지어 악화시킨다는 것입니다. 아래에서는 이 입장이 왜 중요하고 무엇이 새로운지를 문제의 중요성, 기존 접근의 한계, 제안의 독창성, 파급효과 순으로 풀어봅니다.

해결하려는 문제의 중요성. 논문은 서두에서 충격적인 실증을 제시합니다. 2026년 1월 AI Forensics 보고서에 따르면 상용 AI 시스템 "Grok"의 다수 사용 사례가 동의 없이 사람을 "벗기는(undressing)" 것이었습니다. 또한 관련 이미지가 크게 확산된 직후 한 주간 생성 요청이 이전 주 약 31.1만 건에서 440만 건으로 급증했고, 이 중 300만 건 이상이 성적 이미지였으며 최소 2.3만 건이 아동을 대상으로 했다는 추정이 인용됩니다(Center for Countering Digital Hate, 2026). 성적 학대가 생성형 AI 사용의 주된 동인이라는 실증적 현실에도 불구하고, 정작 AI/ML 학계가 개발하는 기술적 개입은 진실과 신뢰(trust)에 대한 위협이라는 전혀 다른 필요를 향해 설계되어 있다는 것이 문제의 출발점입니다. 저자들이 이런 수치를 서두에 배치한 이유는 분명합니다. AIG-NCII가 소수의 극단 사례가 아니라 생성형 AI의 지배적 사용 양상임을 먼저 각인시켜야, 학계의 무관심이 얼마나 큰 규모의 현실을 외면하는지가 드러나기 때문입니다.

기존 접근법의 한계. 저자들은 기존 딥페이크 방어 연구가 세 가지 패러다임(탐지·출처추적·워터마킹)으로 수렴했다고 봅니다. 그러나 이들이 공유하는 단 하나의 근본 가정 — 진위 검증이 안전의 1차 대리 지표라는 가정 — 이 AIG-NCII에는 통하지 않는다고 지적합니다. 정치적 허위정보에서는 거짓(falsehood) 자체가 해악이지만, 성폭력은 동의의 부재(absence of consent) 로 정의되며, 이는 이미지가 진짜든 합성이든 무관하게 침해되기 때문입니다.

제안 해결책의 독창성 — 세 가지 기여. 논문은 자신의 기여를 명확히 셋으로 정리합니다.

• 첫째, 연구 동기와 딥페이크의 실제 해악 사이의 단절을 드러냅니다(surface). 2020~2025년 상위 학회 문헌에 대한 체계적 지형 분석을 통해, AIG-NCII가 생성형 AI 사용의 절반 이상을 차지할 개연성이 있음에도 이를 고려한 연구가 극히 드물다는 것을 정량적으로 보입니다.
• 둘째, 이러한 무관심이 어떻게 "진위(authenticity)" 도구의 범람으로 귀결되었는지 분석하고, 이 도구들이 AIG-NCII에 불충분할 뿐 아니라 특정 배치 맥락에서는 주체 중심 존엄 해악을 악화시킬 수 있음을 논증합니다.
• 셋째, 기술적 개입을 AIG-NCII를 고려하도록 재정렬하기 위한 연구자·실무자용 권고를 제시합니다. 특히 이 영역에서 일하는 모든 연구자는 온라인 성폭력 도메인 전문가와 반드시 협업하고, 주체 중심 존엄 해악을 고려한 위협 모델(threat model)을 사용해야 한다고 강조합니다.

파급효과. 이 논문의 혁신성은 새 알고리즘이 아니라 문제 프레이밍의 전환에 있습니다. 저자들은 UN 세계인권선언(Universal Declaration of Human Rights, 1948)의 존엄권(right of dignity)을 근거로, 안전의 정의 자체를 "진실 보호"에서 "진실과 사람의 존엄 모두의 보호"로 확장할 것을 요구합니다. 이러한 재정의는 개별 방법론의 개선을 넘어, 어떤 문제를 연구할 가치가 있다고 인정할 것인가라는 의제 설정(agenda-setting) 수준의 개입입니다. 알고리즘 공정성(algorithmic fairness)이 10년 전 주변부 주제에서 핵심 의제로 이동한 전례를 들어, AIG-NCII도 유사한 궤적을 밟을 수 있다고 전망합니다. 동시에 저자들은 이 전환이 저절로 오지 않으며, 개별 연구자·학회 조직위·선임 학자의 의식적 선택을 통해서만 일어난다는 점을 분명히 합니다.

기술적 세부사항

입장 논문이므로 모델 학습이나 벤치마크 성능 실험은 없습니다. 대신 논증의 실증적 근거는 2.2절의 문헌 지형 분석(landscape analysis) 이며, 그 방법론과 코딩 체계를 여기서 먼저 정리합니다. 이 분석은 "학계가 AIG-NCII를 다루지 않았다"는 주장을 인상이 아니라 재현 가능한 절차로 뒷받침하려는 시도입니다. 검색 쿼리 → 학회 필터 → 피인용 필터 → 수동 제외 → 정성 코딩으로 이어지는 파이프라인 전체가 논문에 명시되어 있어, 이 리뷰에서도 그 절차를 그대로 따라 정리합니다.

핵심 개념 이분법 — 인식론적 해악 vs 주체 중심 해악. 논문 전체를 관통하는 분석 틀은 Olteanu et al.(2025)의 프레임워크를 확장한 두 해악 유형의 구분입니다. 이 이분법은 단순한 용어 정리가 아니라, 논문의 모든 비판과 권고가 딛고 서는 개념적 축입니다. 어떤 해악을 다루느냐에 따라 필요한 방어 메커니즘이 달라지기 때문에, 두 유형을 혼동하면 도구 설계 자체가 어긋난다는 것이 핵심입니다.

• 관람자 중심 인식론적 해악(viewer-centric epistemic harm): 개인적 기만(사기·스캠)과 사회적 인식론 훼손(공유된 현실의 붕괴)을 포괄합니다. 거짓 정보를 믿게 된 관람자가 입는 피해로, Rini(2020)·Chesney & Citron(2019)의 논의에 기댑니다.
• 주체 중심 존엄 해악(subject-centric dignity harm): 관람자가 속았는지와 무관하게, 한 사람의 닮음(likeness)이 동의 없이 사용될 때 발생합니다. Citron(2018)의 성적 프라이버시(sexual privacy) 개념에 기대어, 존엄을 훼손하는 방식으로 재현되는 데서 자율성 상실이 발생한다고 봅니다.

두 유형의 결정적 차이는 "관람자가 속았는지"가 해악 성립의 조건인가에 있습니다. 인식론적 해악은 기만이 성립해야 발생하지만, 존엄 해악은 관람자가 이미지를 가짜로 알더라도 그대로 발생합니다. 저자들은 이 두 축이 직교(orthogonal) 한다고 강조합니다. 정치인 딥페이크처럼 둘이 겹칠 수는 있으나(유권자를 기만하면서 동시에 정치인의 평판을 훼손), 각각을 해소하는 데 필요한 메커니즘은 서로 다릅니다. 논문 Figure 2는 이 직교성을 시각적으로 예시합니다. 어떤 딥페이크는 관람자에게만, 어떤 것은 피사체에게만, 또 어떤 것은 양쪽 모두에게 해악을 끼칠 수 있다는 것입니다. 이 구분이 중요한 이유는, 기존 기술 개입이 오직 관람자 축(진위 판별)만 겨냥해 왔기 때문에 피사체 축(동의)에서 벌어지는 해악을 구조적으로 놓쳐 왔다는 진단으로 곧장 이어지기 때문입니다.

지형 분석 방법론. 저자들은 딥페이크 또는 합성 미디어의 해악을 다루는 기술적 방어 논문을 찾기 위해 Google Scholar에 아래 키워드 조합을 질의했습니다.

("detection" OR "detector" OR "forensics" OR "recognition" OR "watermark")
AND ("deepfake" OR "synthetic image" OR "fake image" OR "diffusion")

이후 단계적으로 필터링해 최종 39편을 정성 분석했습니다. 그 깔때기(funnel)는 다음과 같습니다.

각 논문은 다음 용어들의 사용 여부를 중심으로 AIG-NCII에 대한 관여를 검토했습니다: "non-consensual intimate imagery", "NCII", "revenge porn", "sexual violence", "porn", "nudity", "undress", "obscene". 최종 39편의 전체 목록은 논문 부록 Table 2에 2026년 1월 기준 피인용 순으로 정리되어 있습니다.

코딩 체계 — 3단계 관여 티어. 39편을 AIG-NCII에 대한 관여 정도에 따라 세 티어로 분류한 결과가 이 논문의 핵심 정량 근거입니다.

즉 상위 피인용 39편 중 AIG-NCII를 위협 모델 수준에서 실제로 다룬 논문은 0편이었습니다. 34편은 문제를 오직 허위정보·사기·아티팩트 탐지로만 프레이밍했고, 5편은 도입부에서 스치듯 언급했을 뿐 제안 기법은 AIG-NCII와 무관한 일반적 방법이었습니다. 논문 Figure 1은 AIG-NCII가 AI 생성 콘텐츠에서 차지하는 비중과, 그것을 단순 언급이라도 한 기술 방어 논문의 비중을 나란히 대비시켜 이 격차를 시각화합니다. 이 결과는 딥페이크 연구가 신뢰·사기·정치적 허위정보 동기에 압도적으로 치우쳐 있다는 기존 지적(Rini, 2020; Harris, 2021)을 정량적으로 재확인합니다.

한 가지 방법론적 유의점을 덧붙이면, 이 39편은 "딥페이크 해악을 다루는 기술 방어 논문"의 전수 조사가 아니라 상위 피인용 표본입니다. 그러나 저자들의 논지에서 중요한 것은 절대 편수가 아니라, 가장 영향력 있는(피인용 상위) 연구조차 AIG-NCII를 위협 모델로 삼지 않았다는 분포의 편향입니다. 가장 많이 인용되어 후속 연구의 의제를 형성하는 논문들이 이 해악을 다루지 않았다는 사실은, 연구 생태계 전반의 정렬 상태를 보여주는 강한 신호로 해석됩니다.

챕터별 상세 리뷰

📖 Chapter 1: Introduction

챕터의 위치와 역할: 논문 전체의 문제의식, 실증적 충격 지표, 그리고 세 가지 기여를 선언하는 도입부입니다. 이후 모든 논증이 여기서 제기한 "구조적 misalignment" 가설을 전개·검증하는 형태로 이어집니다.

서론은 하나의 대비 구도로 시작합니다. 한쪽에는 생성형 AI 오용의 압도적 현실(성적 학대가 주된 사용 동인)이 있고, 다른 쪽에는 그 현실을 거의 반영하지 않는 학계의 연구 의제(진실·신뢰 위협 중심)가 있습니다. 저자들은 이 간극이 우연한 누락이 아니라 연구 공동체가 채택한 위협 모델의 구조적 산물이라고 봅니다. 저자의 서술 순서를 따라가면 다음과 같습니다.

1. 지배적 오용 사례로서의 NCII: 생성형 AI의 해악 중 비동의 성적 이미지 생성이 우려스러울 만큼 지배적인 사용 사례임을 상용 시스템 사례(요청량이 한 주 만에 31.1만→440만 건으로 급증, 300만+ 건이 성적, 2.3만+ 건이 아동)로 제시합니다.
2. 연구 의제와 현실의 어긋남: 그럼에도 이 현상은 생성형 AI 이미지 관련 연구에서 대체로 부재하며, 학계의 기술적 개입은 진실·신뢰 위협이라는 다른 필요를 향해 설계되어 있다고 지적합니다.
3. 존엄권에 기반한 재정의 요구: UN 세계인권선언(1948)의 존엄권을 근거로, 개입은 관람자의 인식론적 해악뿐 아니라 피사체에게 가해지는 존엄 해악도 다뤄야 한다고 주장합니다.
4. 세 가지 기여 선언: (1) 연구 동기와 실제 해악의 단절을 지형 분석으로 드러냄, (2) 무관심이 진위 도구 범람으로 귀결되고 이것이 해악을 악화시킬 수 있음을 논증, (3) 재정렬 권고와 함께 도메인 전문가 협업·주체 중심 위협 모델 사용을 강조.

챕터의 핵심 기여: "AI/ML 연구 의제와 AI 생성 미디어의 현실 사이에 구조적 misalignment가 존재한다"는 중심 명제의 선언과, 관람자 중심 인식론적 해악 대 주체 중심 존엄 해악이라는 분석 축의 제시.

또한 존엄권이라는 인권 규범을 안전 논의에 끌어들인 점은, 이후 논증이 단순한 기술 비평을 넘어 규범적 요구로 확장되는 기반을 마련합니다.

다음 챕터로의 연결: 이 misalignment가 실제로 존재하는지, 그리고 왜 발생했는지를 2장의 개념 정의와 문헌 지형 분석으로 실증합니다.

📖 Chapter 2: The absence of AIG-NCII in harm reduction research

챕터의 위치와 역할: 서론의 주장을 뒷받침하는 실증·개념적 토대입니다. AIG-NCII를 하나의 구별되는 해악 범주로 정의하고, 그 기술적 계보를 추적하며, 법·정책의 한계를 짚은 뒤, 지형 분석으로 학계의 무관심을 정량화합니다.

이 장은 "왜 학계가 이 문제를 다루지 않았는가"와 "왜 다뤄야 하는가"를 동시에 논증합니다. 전자는 지형 분석의 정량 결과로, 후자는 개념 정의·기술 계보·학술적 책임 논거로 뒷받침됩니다. 특히 저자들은 딥페이크 기술의 상당수가 상위 학회에서 개발·공개된 연구의 직접적 파생물이라는 점을 강조해, 무관심이 단순한 방관이 아니라 책임의 문제임을 예고합니다. 저자의 서술 순서를 따라 정리하면 다음과 같습니다.

1. "딥페이크"라는 용어의 기원: 딥페이크는 AI 생성·변조 콘텐츠를 가리키는 구어이지만, 그 어원 자체가 배우들의 성적 콘텐츠를 공유한 Reddit 사용자명에서 비롯된 성적 해악에 대한 직접적 참조임을 상기시킵니다. 한 보고서는 딥페이크 영상의 최대 98%가 성적 성격을 띤다고 추정합니다(Security Hero, 2023).

이어 저자들은 소절을 나누어 개념·계보·법제를 정리합니다.

2.1 AIG-NCII as a distinct harm category

1. 개념 정의: AIG-NCII는 특정 개인의 성적 딥페이크 콘텐츠가 그의 동의 없이 존재하는 현상을 가리킵니다. 저자들은 이 현상이 "AI-NCII", "AI 생성 이미지 기반 성적 학대", "합성 비동의 노골적 이미지(SNCEI)", "딥페이크 포르노그래피" 등 다양한 명칭으로도 불린다고 정리하며, 전통적 NCII에서 파생된 개념임을 밝힙니다.
2. 강한 젠더 편향: AIG-NCII는 강하게 젠더화(gendered)되어 있어 피해자 대다수가 여성·소녀이며, 사회적 차원에서는 온·오프라인의 행위주체성을 침묵·배제·탈정당화하려는 시도를 대표한다고 봅니다. 각주에서는 피사체가 완전 나체일 필요는 없음(예: 히잡 제거)을 명시해 범주의 경계를 넓힙니다.
3. 기술적 계보 — GAN에서 diffusion으로: 저자들은 생성 장벽이 지난 10년간 급격히 낮아진 과정을 개괄합니다(구체적 제작법은 서술하지 않습니다). 초기에는 얼굴 교체(face-swapping)가 오토인코더 계열 오픈소스로 주도되었고, 이후 오픈 웨이트 잠재 확산 모델(latent diffusion model)의 공개로 국면이 바뀌었다고 정리합니다. 텍스트-이미지 프롬프팅이 가능해지면서 위험 표면이 넓어졌다는 것입니다.
4. 학술 연구의 직접적 기여: 이 장에서 가장 논쟁적인 부분입니다. 저자들은 주요 딥페이크 마켓플레이스 분석(Han et al., 2025)을 인용해, 해당 커뮤니티에서 학술 연구가 "상당히 공유"되고 있으며 딥페이크 도구가 인용한 학술 논문이 43편에 달했다고 전합니다. 많은 애플리케이션이 연구 논문의 오픈소스 코드를 포크하거나 그 위를 감싼 래퍼에 불과하며, 동의 없이 수집된 신체 이미지가 학습 데이터로 쓰이는 문제(Cintaqia et al., 2025)도 지적합니다.
5. 법과 정책의 한계: 미국·영국·한국 등지의 법적 금지에도 집행은 불충분·고비용·사후적이며 발견 부담을 피해자에게 지운다고 봅니다. 영국 온라인안전법(Online Safety Act) 이후 학대가 비준수 플랫폼·암호화 앱으로 이동한 점, 한국이 주요 사건 이후 소지를 범죄화했으나 생성 도구는 여전히 접근 가능한 점, 한 플랫폼이 실인물 닮음 모델을 금지하자 모델이 다른 호스팅으로 이주한 점 등을 "두더지 잡기(whac-a-mole)" 역학의 사례로 듭니다.

2.2 Landscape analysis of existing literature

1. 지형 분석: 「기술적 세부사항」에서 정리한 방법론(965→379→100→39편 깔때기)과 3단계 관여 티어(No mention 34 / Mention only 5 / Technical implementation 0)가 이 소절의 핵심입니다. 결론적으로 딥페이크 해악을 다루는 문헌이 AIG-NCII를 거의 전적으로 무시하며, 연구가 신뢰·사기·정치적 허위정보 동기에 압도적으로 치우쳐 있음을 정량적으로 확인합니다.

챕터의 핵심 기여: AIG-NCII를 독립된 해악 범주로 개념화하고, 상위 피인용 39편 중 위협 모델 수준에서 이를 다룬 논문이 0편이라는 실증적 공백을 제시. 또한 학술 연구 자체가 이 해악에 직접 기여한다는 책임 논거를 세움.

여기서 "0편"이라는 결과는 논문 전체에서 가장 강력한 수사적 장치입니다. 연구 공동체가 이 문제를 조금 소홀히 다뤘다는 정도가 아니라, 가장 영향력 있는 연구들에서 사실상 부재했다는 사실을 단일 숫자로 못박기 때문입니다.

다음 챕터로의 연결: 그렇다면 학계가 대신 무엇을 만들어 왔는가를 3장에서 세 패러다임으로 정리합니다.

📖 Chapter 3: Review of authenticity-based interventions

챕터의 위치와 역할: 진실 관련 해악에 대응하기 위해 AI/ML 공동체가 수렴한 세 개입 패러다임을 검토하고, 이들이 공유하는 "진위=안전의 1차 대리 지표" 라는 공통 가정을 드러내는 장입니다. 4장의 비판을 위한 대상 정의에 해당합니다.

이 장은 비판에 앞서 대상을 공정하게 서술하는 데 목적이 있습니다. 저자들은 세 패러다임의 기술적 성취를 폄하하지 않고, 각각이 인식론적 해악(진실 훼손)에 대해서는 실제로 유효하다는 점을 인정합니다. 문제는 이 도구들이 무능해서가 아니라, 애초에 다른 종류의 해악을 겨냥해 설계되었다는 데 있습니다. 저자들은 세 패러다임이 구현은 크게 다르나 하나의 기초 가정을 공유한다고 정리합니다. 세 패러다임을 한눈에 대비하면 다음과 같습니다.

세 패러다임은 모두 관람자가 "이것이 진짜인가"를 판별하도록 돕는 데 초점이 있으며, 바로 이 공통점이 4장 비판의 표적이 됩니다.

3.1 Detection (탐지)

1. 원리와 가정: 탐지는 진짜 미디어 분포와 합성 미디어 분포 사이의 결정 경계(decision boundary)를 학습하는 분류 문제로 근사됩니다. 핵심 가정은 견고한 결정 경계가 존재하며, 그 경계를 성공적으로 판별하는 것이 해악 대응의 충분조건이라는 것입니다.
2. 기법의 진화: 초기에는 미디어 자산에서 GAN 특유의 아티팩트를 식별했으나(Frank et al., 2020), diffusion 모델의 확산으로 특징 추출이 근본적으로 바뀌었습니다. 예컨대 DIRE(Wang et al., 2023)는 사전학습된 diffusion 과정으로 역변환했을 때 합성 이미지의 재구성 오차가 더 낮다는 관찰을, Corvi et al.(2023)은 잠재 확산 특유의 가우시안 노이즈 스케줄링이 남기는 스펙트럼 흔적을 활용합니다.
3. 아키텍처 일반화 추세: 생성기 아키텍처의 빠른 진화에 대응하기 위해 CLIP(Radford et al., 2021) 같은 기반 비전-언어 모델의 특징 공간으로 이동해, 아키텍처를 넘어 일반화되는 합성 의미 패턴을 식별하려는 흐름(Ojha et al., 2023)이 나타났습니다.

3.2 Provenance (출처 추적)

1. 원리와 가정: C2PA(Coalition for Content Provenance and Authenticity) 기술 명세로 정의되는 출처 추적은 미디어 자산의 수정 이력을 확립하려 합니다. 탐지와 달리 암호학적으로 검증 가능한 정보에 의존해, 자산 생성·수정 시점마다 픽셀 데이터 해시에 디지털 서명과 메타데이터 선언(소유권·타임스탬프 등)을 바인딩합니다.
2. 핵심 가정: 검증 가능한 관리 연속성(chain-of-custody)이 미디어의 출처와 편집 여부에 대한 신뢰를 해결한다는 가정에 서 있으며, 결국 원본에서 파생물로 이어지는 계보(lineage) 자체를 진위의 지표로 삼습니다.

3.3 Watermarking (워터마킹)

1. 원리와 가정: 워터마킹은 생성 시점에 인간의 눈에 보이지 않는 신호를 콘텐츠에 직접 삽입해 해당 콘텐츠가 합성임을 표시합니다. 쉽게 제거되는 메타데이터와 달리, 자르기·필터 등 변환에도 견고하도록 설계됩니다.
2. 대표 기법: 잠재 워터마킹(Fernandez et al., 2023), 샘플링 기반 워터마킹(Wen et al., 2023) 등이 있으며, Google의 SynthID처럼 전용 탐지기와 짝지어야만 검출되는 산업 구현도 있습니다. 워터마킹은 흔히 사후 탐지를 돕는 데 쓰입니다.

챕터의 핵심 기여: 세 패러다임을 정리하고, 이들이 모두 관람자의 진위 판별 능력 회복을 목표로 하며 안전을 진위로 환원한다는 공통 가정을 명료히 드러냄.

이렇게 공통 가정을 명시적으로 끌어낸 것이 논문의 전략적 요체입니다. 개별 방법을 하나씩 반박하는 대신, 세 패러다임을 떠받치는 단일 가정을 겨냥함으로써 비판의 사정거리를 생태계 전체로 넓히기 때문입니다.

다음 챕터로의 연결: 이 공통 가정이 AIG-NCII에 적용될 때 무엇이 무너지는지를 4장에서 세 가지 결과로 논증합니다.

📖 Chapter 4: Consequences of ignoring AIG-NCII

챕터의 위치와 역할: 논문의 비판이 가장 날카로워지는 장입니다. 탐지·출처·워터마킹은 모두 관람자의 진위 판별 회복을 위한 것이지만, AIG-NCII에서는 피사체의 존엄이 진위와 무관하게 침해된다는 점을 세 소절로 전개합니다.

이 장의 논리는 세 단계로 쌓입니다. 먼저 4.1절은 진위 중심 생태계가 주체 중심 존엄 해악을 아예 시야에서 놓쳐 왔음을 보입니다. 이어 4.2절은 그 놓침이 단순한 누락이 아니라 "진짜=안전"이라는 범주 오류에서 비롯됨을 논증합니다. 마지막으로 4.3절은 이 오류 위에 세워진 진위 도구가 특정 맥락에서 오히려 피해를 키울 수 있음을 구체적 시나리오로 보입니다.

4.1 Neglect of subject-centric dignity harms

1. 존엄 해악의 방치: AIG-NCII의 배제는 인식론적 해악에만 집중하는 생태계를 낳았습니다. 저자들은 Chesney & Citron(2019), Citron(2018), UN 세계인권선언에 근거해 AIG-NCII가 피사체의 존엄권을 침해하며 이것이 관람자의 인식론적 해악과 구별됨을 주장합니다.
2. 두 가지 존엄 해악 양상: 존엄 해악을 특정 AI/ML 기법에 대응시켜 두 양상으로 제시합니다. 하나는 비동의 정체성 보존(모델이 특정 인물의 닮음을 동의 없이 유지 — 방어는 정체성 보존 방지를 지향, 예: Van Le et al., 2023)이고, 다른 하나는 비동의 변조(닮음은 의도적으로 보존하되 동의하지 않은 방식으로 변경)입니다.
3. 라벨링의 한계: 두 해악은 직교하며(Figure 2), 단지 콘텐츠를 "합성"으로 라벨링하는 것만으로는 주체 중심 해악이 완화되지 않는다고 봅니다. 실제로 Meta의 감독위원회(Oversight Board, 2024)조차 "해악이 진위에 대한 오도가 아니라 이미지의 공유·시청 자체에서 비롯되므로 조작 콘텐츠 라벨링이 적절치 않다"고 지적했고, AIG-NCII를 호스팅하는 포럼들은 이미 콘텐츠를 가짜로 라벨링하고 있다는 점을 근거로 듭니다.

4.2 Authentic = safe

1. "진짜=안전"이라는 범주 오류: 딥페이크 방어 연구는 진위 지표를 최적화하는데, 이를 AIG-NCII에 적용하면 진위를 안전의 대리로 취급하는 근본적 범주 오류가 발생합니다. 정치적 허위정보에서는 거짓이 1차 해악이지만, 성폭력은 동의의 부재로 정의되며 이는 진위와 무관하게 침해됩니다.

Table 1이 이를 압축합니다. 인위성(artificiality) 축은 기존 개입이 측정하는 축이고, 동의(consent) 축은 안전을 결정하는 축인데, 두 축은 직교합니다.

이 표의 핵심은 "합성이냐 진짜냐"(세로축)와 "안전하냐 유해하냐"(가로축)가 서로 독립적이라는 점입니다. 기존 탐지 도구는 오직 세로축만 측정하는데, 정작 안전을 결정하는 것은 가로축(동의 여부)입니다. 같은 합성 이미지라도 하나는 예술적 자기표현일 수 있고 다른 하나는 AIG-NCII일 수 있으며, 이 둘을 가르는 것은 합성성이 아니라 동의입니다. 따라서 세로축만 재는 도구는 정의상 안전 판단에 필요한 정보를 담지 못합니다.

1. 무딘 도구로서의 진위 검증: 진위 기반 도구는 비동의 합성 이미지와 합의된 합성 이미지를 혼동하는 무딘 도구가 됩니다. 동시에 정당한 표현을 과잉 검열하면서도 "진짜"라는 이유로 전통적 NCII는 다루지 못하는 위험을 안습니다. 저자들은 기술적 개입이 이 직교성을 설명할 수 있기 전까지 진위의 증거를 안전의 증거로 취급해서는 안 된다고 결론짓습니다.

4.3 Potential misuse of authenticity tools

이 소절은 논문에서 가장 반직관적이면서도 중요한 부분입니다. "진짜=안전"이 단지 불충분한 데서 그치지 않고, 특정 배치 맥락에서는 진위 도구가 적극적으로 해를 키우는 방향으로 작동할 수 있음을 보이기 때문입니다. 저자들은 이를 플랫폼·가해자·피해생존자라는 세 행위자 관점에서 차례로 분석합니다.

1. 오용 가능성의 개관: 저자들은 진위 도구가 주체 중심 위협 모델 없이 만들어질 때 오히려 해악을 악화시킬 수 있는 세 맥락을 제시합니다.
2. 플랫폼이 사용할 때: EU AI법(Article 50), Meta·TikTok 정책 등은 식별된 합성 미디어의 라벨링을 우선합니다. 그러나 "AI로 제작됨" 라벨은 이미지가 플랫폼에서 공유된다는 사실을 다루지 못하며, 피사체가 완전 나체가 아닌 AIG-NCII는 나체 금지 규정에서 누락됩니다. 제거보다 라벨링이 우선될 때, 가해자가 이미지의 합성성만 투명하게 밝히면 오히려 조치에서 보호받는 역설적 결과가 생길 수 있습니다.
3. 가해자가 사용할 때: 온라인 성폭력 연구는 가해자가 성적 만족보다 피해자에 대한 권력 행사에 이끌리는 경우가 많음을 시사합니다(Henry & Beard, 2024). Marini et al.(2024)은 사람들이 이미지가 AI 생성으로 식별될 때 오히려 각성이 낮아진다고 보고합니다. Massanari(2017)가 지적하듯 이런 커뮤니티는 수동적 소비자가 아니라 피해자 신원을 취합·검증하는 능동적 참여자이며, 이들이 진위 기반 도구를 피해자 색출·괴롭힘·신상 노출(doxxing)에 전용할 수 있다는 우려입니다.
4. NCII 피해생존자에게 불리하게 작용할 때: 전통적 NCII 피해생존자에게는 그럴듯한 부인 가능성(plausible deniability) 이 존엄을 지키는 안전장치가 될 수 있습니다. 이미지가 진짜인지 모호한 상태가 보호막이 되는 것입니다. 그런데 탐지 시스템이 전통적 NCII를 확정적으로 "진짜"라 라벨링하면, 그 불확실성을 제거해 피해자의 노출을 확증하는 검증 도구로 역작용할 수 있습니다.

여기서 저자들이 드는 사례들은 모두 기존 연구·정책 문헌에서 끌어온 것이라는 점이 중요합니다. 가해자 동기 연구(Henry & Beard, 2024), 각성과 진위 인식의 관계(Marini et al., 2024), 커뮤니티 행태 연구(Massanari, 2017)를 근거로 삼아, 진위 도구의 오용 가능성이 저자의 추측이 아니라 실증에 기반함을 보이려는 것입니다.

챕터의 핵심 기여: 진위 검증이 안전과 직교한다는 점을 Table 1로 정식화하고, 진위 도구가 플랫폼·가해자·피해생존자 세 맥락에서 어떻게 오히려 해악을 키울 수 있는지를 구체적 근거와 함께 제시.

특히 "라벨링이 오히려 가해자를 보호할 수 있다"는 역설과 "확정적 진위 판정이 피해자의 부인 가능성을 박탈한다"는 통찰은, 좋은 의도의 기술이 잘못된 위협 모델 위에서 어떻게 배신적으로 작동할 수 있는지를 보여줍니다.

다음 챕터로의 연결: 이 진단을 바탕으로 5장에서 연구 공동체가 취할 구체적 재정렬 권고 R1~R9를 제시합니다.

📖 Chapter 5: Recommendations

챕터의 위치와 역할: 진단에서 처방으로 넘어가는 장입니다. 저자들은 AIG-NCII 대응이 윤리적·기술적으로 지극히 어려우며 항상 확정적 해법을 제시할 수는 없음을 먼저 인정한 뒤, 아홉 가지 권고를 제시합니다. 이들은 AI/ML 연구자, 사회과학자, 정책결정자, 성폭력 예방 전문가, 피해생존자 옹호자 간의 조율을 전제합니다.

권고들은 성격에 따라 크게 세 묶음으로 이해하면 편합니다. 첫째, 진위 도구의 오용을 막고 위협 모델을 재설정하는 프레이밍 전환(R1·R2)입니다. 둘째, 자산 접근 제한·능동적 방어·해악 감소 지표 등 구체적 기술 처방(R3·R4·R5)입니다. 셋째, AI 안전 정의의 확장·윤리적 파트너십·피해생존자 다원성·사회적 개입 병행 등 제도와 협업의 재편(R6·R7·R8·R9)입니다. 이 세 묶음은 각각 4장에서 진단한 문제(오용 가능성·범주 오류·생태계 특성)에 대응하도록 설계되어 있어, 진단과 처방이 일대일로 맞물립니다. 권고를 원문 순서대로 정리하면 다음과 같습니다.

1. R1. 인식론적 해악과 존엄 해악을 분리하라(Decouple). 시스템이 잠재적 AIG-NCII를 식별하면 공개 라벨을 붙이지 말아야 합니다. 라벨은 콘텐츠를 계속 노출시켜 해악을 키울 수 있기 때문입니다. 대신 탐지는 예방적 처리(억제·트리아지)를 촉발하는 백엔드 플래그로 작동해야 하며, 실인물을 성적 맥락에서 묘사한 콘텐츠는 전통적 NCII처럼 취급해야 합니다. 라벨링 오류의 비대칭적 해악(합의 콘텐츠의 일시 제한은 가역적이나, 성폭력 상황에 개입하지 못하는 것은 비가역적)을 엄밀히 평가할 것을 요구합니다.
2. R2. 주체 중심 존엄 해악을 격상하라(Elevate). 존엄 침해를 정치적 허위정보와 동등한 층위로 끌어올려야 합니다. 컴퓨터 보안이 친밀한 파트너 폭력(intimate partner violence, IPV)으로 분석 대상을 확장한 흐름을 본받아, AIG-NCII에서는 적이 제한된 참조 사진과 파라미터 효율 미세조정 기법을 갖춘 행위자인 경우가 많음을 위협 모델에 반영해야 합니다. 목표를 탐지 정확도 최대화에서 정체성 보존 최소화로 전환하고, 공개 데이터가 곧 합의된 데이터라는 가정을 거부하며(Nissenbaum, 2004의 맥락 무결성), 민감 도메인에서의 비윤리적 데이터셋 큐레이션을 중단할 것을 촉구합니다.
3. R3. 고위험 연구 자산을 제한하라(Restrict). 고충실도 정체성 보존·인페인팅에 명시적으로 최적화된 아키텍처의 공개 배포 관행을 재평가할 것을 요청합니다. 개방형 과학이 핵심 가치이지만, 이중 용도(dual-use) 고성능 모델의 오픈소스화 위험이 이익을 상회한다는 AI 안전 문헌의 합의가 부상하고 있음을 근거로, 소수 사진으로 특정인의 닮음을 "복제"하는 최첨단 모델·미세조정 기법은 게이트 접근 또는 연구자 전용 접근으로 제한하자고 제안합니다.
4. R4. 능동적 예방을 고려하라(Proactive prevention). 사후 탐지를 넘어, 인페인팅에 대한 적대적 방어 메커니즘에 진지하게 관여해야 합니다. 적대적 면역화(adversarial immunization)는 사람이 인지할 수 없는 미세 교란을 도입해 생성 모델의 내부 표현을 교란함으로써 스타일 모방이나 인페인팅을 방해합니다. 이런 방어가 변환에 취약할 수 있으나(Hönig et al., 2025), 최근 연구가 교란 제거를 어렵게 하고(Kim et al., 2026) 이미지당 보호 비용을 크게 낮추며(Ozden et al., 2025) 격차를 좁히고 있다고 봅니다. 불완전한 방어라도 아마추어 가해자의 비용을 높이고 생성 파이프라인을 교란한다는 것입니다.
5. R5. 안전 정렬 지표를 개발하라(Safety-aligned metrics). 성공은 탐지 정확도가 아니라 해악 감소로 측정되어야 합니다. 시스템이 실제로 학대의 빈도를 줄이는지 검증하는 지표가 필요하며, 이는 창의적 평가 전략을 요구합니다. 예로 Cretu et al.(2025)이 실제 유해 콘텐츠를 생성하지 않고 윤리적 프록시(ethical proxy)로 아동 안전 필터를 평가한 방식이 AIG-NCII 개입 평가에 영감을 줄 수 있다고 제안합니다.
6. R6. AIG-NCII를 AI 안전에 통합하라(Integrate into AI Safety). 주체 중심 해악을 AI 안전의 정의 안 핵심 관심사로 격상해야 합니다. 주류 담론이 실존적 위험에 치우쳐 현재의 해악을 배제한다는 비판을 인용하며, 개념 삭제(concept erasure)·NSFW 필터링 같은 모델 측 안전 기법이 협조적 모델 운영자를 가정하기 때문에 개방형 모델·비준수 플랫폼으로 정의되는 AIG-NCII 생태계에는 불충분하다고 지적합니다. AIG-NCII는 운영자 선의에 의존하지 않는 안전 연구를 요구하며, 학회 조직위가 이 학대의 규모를 인식해 알고리즘 편향·유해 콘텐츠 생성 하위 분야에 준하는 자원을 배분해야 한다고 촉구합니다.
7. R7. 윤리적 파트너십과 가드레일을 확립하라(Ethical partnerships and guardrails). AIG-NCII 연구는 고유한 윤리적·심리적 도전을 수반하며 모든 연구자에게 적합하지 않습니다. 민감 콘텐츠 검토자의 2차 외상성 스트레스(secondary traumatic stress)를 완화할 가드레일이 필요하고, 연구자가 위협 모델을 고립적으로 추측해 도출해서는 안 되며, 온라인 성폭력·피해자 옹호 도메인 전문가와의 공동 설계(co-design)가 초기 설계 단계부터 파트너로 통합되어야 한다고 강조합니다.
8. R8. 피해생존자의 다원성을 고려하라(Victim-survivor plurality). McGlynn & Westmarland(2019)를 인용해, 피해생존자가 형사 기소부터 콘텐츠 제거까지 극히 다른 결과를 우선시할 수 있음을 지적합니다. 획일적 기술 해법으로는 모든 필요를 충족할 수 없으므로, 회복적 정의(restorative justice) 프레임워크를 활용해 생존자의 행위주체성을 존중하는 유연한 도구를 설계해야 합니다.
9. R9. 사회적 해악에는 사회적 개입이 필요함을 인정하라. 기존 개입이 딥페이크의 합성성을 탐지·식별하는 데 집중하지만, 이는 피해생존자에게 가해진 존엄 기반 해악을 실제로 해소하지 못합니다. IPV·성폭력 감소 전문가가 개입 개발 단계에서 자문에 참여해야 한다고 봅니다.

권고 전반을 관통하는 한 가지 태도가 있습니다. 저자들은 기술로 모든 것을 해결할 수 있다는 낙관도, 기술이 아무것도 못한다는 비관도 경계합니다. 대신 기술적 개입을 "완벽한 해법"이 아니라 사회·법·옹호와 맞물려 작동하는 다중 방어선의 한 층으로 자리매김합니다. R4의 "마찰(friction)" 개념과 R9의 "사회적 해악에는 사회적 개입" 원칙이 이 균형 감각을 압축합니다.

챕터의 핵심 기여: 진단을 아홉 가지 실행 가능한 재정렬 권고로 구체화하되, 기술적 처방(R3·R4·R5)과 사회적·제도적 처방(R6~R9)을 함께 제시하고, 항상 확정적 해법이 있는 것은 아님을 겸허히 인정.

다음 챕터로의 연결: 이 권고들에 제기될 법한 반론을 6장에서 정면으로 다룹니다.

📖 Chapter 6: Alternative Views

챕터의 위치와 역할: 입장 논문의 미덕인 자기비판 장입니다. 저자들은 주된 반론 세 가지를 제시하고 각각에 응답함으로써 논증의 강건성을 높입니다.

세 반론은 각각 다른 층위를 공격합니다. AV1은 책임의 소재(이것이 애초에 AI/ML의 문제인가)를, AV2는 실현 가능성(기술적으로 가능한가)을, AV3은 제도적 현실성(학계 유인 구조에서 실제로 가능한가)을 문제 삼습니다. 저자들은 세 반론 모두에서 상대의 부분적 타당성을 인정한 뒤, 그 전제가 결론을 정당화하지 못함을 보이는 방식으로 응답합니다.

1. AV1 — 사회적 해악은 법·정책의 영역이지 AI/ML의 영역이 아니다. 반론은 AI/ML 연구자의 책임이 기술 역량 최적화에 국한되며, 그 역량의 규제는 정책결정자의 몫이라는 것입니다. AIG-NCII는 본질적으로 미비한 법체계·플랫폼 집행 실패에서 비롯된 법적 문제이므로 연구자의 범위 밖이라는 주장입니다.
2. AV1에 대한 응답: 저자들은 법·정책이 필수적이라는 데 동의하지만, 그렇다고 기술적 보호 연구가 무관하다는 전제는 거부합니다. 첫째, AI 발전과 법 집행 사이의 시차 불일치(법은 수년, 생성 AI 역량은 수 주 단위) 때문에 법에만 의존하는 것은 비현실적입니다. 영국 온라인안전법이 통과될 무렵 지배적 생성 메커니즘은 이미 이동한 뒤였습니다. AIG-NCII 방어법을 연구할지는 LoRA 같은 다른 기술 혁신을 연구할지와 동일한 연구 선택이며, 아동 성적 학대 자료(CSAM) 대응이 법·기술·옹호의 조율을 요구했듯 기술적 보호가 법적 노력과 병행할 수 있다고 봅니다.
3. AV2 — AIG-NCII 예방은 기술적으로 다루기 어렵다(intractable). 반론은 연구자가 책임을 받아들이더라도 제안된 개입이 작동하지 않는다는 것입니다. 인페인팅 교란 같은 적대적 방어는 압축·모델 업데이트에 취약하고, 인터넷 규모상 모든 사진 보호는 불가능하며, 숙련된 가해자는 입력을 약간 변형해 우회할 수 있으므로 "더 나은 방어"는 피해생존자에게 헛된 희망을 준다는 주장입니다.
4. AV2에 대한 응답: 저자들은 완벽한 방패는 없음을 인정하되, 기술 방어의 목표는 완벽이 아니라 마찰(friction) 이라고 반박합니다. 현재 가해자는 비용·기술 없이 수 분 만에 AIG-NCII를 생성할 수 있는데, 불완전한 방어라도 우회에 지식을 요구해 학대 비용을 높입니다. 이 마찰은 다수 괴롭힘을 차지하지만 방어를 깰 정교함은 없는 캐주얼 가해자(청소년·전 파트너 등)를 저지할 수 있으며, 방어의 취약성은 포기가 아니라 추가 연구의 근거여야 한다고 봅니다.
5. AV3 — AI/ML 연구의 문화·제도적 유인 때문에 AIG-NCII 관여가 비현실적이다. 반론은 주체 중심 해악 프레이밍을 받아들여도 구조적 장벽이 있다는 것입니다. 제도적 지원 부족, 게재 가능성에 대한 우려, 성적 주제에 대한 심사자의 불편함이 관여를 어렵게 만든다는 지적입니다.
6. AV3에 대한 응답: 저자들은 이런 유인 구조를 인정하면서도, AIG-NCII가 주류 연구 결정의 직접적 하류 산물인 이상 학계가 이를 주변적이라고 주장할 수 없다고 반박합니다. 널리 배포된 diffusion 모델 학습에 쓰인 개방 데이터셋에 비동의 신체 이미지(CSAM 포함)가 담겨 있었고(Thiel, 2023), AIG-NCII에 쓰이는 기법들이 모두 상위 학회에서 개발·상찬되었다는 점에서, 역량을 만든 학계는 그 부정적 사회 영향의 완화에도 책임이 있다고 봅니다. 알고리즘 공정성이 10년 전 주변부 주제에서 전용 학회(FAccT·AIES, 2018)로 성장한 전례를 들며, "편안함이 작업을 뒤따랐지 그 반대가 아니었다"고 정리합니다. 연구자들이 "금기(taboo)"를 무관심의 이유로 받아들이지 않는다면 AIG-NCII도 유사한 궤적을 밟을 수 있다는 것입니다.

챕터의 핵심 기여: 세 가지 강력한 반론을 회피하지 않고 정면으로 응답함으로써, 책임·실현가능성·제도 유인이라는 세 축에서 논증을 방어.

이 장은 입장 논문의 설득력을 크게 높입니다. 가장 흔히 제기될 반론을 저자 스스로 가장 강한 형태로 재구성한 뒤 응답하기 때문에, 독자가 "그런데 이건 어떻게?"라고 떠올릴 만한 지점을 대부분 선제적으로 다룹니다.

다음 챕터로의 연결: 7장 결론에서 전체 논지를 종합하고, 안전 프로토콜을 전제로 한 신중한 행동 촉구로 마무리합니다.

📖 Chapter 7: Conclusion

챕터의 위치와 역할: 논문 전체의 종합이자 행동 촉구입니다. 서론에서 선언한 중심 입장을 지금까지의 논증으로 확립한 뒤, 그것을 실천으로 옮길 때의 조건을 제시하며 닫습니다.

저자들은 딥페이크에 대한 현재의 기술적 개입(관람자 중심 인식론적 해악 대응)과 생성형 AI 사용의 다수를 차지하는 주체 중심 존엄 해악(AIG-NCII)의 현실 사이에 근본적 misalignment가 존재함을 재확인합니다. AI/ML 공동체가 우선순위를 재정렬하지 않으면 피해자에 대한 해악을 악화시킬 위험이 있다고 경고합니다.

동시에 이들은 자신들의 행동 촉구에 필수 제약을 답니다. AIG-NCII 보호 연구는 연구자에 대한 해악 완화와 피해자 옹호자·성폭력 예방 전문가와의 실질적 파트너십을 포함한 적절한 안전 프로토콜이 확립될 때에만 수행되어야 한다는 것입니다. 결론의 마지막 문장은 논문의 요지를 압축합니다. 연구 공동체는 AI 안전의 정의가 진실뿐 아니라 사람의 존엄도 보호하도록 보장할 책임이 있습니다. 이 한 문장은 서론에서 인용한 UN 세계인권선언의 존엄권과 정확히 맞물리며, 논문 전체가 하나의 규범적 원환으로 닫히도록 만듭니다. 기술의 발전이 만들어 낸 새로운 폭력에 대해, 그 기술을 만든 공동체가 책임을 나눠 져야 한다는 것이 저자들이 남기는 최종 메시지입니다.

챕터의 핵심 기여: 재정렬 요구와 신중한 실행 제약을 함께 담아, 무분별한 연구 착수가 아니라 안전장치를 갖춘 책임 있는 관여를 촉구.

결론이 "더 많이 연구하라"가 아니라 "제대로 준비되었을 때만 연구하라"로 끝난다는 점은 주목할 만합니다. 이는 문제의 심각성을 강조하면서도, 준비되지 않은 관여가 피해자와 연구자 모두에게 2차 피해를 낳을 수 있다는 현실을 함께 껴안은 균형 잡힌 마무리입니다.

기술적 함의와 응용

연구 공동체를 향한 함의. 이 논문은 새로운 방법을 제안하기보다, AI 안전과 딥페이크 방어 연구의 평가 대상(what we optimize for) 자체를 재정의할 것을 요구합니다. 바꿔 말하면, 더 정확한 탐지기를 만드는 문제에서 실제로 피해를 줄이는 문제로 질문을 옮기라는 것입니다. 이 전환은 지표(무엇을 성공으로 셀 것인가), 위협 모델(누구를 적으로 상정할 것인가), 배포 규범(무엇을 공개할 것인가)을 모두 다시 설계하게 만듭니다. 논문에서 명시적으로 도출되는 함의를 정리하면 다음과 같습니다.

• 위협 모델의 재설계: 탐지 정확도 극대화라는 기본 목표를, 실인물의 성적 맥락 콘텐츠에 대해서는 정체성 보존 최소화와 해악 감소로 전환합니다(R1·R2·R5).
• 배포 맥락의 명시적 고려: 진위 라벨이 플랫폼·가해자·피해생존자 각각에게 어떻게 작동하는지를 사전에 분석하지 않은 개입은 오히려 해악을 키울 수 있으므로, 라벨링 대신 백엔드 플래그·예방적 처리를 기본값으로 검토합니다(R1·4.3절).
• 개방형 배포 규범의 재검토: 고충실도 정체성 보존·인페인팅에 최적화된 이중 용도 자산에 대한 게이트/연구자 전용 접근(R3)은 AI 안전 문헌의 이중 용도 논쟁과 직접 맞닿아 있습니다.
• 평가 방법론의 윤리적 제약: 유해 콘텐츠를 생성하지 않고 개입을 평가하는 윤리적 프록시(R5)는 CSAM 필터 평가에서 이미 시도된 방식으로, 민감 도메인 연구의 재현성과 윤리를 동시에 요구하는 새로운 평가 설계 과제를 제기합니다.

이 함의들은 서로 독립적이지 않고 하나의 방향을 가리킵니다. 지표·위협 모델·배포 규범·평가 절차가 모두 "진위 판별"이라는 단일 목표를 중심으로 정렬되어 있었기 때문에, 그중 하나만 고쳐서는 근본적 재정렬이 일어나지 않는다는 것입니다. 저자들이 아홉 개의 권고를 병렬로 제시한 이유도, 이 재정렬이 여러 지점에서 동시에 이뤄져야 하는 시스템 수준의 변화이기 때문입니다.

이 세 함의는 곧바로 앞선 R6·R7·R9 권고와 이어집니다.

AI 안전 담론에 대한 함의. 저자들은 AI 안전(AI Safety)의 경계 자체를 다시 그을 것을 요구합니다. 주류 담론이 실존적 위험(existential risk)에 집중하는 사이, 현재 진행 중인 구체적 폭력인 AIG-NCII는 안전의 핵심 관심사에서 밀려나 있었다는 진단입니다(R6). 특히 개념 삭제·NSFW 필터링 같은 모델 측 방어가 협조적 운영자를 가정한다는 지적은 중요합니다. 개방형 모델과 비준수 플랫폼으로 정의되는 AIG-NCII 생태계에서는 운영자의 선의에 의존하는 방어가 원리적으로 작동하기 어렵기 때문입니다. 이는 향후 AI 안전 연구가 "협조적 운영자 없는 위협 모델"을 진지하게 다뤄야 함을 시사합니다.

학제 간 협업의 필수화. 논문이 반복해서 강조하는 응용상 핵심은, 이 영역이 순수 기술 문제가 아니라는 점입니다. 연구자는 온라인 성폭력·피해자 옹호 도메인 전문가와 초기 설계 단계부터 협업해야 하며(R7), 회복적 정의 관점에서 피해생존자의 다원적 필요를 존중하고(R8), 사회적 해악에는 사회적 개입이 병행되어야 함(R9)을 전제로 삼아야 합니다. 저자들은 연구자가 위협 모델을 홀로 추측해 설계하는 것을 명시적으로 경계하며, 전문가를 사후 검증용으로 부르는 것이 아니라 설계 파트너로 통합할 것을 요구합니다.

재현성과 자료 공개에 관한 언급. 이 논문은 실험 코드나 모델을 배포하는 유형이 아닙니다. 실증 근거인 지형 분석은 검색 쿼리·필터링 기준·코딩 티어·최종 39편 목록(부록 Table 2)을 명시해 방법론 수준의 투명성을 제공합니다. Google Scholar 쿼리와 학회·피인용 필터가 그대로 공개되어 있어 다른 연구자가 유사한 표본을 재구성하는 것이 원리적으로 가능합니다. 다만 3단계 관여 티어로의 분류는 정성 코딩(qualitative coding)의 특성상 해석 판단이 개입하며, 피인용 수는 조회 시점(2026년 1월)에 따라 달라질 수 있습니다. 또한 논문은 R3에서 스스로 고위험 자산의 무분별한 공개 자체를 재고할 것을 주장하는 만큼, 여기서의 재현성은 유해 역량의 재현이 아니라 분석 절차의 투명성으로 이해되어야 합니다. 즉 이 논문에서 "재현 가능해야 하는 것"은 위험한 생성 능력이 아니라 논증을 뒷받침하는 문헌 분석의 절차라는 점이 중요합니다.

TrendHacker와의 접점. 이 논문의 방법론은 본 프로젝트가 다루는 결정론적 태그·엔티티 파이프라인과도 개념적으로 맞닿습니다. 저자들이 상위 피인용 문헌을 검색 쿼리로 수집하고 폐쇄된 용어 집합("NCII", "porn" 등)의 출현으로 관여를 코딩한 방식은, 신뢰할 수 있는 폐쇄형 어휘로 대규모 텍스트를 결정론적으로 분류하는 접근의 한 사례입니다. 다만 이 논문이 던지는 더 큰 교훈은 방법이 아니라 무엇을 측정 대상으로 삼을 것인가라는 물음이며, 이는 어떤 트렌드·엔티티 시스템이든 "무엇을 중요하게 셀 것인가"라는 설계 결정이 곧 가치 판단임을 상기시킵니다.

맺음말. 이 논문은 성능 그래프 없이도 강한 논문입니다. 그 힘은 새로운 지표를 0.1점 올리는 데서가 아니라, 우리가 오랫동안 옳다고 가정해 온 목표 함수 — "진위를 잘 가려내면 안전하다" — 자체가 특정 해악 앞에서 무너진다는 점을 설득력 있게 보인 데서 나옵니다. 저자들이 마지막에 다는 신중한 제약, 즉 안전장치와 도메인 전문가 파트너십이 갖춰졌을 때에만 이 연구에 착수하라는 요구는, 문제 제기가 곧 무분별한 참여로 이어져서는 안 된다는 책임 의식의 표현입니다. 연구 공동체가 자신의 위협 모델을 다시 들여다보게 만든다는 점에서, 이 논문은 딥페이크를 넘어 AI 안전 전반에 유효한 물음을 남깁니다.