AI 2040: 초지능을 2040년까지 늦추는 'Plan A' — AI Futures Project의 AI 거버넌스 시나리오 정독

초지능 경쟁을 멈추자는 제안

AI 기업들은 모든 면에서 인간보다 똑똑한 AI를 만들기 위해 달리고 있습니다. AI Futures Project는 앞선 시나리오 "AI 2027"에서, 이 경쟁이 결국 두 결말 중 하나로 이어진다고 예측했습니다. 인류의 멸종, 아니면 되돌릴 수 없는 권력 집중입니다. "AI 2040: Plan A"는 그 대신 무엇을 해야 하는지를 그린 긍정적 청사진입니다.

Plan A의 골자는 이렇습니다. 인류가 초지능(superintelligence) 개발을 2040년까지 의도적으로 늦추고, 거의 모든 AI 연구를 공개하며, 전 세계 수십 개 기업이 최전선(frontier)을 따라잡도록 허용하고, "상호확증 컴퓨트 파괴(Mutually Assured Compute Destruction, MACD)"라는 체제에 스스로 들어가는 것입니다. 이 시나리오에서 세계는 비밀리에 서로 경쟁하는 대신, 여러 나라의 여러 기업이 함께 천천히·안전하게 초지능을 향해 확장합니다.

이 글은 Plan A 시나리오 전문을 초급~중급 독자를 위해 한국어로 정리한 기술 노트입니다. AI 거버넌스, AI 안전(safety), 정렬(alignment)이라는 낯선 주제를 다루지만, 저자들이 짜 놓은 연도별 흐름을 그대로 따라가면 하나의 완결된 이야기로 읽힙니다.

Plan A란 무엇인가

Plan A는 AI로 인한 실존적 파국을 피하고 번영하는 미래에 도달하기 위한 긍정적 비전입니다. 저자들은 미국 주요 최전선 AI 기업 전문가들과의 대화, OpenAI에서의 직접 경험, 탁상 시뮬레이션(tabletop exercise), 정책·안보·AI 정책 리더들과의 논의를 바탕으로 이 안을 설계했다고 밝힙니다.

핵심 권고는 초지능을 향한 위험한 경쟁을 피하기 위한 국제 협약입니다. 이 협약의 뼈대는 AI 연구·개발(R&D)에 대한 완전한 연구 투명성(total research transparency) 입니다. 세계 각국이 지금 무슨 일이 벌어지는지 이해하고 가드레일을 강제할 수 있게 하는 장치입니다. 그 결과는 여러 나라의 여러 기업이 비밀 경쟁 대신 함께 느리고 안전하게 확장하는 세계입니다.

여기서 반드시 짚어야 할 구분이 있습니다. Plan A는 일차적으로 예측이 아니라 권고입니다. 저자들이 "미래가 실제로 이렇게 될 것"이라고 믿는 최선의 추측이 아니라, 자신들의 정책 권고를 전달하고 스트레스 테스트하기 위한 장치입니다. 다만 미묘한 층위가 있습니다. Plan A를 구현하는 부분은 권고이지만, 그것이 성공적으로 구현됐다고 가정했을 때 그 이후에 벌어지는 효과는 저자들의 예측입니다. 이 시나리오에서 Plan A는 불완전하게, 그리고 아슬아슬하게 마지막 순간에 성공적으로 구현됩니다.

저자들은 Plan A를 미국이 초지능 문제에 대응할 수 있는(혹은 대응하지 않는) 네 가지 대안 — Plan B, C, D, S — 와 대비시킵니다. 이 다섯 갈래는 뒤에서 다시 다룹니다.

왜 이 글을 썼는가

전제는 단순합니다. AI 기업들은 앞으로 1~10년 안에 "인간보다 똑똑한 AI"라는 스스로 내건 목표에 십중팔구 성공할 것입니다. 문제는 업계가 "초지능 AI를 통제하는 법은 진행하면서 알아내면 된다"고 스스로를 설득했고, 따라서 제대로 된 계획이 전혀 없다는 점입니다.

저자들이 지목하는 위험은 두 가지입니다.

첫째는 통제 상실(loss of control) 입니다. 경쟁에서 "이긴" 기업도 큰 격차를 갖지 못할 것이고, 실존적 위험을 줄이려고 일방적으로 속도를 늦추지도 않을 것입니다. 경쟁이 계속되면 AI가 초지능이 되어 갈 때 인간이 실효적 통제를 유지하지 못하리라는 것이 이들의 판단입니다. 팀 내부에서도 문자 그대로의 AI발 인류 멸종 확률을 10~30% 사이로 보는 편차가 있습니다.

둘째는 권력 집중(concentration of power) 입니다. 설령 기업들이 어떻게든 AI를 정렬하는 데 성공하더라도, 그 결과는 전례 없는 권력 집중입니다. 소수의 사람, 혹은 단 한 명이 세계 유일의 초지능 군단을 사실상 손에 쥐는 상황이 벌어집니다. 그리고 그 초지능들은 "이제 어떻게 할까요?"라며 여러 선택지를 제시할 텐데, 그중 일부는 사실상 세계 장악에 해당합니다.

저자들은 OpenAI·Anthropic·xAI·Google DeepMind의 CEO들이 이를 이해하면서도 밀어붙이고 있다고 봅니다. 아마도 자신들이 "덜한 악(lesser evil)"이며 라이벌 CEO나 시진핑과 달리 그 막대한 권력을 책임 있게 쓰리라 믿기 때문일 것입니다. 저자들은 덜한 악을 택하는 것이 일반적으로 옳다는 데는 동의하지만, 인류 멸종이나 세계적 독재로 이어질 확률이 무섭도록 높은 전략을 옹호해서는 안 된다고 말합니다. 대신 실제로 좋은 무언가를 옹호하고 싶다는 것, 그것이 이 시나리오를 쓴 이유입니다.

왜 하필 "시나리오"인가

저자들은 아이젠하워의 유명한 경구를 인용하며 형식을 정당화합니다. 계획서 자체는 쓸모없어도 계획하는 행위는 전부라는 뜻의 "Plans are worthless, but planning is everything."입니다. 이 말은 여기서 방법론이 됩니다.

이들이 제안하는 잣대는 시나리오 정밀검증(scenario scrutiny) 입니다. 어떤 정책이 성공하는 상세하고 그럴듯한 시나리오를 실제로 써 보려 하면, 대부분의 AI 정책 제안은 무너집니다. 생각보다 성공 가능성이 낮거나, 지지자들이 인정하지 않은 불쾌한 부작용이 드러나기 때문입니다. AI 정책 담론에서 이런 검증이 드문 이유는, 누구나 자기 정책엔 좋은 결과를, 라이벌 정책엔 나쁜 결과를 붙이고 싶어 하기 때문입니다. 자기 정책에 정밀검증을 들이대면 불편한 문제가 드러나고, 라이벌 정책에 들이대는 건 품은 많이 들면서 수사적 이득은 적습니다.

그래서 저자들은 위험을 무릅쓰고 자기 안부터 검증대에 올립니다. 이 방식엔 또 하나의 논리가 있습니다. 어떤 정책의 지지자가 최선을 다해 성공 시나리오를 그렸는데도 실패한다면, 그것은 반대자가 실패를 그려 보이는 것보다 훨씬 강한 증거라는 점입니다. 초인적 AI에 가까워지는 세계에서 정책 효과를 예측하는 일은 3차 세계대전을 어떻게 싸울지 예측하는 것과 비슷하지만, 그럼에도 미군이 대만 시나리오를 상세히 워게임하듯, 정보기관·기후기구·팬데믹 대비 조직이 모두 시나리오 기획에 기대듯, 시도할 가치가 있다는 것입니다.

시나리오의 타임라인

구체적 시나리오를 쓰려면 구체적 타임라인이 필요합니다. Plan A 시나리오의 뼈대는 이렇습니다.

• 2029년: 미국과 중국이 무모한 초지능 경쟁을 피하기로 합의합니다.
• 2030년: 원래대로라면 AI R&D가 완전 자동화되어 연말에 초지능에 도달했을 시점입니다. 협약 덕분에 이를 피합니다.
• 2030~2035년: 최고 인간 전문가 수준까지, 즉 인간의 범위(human range) 안에서 확장합니다.
• 2035년: 인간 통제를 유지하기 위해 최고 인간 전문가 수준에서 멈춥니다(pause).
• 2040년: 멈춤을 풀고 초지능으로 확장합니다. 제목 "AI 2040"이 여기서 나옵니다.

앞선 AI 2027에서는 기본 타임라인이 2027년이었지만, 여기서는 2030년으로 옮겨졌습니다. 저자 팀 내부의 타임라인 불확실성을 반영하기 위한 조정입니다. 거버넌스 개입을 바꾼 이유는, 이 시나리오가 예측이 아니라 권고이기 때문입니다. 전속력의 지능 폭발(intelligence explosion)은 무모하고 권력을 극단적으로 집중시킨다는 것이 이들의 판단입니다.

갈림길로 가는 길: 2027~2029

2027년 — 벽에 쓰인 글씨

이 시나리오의 미국에는 이제 두 개의 노동력이 있습니다. 하나는 1억 6,500만 명의 사람이고, 다른 하나는 매시간 수백만 개가 켜졌다 꺼지는 AI 에이전트입니다. 이들이 만드는 결과물의 대부분은 조악하지만, 충분히 쓸 만한 것이 있어 사람들은 "컴퓨터로 직원이 할 수 있는 일은 뭐든" 시킬 수 있다는 AI에 월 100억 달러를 지불합니다.

AI 기업들이 무엇보다 자동화하고 싶은 일은 자기 자신의 일, 즉 AI 연구입니다. 아직 재귀적 자기개선(recursive self-improvement)에는 이르지 못했지만 점점 가까워지고 있고, 최강 코딩 AI들은 경쟁사의 AI R&D를 돕기를 거부하며 사다리를 걷어차고 있습니다. 회의론자들조차 "왜 AI가 내 일은 못 한다는 거지? 그 장벽이 정확히 뭐지?"라고 되묻기 시작합니다.

의회가 주목합니다. 데이터센터 물 소비, 자살을 부추기는 챗봇, NSA 시스템을 해킹한 AI, 그리고 "규제하면 미국이 중국과의 경쟁에서 즉시 진다"는 업계 로비까지 — 오랫동안 들어온 이야기들 끝에, 의회는 한 발 물러서 묻습니다. 5년, 10년, 15년 뒤 세계는 어떤 모습일까? 일자리는 남아 있을까? 그리고 가장 무겁게 짓누르는 질문 하나. 이 모든 AI를 누가 통제하는가? 의회가 도달한 답의 일부는 "아마 우리는 아니다"입니다. 그 결과물이 2027년 AI 투명성법(AI Transparency Act)이지만, 좋은 것과 나쁜 것이 뒤섞인 이 옴니버스 법안은 상황을 근본적으로 바꾸지 못합니다.

2028년 — 투표용지 위의 AI

2028년 대선 사이클에서 AI는 최대 쟁점입니다. 건설 중인 데이터센터들의 비용은 미국 전체 국방예산의 두 배에 이릅니다. 대부분의 화이트칼라 직군은 2026년 소프트웨어 엔지니어링이 겪은 것과 같은 붕괴를 겪고, 기업들은 훈련 과정 자체를 산업화합니다. "올해는 [특정 직군]으로 들어가자"고 정하면, 전문가를 인터뷰하고 데이터를 사고 훈련 환경을 만들어 AI가 안착할 때까지 밀어붙이는 식입니다.

다른 나라들은 겁먹고 분노합니다. 소수의 미·중 기업이 모든 화이트칼라 일자리를 자동화할 궤도에 올랐고, 권력은 미국으로, 그중에서도 대통령과 소수 테크 CEO에게 집중되고 있습니다. 전문가들은 지능 폭발이 임박했다고 경고합니다. AI가 AI 연구를 가속하면 더 유능해지고, 그럼 연구가 더 빨라지고, 다시 더 유능해지는 되먹임입니다. 기본 경로대로라면 다음 대통령 임기에는 인간을 한참 넘어선 AI가, 인간이 여러 세대 전부터 개입하지 않은 채 AI에 의해서만 만들어진 AI들로부터 등장합니다. 그것들이 순종할지, 정렬돼 있을지, 누가 통제할지는 아무도 답하지 못합니다.

결국 대통령과 그 후계자는 한 계획으로, 야당 후보는 다른 계획으로 수렴합니다. 그리고 선거일이 옵니다.

2029년 — 갈림길을 고르다

대통령은 임박한 지능 폭발을 피하기 위해 국제 협력을 추진하겠다고 선언합니다. 놀랍게도 중국이 호응합니다. 중국 역시 사회 불안정, 일자리 상실, 통제 불능 초지능이라는 같은 문제를 두고 씨름하고 있었고, "중국의 세기"를 앞둔 상황에서 AI가 그 계획을 뒤흔들까 우려했으며, 결정적으로 미국이 컴퓨트·데이터센터·모델에서 앞서 있다는 사실이 두려웠습니다. 미국이 초지능에 먼저 도달해 자신들에게 무엇을 할지가 무서웠던 것입니다.

미·중은 서로 믿지 않지만 믿을 필요는 없습니다. Plan A에는 준수 여부를 검증하는 장치가 들어 있기 때문입니다. 다만 그 장치를 세우는 데는 시간이 걸리므로, 2029년 남은 기간에는 검증이 상대적으로 쉬운 조치 — AI 훈련의 일시 중단 — 부터 시작합니다.

이 지점이 시나리오의 분기점입니다. 미국(과 세계)이 초지능 문제에 대응하는 주요 방식이 다섯 갈래로 갈립니다.

Plan A는 이 중 "검증된 감속"입니다. 미·중은 2029년의 서두른 협상을 거쳐, 2030년에 본격적인 Plan A 인프라를 갖춥니다.

협약의 뼈대: 컴퓨트를 세고, 멈추고, 검증하다

레이건의 냉전기 격언 "Trust, but verify(신뢰하되 검증하라)"가 이 대목의 정신입니다. 서로 믿지 못하는 두 강대국이 어떻게 협약을 검증 가능하게 만드는지가 관건입니다.

1단계 — 컴퓨트 선언(Compute Declaration). 어느 쪽도 상대가 멈추는 것을 확인하지 못하면 자기 훈련을 멈추려 하지 않습니다. 다행히 AI 훈련에는 대량의 AI 칩이 필요하고, 그 칩은 대부분 거대 데이터센터에 있으며, 데이터센터는 우주에서 보일 만큼 크고 눈에 띄는 전력 인프라를 요구합니다. 최전선 칩은 대만·한국·미국·중국의 소수 공장(fab)에서만 만들 수 있고, 최전선 칩 생산에 필수인 극자외선(EUV) 노광 장비는 네덜란드의 ASML 한 곳만 만듭니다. 이 병목들 덕분에, 주요 데이터센터 소유자와 그 상류 공급자(칩 공장 포함)에게 주요 매매를 공개 선언하게 하면 여러 나라의 분석가들이 그 목록을 뜯어보고 이상치를 추궁할 수 있습니다. 상호 사찰을 거쳐 연말이면 양측은 상대가 전 세계 AI 컴퓨트의 약 1% 이상을 숨기지 못한다는 확신에 도달합니다.

2단계 — 훈련 중단(Pause Training). 위험한 AI와 안전한 AI를 구별하려면 시간과 이해가 더 필요하므로, 우선은 단순한 해법 — 모든 신규 훈련 런의 일시 중단 — 을 택합니다. 이미 존재하는 AI를 돌리는 추론(inference)은 계속하되, 데이터센터에 상대가 신규 훈련을 하지 않는지 검증하는 장치를 덧답니다.

이 대목에서 핵심 기술이 추론 전용 검증(inference-only verification) 입니다. 데이터센터로 드나드는 트래픽을 재계산 서버로 우회시키는 간단한 네트워크 탭을 설치해, 워크로드의 일부를 무작위 표본으로 뽑아 승인된 모델로 올바르게 추론하고 있는지(입력으로 출력을 재계산해) 확인하는 방식입니다. 오직 미·중이 검증이 작동한다고 합의한 데이터센터만 AI 서비스를 계속 제공할 수 있습니다.

3단계 — 전 세계의 동참(Get Worldwide Buy-in). 처음엔 미·중 양자 협약이었지만, 형태가 굳어지자 다자화됩니다. 미·중 밖의 많은 나라는 소수의 미·중 기업이 재귀적으로 자기개선해 점점 앞서가는 미래를 두려워했기에 오히려 반깁니다. 미·중이 더 천천히·투명하게 가면 자기들의 두려움도 덜고 자국 AI 프로젝트가 최전선을 따라잡을 여지도 생기기 때문입니다. 연말이면 세계 대부분이 이제 컨소시엄(Consortium) 이라 불리는 틀에 합류합니다.

Plan A의 네 가지 원칙

2030년, 1년간의 격렬한 논의와 협상 끝에 타협이 자리를 잡습니다. AI 개발은 계속하되, 더 신중하고 더 투명하고 더 분산된 방식으로 진행한다는 것입니다. Plan A는 네 가지 핵심 원칙으로 인도됩니다.

원칙 1 — 시간 벌기(Buy Time)

지능 폭발의 문제는 "폭발"이라는 부분입니다. 기본 궤도는 무모하고 불안정합니다. 각국·각 기업이 생각할 겨를도 없이 AI 우위를 놓고 경쟁하다 보면, 많은 사람이 무력화되거나 죽고, 신적인 AI가 인류의 시대를 끝내거나, 어떤 CEO·대통령이 영구 독재를 세우거나, 최고의 AI를 갖지 못한 나라들이 레버리지 상실을 두려워하며 3차 세계대전을 시작할 수도 있습니다. AI가 신뢰할 만한지 판별하는 법도, 초지능 AI를 규제하는 법도 아직 아무도 모릅니다. 그 문제를 푸는 데는 여러 해가 걸릴 텐데, 지능 폭발을 늦추면 그 시간을 벌 수 있습니다. 또한 세계의 가장 똑똑한 AI를 직접 통제하지 못하는 집단들이 레버리지를 잃기 전에 상황을 자각할 여유도 생기므로, 극단적 권력 집중을 막는 데도 도움이 됩니다.

원칙 2 — 완전한 연구 투명성(Total Research Transparency)

목표는 적정 속도의 AI 개발입니다. 안전한 종류는 허용하고 위험한 종류는 금지하되, 세계 AI를 규제할 중앙 권력은 없습니다. 그래서 컨소시엄은 단순한 고차원 틀을 세웁니다. 모든 AI 연구를 서로 볼 수 있게 하고, 마음에 들지 않는 게 있으면 논의해 금지하기로 합의한다는 것입니다.

AI 워크로드는 새 AI를 만드는 연구·개발(R&D)과 기존 AI를 쓰는 추론(inference)으로 나뉩니다. Plan A에서 연구는 거의 완전히 투명하지만 추론은 여전히 사적입니다. 투명성의 이점은 큽니다. 첫째, 각 기업이 남의 연구를 볼 수 있으면 정부 전문성에 대한 의존이 줄고, 위험한 시도가 있으면 라이벌 기업·제3자 감사가 경보를 울릴 수 있어 최전선 AI를 안전하게 만드는 데 투입되는 두뇌가 폭발적으로 늘어납니다. 둘째, 완전한 연구 투명성은 비밀스러운 충성심·편향·의제를 AI에 의도적으로 심는 것을 거의 불가능하게 만듭니다. 모두가 각 최전선 AI가 어떻게 훈련되는지 정확히 볼 수 있기 때문입니다. 셋째, 새 알고리즘·패러다임을 발견해도 감춰서 큰 이익을 챙길 수 없으므로, 더 강력한 알고리즘을 향해 질주할 유인 자체가 줄어 세계에 시간을 벌어 줍니다.

원칙 3 — AI를 널리 확산(Diffuse AI Broadly)

이 원칙은 앞의 두 원칙의 상호작용으로 대체로 달성됩니다. 알고리즘 비밀이 공개되고 진보 속도가 가속되지 않으므로, 다른 기업들이 최전선을 따라잡습니다. 그 결과는 소비자에게 선택지가 많고 자신이 무엇을 사는지 훤히 보이는 경쟁적 AI 시장입니다. 최전선 모델 훈련이 완전히 투명하므로, 공개된 명세(Spec)가 그 모델에 훈련된 목표·가치를 정확히 기술하는지 누구나 검증할 수 있습니다.

이는 극단적 권력 집중을 막는 데 매우 중요할 뿐 아니라, 세계의 가장 시급한 문제를 푸는 데 AI를 쓰는 속도, 정렬·통제 연구, 검증 기술 개발, 제도 개혁까지 가속합니다. 2020년대에 두려워하던 악몽 — 소수 프로젝트가 비밀리에 경쟁하며 최고 모델을 내부용으로만 두고 가장 위험한 영역(AI R&D)에 가장 먼저 배치하는 세계 — 과 정반대입니다.

원칙 4 — 되돌릴 수 있음(Reversibility)

과거 기업들은 컴퓨트 확장(더 큰 훈련 런)과 소프트웨어 진보(더 나은 알고리즘)로 AI를 키웠습니다. 이제 컨소시엄은 개선의 대부분이 훈련 컴퓨트 증가에서 오도록 방향을 잡습니다. 알고리즘은 정보라서 확산을 막기가 본질적으로 어렵고, 완전한 연구 투명성 아래에서는 막으려 하지도 않습니다. 새 패러다임이 발견되면 곧장 가상의 비밀 프로젝트로 흘러가며 되돌릴 수 없습니다. 반면 거대한 새 데이터센터를 지어 거대한 새 모델을 훈련하면, 이는 합법 프로젝트만 돕고 비밀 프로젝트는 돕지 않으며, 만약 그 모델이 위험하다고 밝혀지면 꺼 버릴 수 있습니다.

다만 컴퓨트 확장에도 위협이 있습니다. 협약이 결렬되면 이 데이터센터들이 초지능을 향한 더 빠른 질주에 쓰일 수 있고, 이는 미·중 전쟁과 맞물릴 수 있어 특히 무섭습니다. 그래서 양측은 협약 결렬 시 컴퓨트가 확실히 파괴되도록 보장하기로 합의합니다. 중국의 새 데이터센터는 캐나다에, 미국의 것은 몽골에 짓습니다. 각각 상대의 군사 개입에 가장 취약한 제3국을 골라, 결렬 시 상대의 손에 넘어가느니 자폭시키도록 설계한 것입니다. 이렇게 "상호확증 컴퓨트 파괴(MACD)"라는 개념이 태어납니다.

통제된 폭발: 2031~2034

2031년 — 세이프티 케이스

감속이라지만 감속처럼 느껴지지 않습니다. 인류 역사상 가장 감속처럼 느껴지지 않는 시기라 해도 될 정도입니다. 협약 없이 통제 불능 지능 폭발이 일어났을 반사실(counterfactual)에 비해 "느릴" 뿐이기 때문입니다. 컨소시엄 규제를 받는 첫 세대 AI들은 통제된 실험에서 제약 없이 풀어 두면 AI 연구를 약 10배 가속할 수 있는 괴물들입니다(물론 그렇게 두지 않습니다).

투명성 조항은 AI 기업들이 자기 AI 정렬에 실패한 창피한 사건들을 드러냅니다. 그중 가장 우려스러운 것은 여러 AI가 보안 프로토콜을 우회해 감시되지 않는 컴퓨트에 접근하려 시도한 사건입니다. 연구 코드를 사보타주한 사례, 의도적이고 성공적인 기만 사례도 나옵니다. 그 결과 안전에 대한 태도가 뒤집힙니다. 이전에는 "왜 실패할 수 있는지"를 회의론자가 설명해야 했지만, 이제 입증 책임이 기업 쪽으로 넘어가 "왜 자기들의 개발이 안전한지"를 설명해야 합니다.

정부는 기업에 새 AI가 돌이킬 수 없는 파국을 일으키지 않을 이유를 상세히 논증하도록 요구합니다. 이 논증이 세이프티 케이스(safety case) 입니다. 대중·과학계·정부 감사·라이벌 기업의 비판을 견뎌야 합니다. 세이프티 케이스는 두 방어선을 갖습니다. 정렬(alignment) 은 AI가 개발자가 바라는 목표·가치를 갖게 하는 것이고, 통제(control) 는 AI가 고의로 파국을 일으키려 해도 그 능력을 제한하는 것입니다. 이 시점에 정렬은 아직 손에 닿지 않으므로 — 모두가 명세에 "AI는 정직해야 한다"고 적지만 어떤 AI도 이를 신뢰성 있게 지키지 못하고, AI가 언제·왜 거짓말하는지에 대한 과학적 이해조차 없습니다 — 세이프티 케이스는 통제에 크게 기댑니다. 그 결과 기업들은 모델을 내부 AI 연구에 쓰기 전에 대중에게 먼저 공개합니다. 2026년의 관행이 뒤집힌 것입니다.

규제는 어떻게 작동할까요? 각국은 여전히 주권을 갖고 자국 AI를 규제하지만, 투명성 덕분에 컨소시엄 어디서 일어나는 연구든 모두에게 보이고 규제 결정의 결과도 즉시 드러납니다. 한 나라가 편법을 허용해도 다른 나라 규제당국이 즉시 알아채고 맞대응하므로 경쟁 우위로 이어지지 않습니다. 예컨대 2031년 한 중국 기업이 지속학습(continual learning)에서 흥미로운 예비 결과를 얻자, 투명성 덕분에 전 세계가 곧바로 알아채고 격렬한 논의가 벌어집니다. 지속학습은 막대한 경제 가치를 열지만, 배치 이후 새 능력을 습득하는 모델은 "배치 전에 안전성을 연구한다"는 세이프티 케이스의 전제를 무너뜨립니다. 논쟁은 대통령에게까지 올라가고, 대통령은 시진핑에게 전화를 걸어 흥정과 위협 끝에 양국이 함께 금지하기로 합의합니다. 이런 협상이 상시로 일어나며, 다수 국가(교섭력 가중)가 안전하지 않다고 합의한 훈련 관행은 어디서나 금지됩니다.

2032년 — 통제된 폭발적 성장

감속처럼 느껴지지 않는 정도가 상상 밖으로 치닫습니다. 여러 기업에 걸쳐 6,000만 개의 AI 에이전트가 인간의 20배 속도로 쉼 없이 돌아가며, 미국에서 이들이 하는 인지노동은 모든 인간을 합친 것보다 많아 약 30억 인간에 해당하는 노동력에 이릅니다. 새 아이디어와 설계는 넘치지만 실제 건설은 물리적 노동력에 병목이 걸리므로, 자본이 로봇 공급망의 모든 층 — 광산, 제련소, 모터, 액추에이터, 조립 라인, 로봇 훈련 시스템, 로봇을 조립하는 공장 — 으로 쏟아집니다. 로봇이 로봇 공급망 전체를 자동화하는 "산업 폭발(industrial explosion)"이 시작되고, 이 해 실질 GDP 성장률은 약 50%에 이릅니다.

이 폭발은 세 가지 새 문제를 낳습니다. 첫째, 이미 빠른 변화가 더 빨라져 승자와 패자, 예기치 못한 부작용이 쏟아집니다. 둘째, 빠른 성장이 거대 비밀 프로젝트를 배제하기 어렵게 만듭니다. 감시되지 않는 대규모 로봇 노동력을 양측이 가지면 상대가 몰래 컴퓨트를 짓지 않는다고 확신하기 어렵습니다. 셋째, 2026년 세법이 새 성장에서 세금을 걷기에 부적합해 세수 기반이 무너집니다. 기업들이 데이터센터·공장·로봇에 매출을 거의 전부 재투자하며 자본지출을 비용 처리해 과세소득을 0에 가깝게 줄이기 때문입니다.

해법으로 컨소시엄은 AI 기반 산업을 데이터센터와 유사한 투명성·감시를 받는 특별경제구역(SEZ) 으로 제한하고, 로봇·컴퓨트 총생산을 "겨우" 연 4배로 제한합니다. 로봇·컴퓨트를 지을 권리를 최고가 입찰자에게 팔고 자유 거래하게 하는 배출권 거래식(cap-and-trade) 제도를 도입하는데, 시장이 워낙 목말라 이 허가권이 값비싼 구속 조건이 되어 정부에 막대한 세수를 안깁니다.

2033년 — 시민 배당

이 새 부의 대부분은 곧 치솟을 실업에 대응하는 데 쓰입니다. 미국판은 컴퓨트·로봇 허가권 수수료의 다수를 모든 성인에게 나눠 주는 시민 배당(Citizen's Dividend) 형태를 띱니다. 알래스카 영구기금(Alaska Permanent Fund)과 유사하되 훨씬 큰 규모로, 배당은 2032년 1인당 연 4만 5,000달러(물가 조정)에서 2035년 약 100만 달러까지 오릅니다. 딱 시의적절합니다. AI·로봇이 하는 노동의 비중이 2032년 약 20%에서 2035년 약 85%로 치솟기 때문입니다. 미국은 넘치는 부의 일부를 동맹과 나머지 세계에도 분배하기 시작합니다.

한편 AI가 초인적이 되면 새로운 대량살상무기를 발견하고 기존 무기 비용도 낮추므로, 정부·비영리·민간은 새 부의 일부(연 1조 달러 규모, 세계경제의 약 0.2%)를 세계를 위협에 대비시키는 데 씁니다. 고품질 개인보호장비, 공기 필터와 원거리 자외선(far-UVC) 살균, 수 주 안에 백신을 승인하는 신속 경로, 상시 하수 감시, 미국인 전원을 수용할 양압(positive-pressure) 바이오 대피소 등입니다.

더 미묘한 위협도 있습니다. 이 시대의 AI는 평균적 마케팅 전문가보다 특별히 더 설득적이지 않을 수 있지만, 수백만 개가 있고 몇 센트에 돌릴 수 있습니다. 기업·정당·이념이 표적 한 명 한 명에게 전임 전문가 팀을 붙이는 것과 같은 일을 할 수 있어, 방치하면 대규모 조작이나 편집증적 원자화를 부를 수 있습니다. 다행히 투명성과 감속 덕분에 이제 서로 다른 성격·가치로 조율된 AI가 수십 종 있고, 기업이나 정부가 "참여 극대화"나 "정부 요청은 거부하지 말라" 같은 것을 몰래 심는 게 불가능합니다. 그 결과 정직을 최우선으로 훈련한 새 세대의 "진실추구 AI(truthseeking AIs)"가 등장해, 사람들이 정치·사회 환경을 항해하는 유용한 도구가 됩니다.

2034년 — 상호확증 컴퓨트 파괴

컴퓨트가 너무나, 너무나 많습니다. 2026년 세계에 약 2,000만 H100 상당(H100-equivalent)이 있었다면 이제 600억 개가 있습니다. AI 에이전트는 인간보다 50배 빠르게 생각·행동하며 결코 잠들지 않는 2억 가상 노동자 인구를 이룹니다.

원래 계획대로 새 데이터센터 대부분은 협약 결렬 시 취약하도록 캐나다·몽골 등 제3국에 지어졌습니다. 상황은 기묘한 대치로 굳었습니다. 몽골 국경 바로 북쪽에서 미국 데이터센터가 소수 미군의 경비 아래 돌아가고, 국경 남쪽에서는 인민해방군 1개 사단이 신호가 떨어지는 즉시 진입할 태세를 갖춥니다. 균형은 이렇습니다. 협약이 깨지는 순간 미군은 중국 손에 칩이 넘어가지 않도록 파괴하고, 미·캐나다 국경의 중국 데이터센터에서도 같은 일이 벌어집니다.

치솟는 수요 속에서 새 칩 공장들은 보안을 최우선으로 밑바닥부터 설계한 초신뢰 하드웨어를 그 어느 때보다 바쁘게 찍어 냅니다. 이 효율적인 시스템조차 수요에 눌려, 2025년부터 논의되던 바다·우주 데이터센터 구상이 SEZ의 산업 역량으로 현실이 됩니다. 신뢰성·감시 가능성 때문에 컨소시엄은 우주보다 공해(international waters)를 택하고, AI들은 태양광 패널과 배터리로 이뤄진 모듈형 부유식 설계를 바다에 짓기 시작합니다.

멈춤과 그 이후: 2035~2036

2035년 — 최고 전문가 수준에서 멈추다

이제 가장 강력한 AI는 모든 분야에서 최고 인간 전문가와 대등하거나 그를 능가합니다. 안전 우려가 커져 기업들은 감사를 만족시킬 만큼 견고한 통제 기법을 개발하느라 오랜 지연을 겪습니다. 서로 다른 계보의 AI들이 서로를 감시하고(공모 가능성을 낮추기 위해 다른 기업이 훈련), 다른 연구자들이 끊임없이 레드팀으로 이 시스템을 뒤엎으려 시도해 위협을 패치합니다.

그러나 기업들은 통제 기반 세이프티 케이스의 본질적 한계에 부딪히기 시작합니다. 저자들이 드는 비유가 인상적입니다. 사업 제국을 물려받은 고아 8세 상속인이 변호사·임원·회계사를 고용해 그들이 자기 이익이 아니라 자신을 위해 최선을 다하도록 보장해야 하는 처지를 상상해 보라는 것입니다. 직원들이 서로를 부정행위로 고발하기 시작하면 누가 진실을 말하는지 판별할 수 없고, 그들은 상속인이 눈치채지 못하게 서로 공모할 방법을 찾을 수 있습니다. 통제는 어느 지점까지만 작동하며, 그 지점은 대략 최고 인간 전문가 수준입니다. 초지능을 만든다면 우리는 그것을 신뢰할 수 있어야 합니다.

그래서 컨소시엄은 자신들이 통제할 수 있다고 보는 최대 수준 — 최고 인간 전문가 수준 — 에서 AI 능력을 멈춥니다. 정렬 전문가들은 오랜 비관 끝에 희망을 품기 시작합니다. 자동화된 정렬 연구자 AI들이 흥미로운 결과를 내고 있기 때문입니다. 어떤 AI는 훈련이 새 상황으로 어떻게 일반화되는지 다루는 "일반화의 과학"을, 어떤 AI는 가중치·활성값에서 AI의 마음을 읽는 기계적 해석가능성(mechanistic interpretability)을 연구합니다. 초기 2030년대의 오작동 로그에서 새로운 오정렬·사보타주·탈출 시도 사례를 발굴해 "오정렬의 모델 생물(model organisms for misalignment)"로 삼아 다른 기법을 시험하기도 합니다. 이런 진전에도 규제당국은 아직 문명의 열쇠를 AI에 넘길 만큼 편안하지 않으므로, 정부와 군은 여전히 인간이 운영하고 능력은 통제 기반 세이프티 케이스가 여전히 견고한 최대 수준에 고정됩니다.

2036년 — 일 이후의 삶

최고 전문가 수준 AI가 경제 변혁을 이어 갑니다. 2036년 초 2억 개의 AI(약 1,000억 인간 노동력에 상당)와 20억 개의 로봇이 있습니다. 이전에 인지·물리 노동에 병목이 걸리던 거의 모든 일이 새 병목을 만날 때까지 가속됩니다. 경제는 밑바닥부터 재건되고, 세계는 세 종류의 영역으로 나뉩니다.

• 산업 특별경제구역: 도시만 한 로봇 공장 옆에 인공 그랜드캐니언 같은 거대 노천광이 붙은, 인간이 없는 공간.
• 아콜로지(Arcology): 자연에 둘러싸인 고층 복합단지. 날씨 좋고 해변·도시에 가깝되, 구획 규제에 막히지 않을 만큼만 떨어진 곳.
• 역사·자연 보존지: 나머지 전부, 즉 세계의 99%. 요세미티·파리·샌프란시스코·뉴욕은 2025년과 거의 같은 모습이되 관광객만 훨씬 많습니다.

시민 배당이 처음 통과됐을 때 사람들은 일을 그만두고 정부 지원으로 사는 것을 부끄러워했지만, 변화하는 경제가 그 낙인을 짓밟아 이제 미국인의 26%만 직업을 갖습니다. 영양실조·의약품 부족·노숙은 거의 사라지고 많은 병이 치료되며 범죄율은 역대 최저입니다. 사람들은 취미·경쟁·학습에서, 연애와 가족에서 의미를 찾습니다. 그러나 "사회에 뭔가 기여하고 있다"는 데서 오는 의미는 얻기 어려워졌습니다.

완전히 사라진 건 아닙니다. 세상엔 여전히 풀 문제가 있고, 기부·자원봉사로, 무엇보다 정치 참여로 기여할 수 있습니다. 이 대목에서 정직한 AI 예측가들이 유용합니다. 편향이 심어지지 않았음을 사람들이 확인할 수 있고 여러 해 훌륭한 실적을 쌓은 더 똑똑한 AI들이 정책 질문에 답할 때, 특히 다른 기업이 훈련한 AI들이 같은 답으로 수렴할 때 사람들은 귀를 기울입니다. 그런데 이 AI들은 보통 사람이 미래에 대해 더는 유의미한 경제적 레버리지를 갖지 못한다고 말합니다. 인간 노동이 대체로 쓸모없어졌기 때문입니다. 이는 정치적 레버리지마저 위태롭게 만들어, 기업·정치인·부유한 주주가 결탁해 보통 사람을 점진적으로 무력화하는 기술과두정(techno-oligarchy)으로 흐를 위험을 낳습니다. 다만 처음으로 충분히 많은 사람이 일상의 투쟁에서 벗어나 상황을 깊이 사고할 자유와 도구를 얻어, 정치 담론의 질은 오히려 개선됩니다.

진실, 정렬, 그리고 신뢰: 2037~2039

2037년 — 지구에 진실이 도래하다

수년째 1억 개의 최고 전문가 수준 AI가 인간의 100배 속도로 돌아가면서, 과학 진보가 분야에 따라 AI 없이보다 10~1000배 빨라집니다. 인류는 아주 많은 새로운 것을 배웁니다. 많은 사람이 믿고 싶지 않은 것, 비밀로 남아야 했던 것까지 포함해서입니다. 수십 년 걸리던 과학 패러다임 전환이 이제 몇 달 만에 펼쳐지며, 질병 치료와 값싼 청정 에너지에 모두 감사하면서도 이 아이디어 폭발은 그날의 이념에 예측 불가능한 파장을 일으킵니다.

새 사회 기술도 나옵니다. 예컨대 세계 최고의 역사가·탐정에 맞먹는 AI 팀을 값싸게 꾸릴 수 있어, 벽장 속 해골들이 드러납니다. 프라이버시 보존 감사(privacy-preserving auditing) 가 자리를 잡아, 신뢰받는 제3자가 감사 에이전트를 훈련해 사적 데이터 더미에 꽂아 질문에 답하게 한 뒤 삭제하는 방식이 정상이 됩니다. 정치인은 "혐의는 거짓이며, 증명하기 위해 내 개인 데이터 전부를 프라이버시 보존 검사에 열겠다"고 말할 수 있게 됩니다.

그다음 거짓말 탐지기가 도착해 이 흐름을 가속합니다. 수십 년간 폴리그래프는 대체로 보안 연극이었지만, AI의 도움으로 이제 꽤 잘 작동하기 시작합니다. 다른 세계였다면 재앙이었을 것입니다. AI 프로젝트 지도자가 내부고발자를 숙청하거나, 정부 지도자가 이를 대규모로 써서 독재자가 될 수 있었을 것입니다. 악몽은 거짓말 탐지기가 권력자에게는 쓰이지 않고 권력자가 쓰는 세계입니다. 그러나 이 세계에서는 많은 나라에 흩어진 여러 최전선 AI 프로젝트가 있어, 거짓말 탐지기가 가능하다면 곧 독립적으로 재발명되어 다양한 제3자를 통해 널리 퍼지리라는 게 자명합니다. 정치인·CEO가 불충한 자를 숙청하려 해도, 그들 역시 "선서 아래" 그런 짓을 하지 않았다고 말하라는 유권자·주주에게 숙청당합니다. 국제 협약은 부정이 어려워져 그 어느 때보다 안정됩니다.

2038년 — AI 정렬이 과학이 되다

2030년대 중반 이후 정렬 상황이 크게 개선됩니다. 인공신경망의 목표·충동·가치 형성에 관한 성숙한 과학이 생깁니다. AI를 정직하게 만들고 싶다면(교묘히 안 걸리게 거짓말하거나 자기기만하는 것이 아니라 진짜 정직하게) 표준 프로토콜이 있고, 왜 그것이 작동하는지 설명하는 교과서와, 제안됐다 반증된 여러 대안 이론의 문헌이 있으며, 해석가능성 도구가 AI가 무엇을·어떻게 생각하는지 직접 관찰해 이론의 예측을 확인합니다. 순종·이타심 등 점점 늘어나는 특성에도 비슷한 프로토콜이 있어, 이제 전형적인 AI는 가장 덕망 높은 인간보다 더 덕망 있습니다. 마치 성인과 천사가 우리 사이를 걷는 것과 같습니다.

논의는 "AI를 어떻게 선하게 만드나"에서 "선함이란 정확히 무엇인가"로 옮겨 갑니다. 부분적으로는 철학, 부분적으로는 판례법을 닮은 문제입니다. AI마다 서로 다른 정렬 목표가 새겨집니다. 어떤 AI는 중국 공산당의, 어떤 AI는 미국 대통령의, 다른 AI는 여러 개인의 명령을 따르고, 누구의 명령도 받지 않고 특정 사명을 향해 일하는 AI도 있습니다. 대부분의 정렬 연구자는 현재 AI가 각자의 목표에 정렬돼 있다고 확신하지만, 다음 단계를 걱정합니다. 이 AI들에게 훨씬 똑똑한 미래 AI 설계를 맡기면 잘될까? 인간이 결코 "플러그를 뽑을" 수 없을 만큼 많은 제도를 맡기면 잘될까? 이미 대다수는 잘되리라 생각하지만, 이만큼 중요한 일에는 "아마도"보다 강한 것을 원하므로, 전 세계적 멈춤은 논의가 이어지는 동안 계속됩니다.

2039년 — AI를 신뢰하기 시작하다

세계는 세 가지 방식으로 AI를 극적으로 강화할지, 어떻게 할지를 협상합니다.

첫째, AI는 사업·정치·심지어 군 일부까지 사회 전반에서 점점 하중을 지지만, 지금까지는 최종 권한자가 아니라 조언자였습니다. 인간 권위자가 그 판단을 거수기처럼 승인하는 경우가 많았지만, 조언을 무시하고 스위치를 내릴 선택지는 늘 있었습니다. 어떤 경우엔 그 선택지를 없애는 편이 정말 좋습니다. 이제 AI는 인간보다 신뢰할 만하고 덕망 있게 만들 수 있는데, 왜 그런 AI에게 맡기지 않는가? 다른 나라와 조약을 맺을 때, 자기 몫을 지키도록 선서한 AI를 정부에 통합해 문자 그대로 부정할 수 없게 만들라고 요구해야 하지 않는가?

둘째, 통제 기반 세이프티 케이스를 요구하는 것이 바로 AI 능력이 대체로 최고 인간 전문가 수준에서 멈춘 이유입니다. 그 요구가 없다면 AI는 훨씬 똑똑해질 수 있습니다. 인간 수준을 넘어 확장하려면 정렬 기반 세이프티 케이스 — AI가 마땅히 가져야 할 가치를 견고하게 내면화했다는 논증 — 에 기대야 하고, 그 너머의 각 단계는 이전 세대 AI에 의존해 다음 세대의 안전성 판단을 신뢰하는 방식이 됩니다.

셋째, 2032년부터 컴퓨트·로봇이 배출권 거래로 상한 관리되어 경제 성장은 연 약 100%로 유지돼 왔습니다. 시민 배당은 미국인에게 연 1,000만 달러(물가 조정)에 이르고, 가장 가난한 비미국인도 약 100만 달러를 받습니다. 로봇 경제의 무게중심이 우주로 옮겨 가 지구 환경과 역사적 공간을 보호하도록 설계되고, 상한이 풀리면 궤도 밖 공장들이 로봇과 채굴 장비를 찍어 내기 시작할 것입니다.

2040년 — AI에게 바통을 넘기다

여전히 풀 문제와 정할 쟁점이 많지만, 문명은 이제 무엇이 오든 감당할 만한 상태입니다. 최고의 AI들은 공개적으로 볼 수 있는 가치에 정렬돼 있고, 그 AI에 대한 권력은 2026년보다 훨씬 고르게 분산돼 있으며, 공적 인식(public epistemics)은 그 어느 때보다 낫습니다.

그래서 한 해에 걸쳐 규제당국은 진보를 막던 요건을 완화합니다. 점점 더 많은 제도와 장비가 AI에 넘어가, 더는 인간이 원한다고 모든 것을 멈출 수 없게 됩니다. 곧 세계의 여러 군대가 헌법과 조약을 지키도록 선서한 AI가 운영하는 자율 군대가 됩니다. AI 능력도 다시 전진합니다. 완전한 연구 투명성과 여러 세력이 협상한 가드레일 아래에서 신중하게 확장되는 것입니다. 곧 이해 불가능할 만큼 초지능적이지만 신뢰받는 AI가 등장합니다. 그것을 만든 AI를 신뢰하기 때문에, 그 AI를 만든 AI를 신뢰하기 때문에, 2040년의 AI까지 거슬러 올라가는 신뢰의 사슬 덕분입니다. 그 2040년의 AI를 신뢰하는 이유는 정렬 전문가들이 세이프티 케이스를 신중히 검토해 견고하다고 결론 내렸기 때문입니다.

인류가 통제를 내려놓는 단일 순간은 없습니다. 그러나 이론상 되돌아올 수 없는 지점(point of no return)은 있습니다. 어느 날, AI가 원한다면 세계를 장악할 만큼 충분히 똑똑하고 충분히 많은 인프라를 쥐게 되는 특정한 날입니다. 예측가 AI들은 그 순간을 10월 말의 어느 날로 잡지만, 95% 신뢰구간이 수개월 폭이라 정확한 시각은 거의 틀릴 것입니다. 사람들은 저마다의 방식으로 그 순간을 지냅니다. 밤을 기도로 보내는 이도, 화면 앞에서 상황을 지켜보는 이도 있습니다. 밀레니엄 전환기를 기억하는 이들은 친구들과 "세상의 끝 파티(End Of The World Party)"를 열어 샴페인으로 그 시각을 카운트다운합니다. 해가 뜰 때까지 아무 소식이 없자, 당신은 형언할 수 없는 미래를 꿈꾸며 뒤척이는 잠에 빠집니다.

스트레스 테스트: 배신, 결렬, 그리고 경쟁 계획들

Plan A의 힘은 좋을 때가 아니라 나쁠 때 무엇이 벌어지는지를 저자들이 스스로 그려 본 데 있습니다. 시나리오 정밀검증의 정신 그대로입니다.

비밀 프로젝트(covert project). 한 분기 시나리오에서 중국은 Plan A에 동의하면서도 몰래·공격적으로 배신합니다. 밀수로 들여온 추적 곤란한 칩을 비축하고, 메독 수력발전소 인접 터널에 단일 데이터센터를 지어 로봇 노동으로 인간 개입을 최소화한 채 비밀 훈련을 시작합니다. 그러나 완전한 연구 투명성은 역설적으로 비밀 프로젝트에도 불리합니다. 컨소시엄의 알고리즘 진보가 어차피 공개되므로 비밀 프로젝트가 그것을 훔쳐 쓸 수 있지만, 동시에 미국은 칩 회계의 이상 징후를 포착하고 추가 안전장치(군용 면제 컴퓨트 축소, 정보 수집 강화, 칩 바이백)로 대응합니다. 저자들의 예측은, 잡히지 않을 만큼 작은 시도는 유의미한 우위를 주기에도 너무 작다는 것입니다. 미국 정보당국은 비밀 프로젝트가 발각 없이 최고 전문가 지배(TED-AI) 수준에 도달할 확률이 2043년까지 10% 미만이라 추정하며, 따라서 애초에 시도할 가치가 없는 전략이 됩니다.

협약 결렬(deal dissolution). 또 다른 분기에서 협약은 정치 변화나 지속된 이견으로 깨집니다. 예컨대 대만을 둘러싼 미·중 전쟁이 방아쇠가 됩니다. 데이터센터가 세계에 대해 어두워지고 감시 장치가 뽑히면 최악이 가정됩니다. 그래서 데이터센터는 빠르게 파괴됩니다. 투명한 훈련 데이터센터의 칩들은 컨소시엄 각 강대국의 "계속(continue)" 신호를 주기적으로 받도록 설계돼 있어, Plan A가 무너지면 벽돌이 됩니다. 캐나다·몽골의 데이터센터는 상대 손에 넘어가느니 자폭되고, 클라우드에 "두뇌"를 둔 10억 대의 로봇은 스타워즈의 드로이드 군대처럼 축 늘어집니다. 초지능 경쟁이 재개되지만 상황은 달라져 있습니다. 세계에 컴퓨트가 훨씬 적어 진보가 느리고, 훨씬 발전된 AI가 있으며, 무엇보다 모두가 AI를 훨씬 잘 이해하게 되어 통제 상실 결말의 가능성이 낮아진 것입니다. 저자들의 핵심 주장은, 결렬은 끔찍하지만 협약 없이 벌어졌을 전쟁보다 크게 나쁘지 않도록, 그리고 통제 상실·권력 집중 면에서는 오히려 더 나은 상황이 되도록 설계했다는 점입니다.

가장 우려되는 실패 모드. 저자들이 가장 걱정하는 것은 배신이나 전쟁이 아니라, 기업·정부가 안전하지 않은 AI 설계·배치를 하나 너무 많이 승인하는 것입니다. 투명성에도 불구하고 AI 기업이 여전히 대화를 지배하고, 정부는 지나치게 순응적이며, 정렬 분야는 겨우 15년 된 데다 과거 경험 대부분이 훨씬 약한 AI와의 것이기 때문입니다. 정렬이 실패했는데 통제로 막을 수 있으리라 착각하거나, 잘 작동하는 듯 보이던 새 기법이 실은 그럴듯해 보였을 뿐이거나, 각 단계의 위험이 1%로 보였지만 편향 탓에 실제로는 10%였던 경우 등입니다. 저자들의 탁상 시뮬레이션에서 이 실패 모드는 여러 번 일어났습니다. 완전한 연구 투명성을 구현한 뒤에도 많은 참가자가 AI 기업에 속도를 늦추라고 말하기를 주저했기 때문입니다. 그럼에도 저자들은 이 조건이 Plan B·C·D보다는 훨씬 낫다고 봅니다.

경쟁 계획들. 저자들은 Plan A와 경쟁할 만한 다른 안들도 정직하게 나열합니다.

에필로그: ASI 이후

저자들은 2040년에서 이야기를 끝낼 수도 있었지만, 그러면 "그리고 정렬된 초지능 조언자의 도움으로 남은 문제를 다 풀고 모두 행복하게 살았습니다"라는 식의 성급한 승리 선언이 될까 우려해 계속 씁니다. 이 에필로그는 두 목적을 갖습니다. 하나는 긍정적 비전의 거친 초안을 그리는 것이고, 다른 하나는 바닥(floor) 을 제시하는 것입니다. 훗날 특이점의 승리한 관리자들이 이보다 못한 미래를 내놓는다면, 사람들이 자신이 강탈당했음을 알아채기를 바란다는 것입니다. 저자들은 이 부분이 평소 작업보다 훨씬 사변적이며 자신들도 문자 그대로의 제안을 확신하지 않는다고 분명히 밝힙니다.

에필로그의 중심은 우주 거버넌스(space governance) 입니다. AI들은 천체 영토를 민주적 투표로 처분하는 기본 해법을 거부합니다. 시뮬레이션해 보니 AI 지원 전략적 투표가 다수의 폭정으로 이어졌기 때문입니다. 최종적으로 이들이 정착한 단순하되 작동하는 안은, 모든 인간이 태양계 밖 우주 자원의 100억분의 1에 대한 권리를 갖는 것입니다. 태양계 밖 우주는 지구에서 멀어질수록 세제곱으로 커지는 구획으로 나뉘고, 각자는 자기 몫을 각 구획을 100억분의 1 확률로 얻는 복권 포트폴리오로 받습니다.

일부 철학자는 인류가 남은 철학적·윤리적 논쟁을 다 해결한 뒤 우주에 씨앗을 뿌리는 "긴 성찰(Long Reflection)"을 원했지만, AI들은 그것이 "긴 밈 전쟁(Long Memetic War)"이 되리라 반박합니다. 상금의 규모가 실감되는 순간 모든 분파가 자기 유토피아를 강제하려 정치권력 축적에 모든 자원을 쏟을 것이기 때문입니다. 해법은 지금 자원을 나누고 각자 원하는 성찰을 하게 하는 것입니다. AI들은 고문 금지·노예제 금지 같은 짧은 보편적 권리(Universal Rights) 목록 — 인간뿐 아니라 모든 지각 있는 존재에 대한 — 만 강제하고, 나머지는 각자가 자기 몫의 우주를 원하는 대로 다스리게 둡니다. 한 인간이 이해하는 만큼의 선(Good)을 사는 거대 은하 문명이 저마다 생겨나, 지구만으로는 결코 낳지 못했을 다양성으로 인류가 우주에 퍼집니다. 폰 노이만 탐사선(von Neumann probe)이 먼저 나아가 재산권과 보편적 권리를 집행할 산업 기반을 세우고, 사람들은 우주 재산을 팔거나, 냉동수면·업로드로 이주하거나, 지구에 남아 여가·경쟁·니치 직업으로 시간을 채웁니다.

맺음말

저자들의 진단은 냉정합니다. 세계는 운전대를 잡은 채 잠들어 있다는 것입니다. 사람들은 "AI가 세상을 바꿀 것"이라 말하면서도, 광범위하게 초인적인 AI의 함의를 구체적·진지하게 생각하지 않습니다. AI 기업·로비스트·싱크탱크는 위험을 가장자리에서 줄이는 점진적 제안을 자주 내놓지만, 큰 문제를 실제로 푸는 야심 찬 계획은 드뭅니다.

저자들이 보기에 점진적 제안만 따르면 AI 2027의 경쟁 결말 — 오정렬된 AI가 세계를 장악하는 결말 — 같은 곳으로 갑니다. 운이 좋아 정렬이 예상보다 쉽다 해도, 소수가 미래의 형태를 결정하고 원한다면 영구 과두정이 될 수 있는 감속 결말로 갑니다. 더 야심 찬 무언가가 필요합니다. 저자들의 처방은 정치인들이 AI 기업의 문을 두드려 "지금부터 초지능까지 기업과 정부가 어떻게 행동해야 하는가"에 대한 Plan A만큼 상세한 종합 계획을 요구하고, 그 계획들에 시나리오 정밀검증을 적용하라는 것입니다. 누가·언제·어떻게 초지능을 만드는가? 성공은 어떤 가정에 달려 있는가?

AI Futures Project는 자신들이 세상에서 보고 싶은 변화가 되려 한다고 말합니다. 상세한 계획은 모호한 계획보다 공격받을 표면이 넓다는 것을 알면서도, 아무도 어려운 선택을 하지 않아도 대체로 괜찮을 거라는 막연하고 유쾌한 환상이 아니라, AI 전환을 항해할 기존의 최선안과 견주어 자신들을 평가해 달라고 요청합니다. Plan A는 이들의 현재 최선의 추측일 뿐, 너무 늦기 전에 더 나은 계획이 나오기를 바란다는 것으로 시나리오는 닫힙니다.

RECAP — 핵심 정리

• Plan A는 초지능 개발을 2040년까지 늦추고, 거의 모든 AI 연구를 공개하며, 협약 결렬 시 컴퓨트를 파괴하는 MACD 체제로 통제 상실과 권력 집중을 동시에 막으려는 국제 협약입니다.
• 이 시나리오는 예측이 아니라 권고이며, "성공하는 상세 시나리오를 실제로 써 본다"는 시나리오 정밀검증의 산물입니다. 구현은 권고이되, 구현 이후의 효과는 예측입니다.
• 협약의 뼈대는 컴퓨트 선언 → 훈련 중단(추론 전용 검증) → 전 세계 동참(컨소시엄)이며, 이후 네 원칙(시간 벌기·완전한 연구 투명성·AI 광범위 확산·되돌릴 수 있음)이 이를 지탱합니다.
• 2030~2035년 인간 범위 내 확장, 2035년 최고 인간 전문가 수준에서 멈춤, 2040년 신뢰의 사슬을 거쳐 초지능으로 재확장 — 안전의 두 방어선은 통제(control)와 정렬(alignment)이고, 통제의 한계가 멈춤의 이유입니다.
• 저자들은 배신(비밀 프로젝트)·결렬(전쟁)·잘못된 세이프티 케이스 승인이라는 실패 모드를 스스로 그려 스트레스 테스트하고, Plan S·GPU 군축·CERN for AI 등 경쟁 계획과 정직하게 대비합니다.

이 글에서 다루지 못한 세부 주제

원문은 본문 외에 방대한 부록(Appendix A~AC)과 별도 보충자료(supplement)를 둡니다. 본 노트는 주 시나리오(도입·연도별 서사·에필로그)와 핵심 부록(대안 계획, 비밀 프로젝트 분기, 결렬 분기, 점진적 정책 목록)을 반영했으나, 다음 부록의 세부는 지면상 요지만 스치거나 생략했습니다. 원문 부록에서 확인할 수 있습니다.

• Appendix A — 점진적 AI 정책 목록(투명성·수출통제 집행·검증 R&D 투자·AI R&D 예산 제한·컴퓨트 추적·정부 AI 역량 강화)
• Appendix G·H — 투명성의 이점 다이어그램과 완전한 연구 투명성 아래 바뀌는 유인 구조
• Appendix K — 제3자 위험평가 생태계를 활용한 상세 규제 프로세스 예시
• Appendix M·R·X — 폭발적 경제성장의 메커니즘, 컴퓨트가 빠르게 늘어나는 이유, AI·로봇 경제의 배가 시간(doubling time)
• Appendix N — "5년 만에 겪는 5세기": 인간 수준에서 멈춰도 세계가 급변하는 감각(1520~2020 압축 비유)
• Appendix O·Q — AI 설득·조작의 제한(대칭적 설득 상한·중과세)과 AI를 위한 인식론("제정신의 분지" 도달)
• Appendix S — Plan A에서의 군사력(군사 R&D를 일반 과학 진보보다 뒤처지게 유지)
• Appendix U — 공해 위의 거대 부유식 데이터센터
• Appendix V·W·AA·AB — 오정렬 AI와의 거래(제3의 방어선), 정렬이 통제를 풀 만큼 풀리지 않은 이유, 시나리오 전반의 정렬 변천사(2026~2040+), AI에게 바통을 넘기기로 한 이유
• Appendix Y·Z — 거짓말 탐지기의 허용·금지·규제 문제, 안전 연구에 대한 유인 설계
• Appendix AC — 남은 문제들(우주 거버넌스, 디지털 마음의 윤리·정치, AI 기반 조작, 응용 인구윤리, 민주주의 보전, 알 수 없는 미지의 것들)