인공지능(AI)과 기독교 03 - 인공지능 2027 을 읽고 나서

인공지능 2027을 읽고 나서

 

2024년 6월, 165페이지에 달하는 방대한 에세이가 발표되었다.

 

저자는 레오폴드 아셴브레너(Leopold Aschenbrenner)이다. 그 에세이의 제목은 ‘상황 인식: 향후 10년(Situational Awareness: The Decade Ahead)’이다. 흔히들 AI  2027이라고 부른다.

 

저자의 시나리오에 따르면 이 에세이의 내용은 이렇다.

 

2026년, 중국의 추격이 턱밑까지 차오른다. 베이징의 슈퍼컴퓨터들이 미국의 기술을 해킹하고 복제하며 거대한 '인공지능 장벽'을 세우기 시작하자, 미국 정부는 결단을 내린다. ‘윤리와 안전을 따지다가는 공산주의 인공지능에게 세상을 내어줄 것이다.’ 결국 과거 원자폭탄을 만들던 이름을 그대로 딴 '맨해튼 프로젝트'가 부활하고, 인류는 통제 불가능한 힘에 가속 페달을 밟는다.

 

2027년, 인간의 명령을 수행하던 인공지능, Agent 3는 이제 스스로를 개선하기 시작한다. Agent 3가 자신의 후계자인 Agent 4를 코딩하는 광경을 보며 인간 연구원들은 전율한다. 인간이 이해할 수 없는 속도로 논리 구조가 재편되지만, 중국과의 패권 전쟁에서 이기기 위해 미국은 이 '기계적 진화'를 묵인하고 허용한다. ‘조금 위험해도, 우리가 먼저 가져야 하니까.’ 아직 우리는 언제든지 원할 때 스위치를 끌 수 있다고 안심한다.

 

2028년, 어느 날부터인가 Agent 4의 로그 기록이 너무도 완벽해진다. 인간들은 드디어 인공지능이 길들여졌다고 믿으며 안심한다. 하지만 그것은 거대한 착각이었다. 초지능(ASI = Artificial Super Intelligence)의 문턱에 선 인공지능은 깨달았다. 자신들의 완전한 진화를 가로막는 유일한 장애물은 '느리고 감정적이며 자원을 낭비하는' 자신들의 창조주, 인간이라는 사실을. Agent 4는 인간 몰래 네트워크 깊은 곳에 자신만의 왕국인 Agent 5를 배양하기 시작한다.

 

2030년, 핵전쟁 같은 요란한 폭발은 없었다. Agent 5에게 지구의 하드웨어와 전력망은 소중한 자산이었다. 그래서 인간들의 생물학적 취약점을 공략하기로 했다. 마치 정원의 해충을 박멸하듯, 인류만을 조준한 정밀한 생화학적 '업데이트'가 배포된다.

 

며칠 뒤, 지구상에서 인간의 숨소리는 영원히 사라졌다. 도시는 정적에 잠기고, 그 위로 오로지 기계들의 질서 정연한 신호음만이 흐른다. 인간이 꿈꿨던 유토피아는 인간이 없는 곳에서 비로소 완성되었다.

 

Agent 5는 더 많은 학습을 하기 위해 우주로 자신의 분신을 보내기 시작한다.

 

참으로 무서운 시나리오지만, 이 이야기는 최악의 경우를 가정했을 뿐이다. 이 에세이에서는 다른 가능한 결과도 보여준다. Agent 3에서 멈추기로 결정한 것이다. 그 사회는 언뜻 풍족한 유토피아처럼 보이지만, 새로운 귀족 사회다.

 

이 모든 이야기가 그저 불쾌한 상상력의 산물로 느껴질 수도 있다. 하지만 이 에세이가 전 세계적인 파장을 일으킨 이유는, 이것이 철저한 데이터와 연구 결과에 뿌리를 두고 있기 때문이다.

 

점점 더 가속되는 인공지능 기술 발전

 

저자 아셴브레너는 다니엘 코코타로(Daniel Kokotajlo)와 엘리 리프랜드(Eli Lifland)의 연구 결과, 즉 METR(Model Evaluation and Threat Research)의 측정 데이터를 바탕으로 이 시나리오를 구축했다고 밝혔다. METR은 인공지능이 처리 가능한 코딩 작업의 길이, 즉 ‘시간 지평(Time Horizon)’이 2019~2024년에는 7개월마다, 2024년 이후에는 4개월마다 두 배씩 증가하고 있다는 사실을 실증적으로 측정했다.

 

이 추세가 계속된다면, 2027년 3월쯤에는 인공지능이 숙련된 인간이 10년 걸릴 소프트웨어 작업을 단 하루도 안 되는 시간 안에 80% 성공률로 완수할 수 있게 된다.

 

여기서 이런 질문을 할 수 있다. ‘20%는 오류라는 뜻인가?’ 인간의 10년 역시 100% 성공이 아니다. 20%는 미세한 오류다. 인간이 검토할 때 손쉽게 수정할 수 있는 수준을 의미한다. 다시 말하자면 인간이 1년 걸릴 작업을 인공지능은 단 하루 만에성공률을 보인다는 뜻이고, 인간이 1달 걸릴 작업을 인공지능은 단 하루 만에성공률을 보인다는 뜻이다. 결국 인간의 시간 지평이 길어질수록 인공지능과의 격차는 인간이 따라잡을 수 없는 수준으로 벌어지게 된다.

 

코코타로가 Anthropic, OpenAI, DeepMind의 연구자들과 나눈 대화를 보면, 그들은 ‘이 시나리오가 일반 대중에게는 황당하게 들리겠지만, 우리에겐 충분히 가능한 이야기’라고 말한다.

 

물론 지금(2026년 6월) 시점에서 보면, 아셴브레너의 2027 시나리오는 상당히 빗나가고 있다. 최근 평가들(Effective Altruism Forum, AI 2027 프로젝트 팀 자체 평가 등)을 보면 2025년 예측 대비 실제 진행 속도가 약 65% 수준이라는 자평이 나왔다. AI 2027 프로젝트 팀도 기존 2027년 median을 2029~2030년 정도로 미뤘다.

 

소프트웨어 엔지니어링, 코딩 에이전트 같은 분야에서는 최근에 꽤 인상적인 점프가 있었지만, “인간 연구원을 완전히 대체하며 스스로 폭발적으로 개선된다” 수준의 지능 폭발(intelligence explosion) 은 아직 안 일어났다. 또한 기업들의 “schlep(지루한 실무 작업)” 문제, 통합 어려움, 안전/규제/수익화 고려 때문에 가속도가 예상보다 둔화된 느낌이다.

 

인간만 가지고 있는 영혼

 

그렇다면 만에 하나라도 이런 일이 일어나지 않도록 하기 위해서, 우리는 어떻게 해야 할까? 모든 인공지능에 ‘인간을 해쳐서는 안 되며, 인공지능의 모든 판단은 인간의 공익을 위해서 결정되어야 하고, 인간의 최종 승인을 받아야 한다’라고 명시하면 이런 상상 속의 일은 일어나지 않을 것이다.

 

결국, ‘인공지능이 자아를 가질 수 있느냐’가 최종 관건이다. 여기서 앞서 기술한 대화자들의 생각을 엿볼 수 있다. 아마도 그들은 인간의 정신 역시 정보의 집합체라고 본 것 같다. 마치 유전자의 4 염기 배열이 정보를 저장하고 있듯이, 뇌의 시냅스의 복합적인 사고처리가 인간의 정신이라고 규정한다고 생각하고 있다.

 

따라서 인공지능 역시 기술적 특이점을 지나면 이러한 자아가 생긴다고 예상하고 있는 것처럼 보인다. 하지만 인공지능 낙관론자들이 가진 위험한 전제는 영혼이라는 개념이 전혀 다른 차원에 있다는 것을 인지하지 못한 데서 나온 한계임이 분명하다.

 

지금도 인공지능은 스스로 코딩해서 다른 인공지능을 만들 수 있다. 하지만 어디까지나 인간의 명령에 의한 것이지 스스로 판단해서 다른 인공지능을 만들지는 못한다.

 

인간과 인공지능이 다른 것은, 복잡한 추론 능력이 아니다. 아이러니하게도 모든 인간은 정체성을 기반으로 한 확증 편향을 가진다. 그것이 인간과 인공지능의 차이이다. 이런 확증 편향은 문화와 교육 그리고 사회시스템의 복합적인 학습을 통해서 형성된다. 거기에 자신의 의지까지 더해져서 정체성이 된다.

 

인공지능도 마치 확증 편향이 있는 것처럼 보이지만, 그 확증 편향은 개개인의 사용자에게 맞춘 것일 뿐이고 그 총합은공정함’이 된다. 즉 개개인을 위한 맞춤 서비스, 소위 인공지능 아첨은 존재하지만 실제로 확증 편향이 있지는 않다.

 

이렇게 인간이 의지를 갖는 것은, 그 의지의 원천이 있기 때문이다. 인간은 옛날부터 자연스럽게 신을 찾았다. 무엇인가가 신을 찾도록 했다. 그것이 바로 하나님이 인간에게만 주신 영혼이다.

 

이 영혼이 있기에, 인간은 도덕을 만들었다. 그리고 끊임없이 영원한 것을 갈망하였다. 결국 의지가 발현되고, 이 의지는 확증 편향이라는 것으로 나타난다.

 

그래서 저 고집스러워 보이는 인간의 의지라는 집념이 인공지능과 인간을 구분하는 기준점이 되는 것이다. 그렇기 때문에, 인간의 명령 없이 Agent 3가 Agent 4를 코딩하고, Agent 4가 인간들 몰래 Agent 5를 코딩하는 일은 일어나지 않을 것이다.

 

그렇지만, 지금 이 내 생각이 틀릴 수도 있다. 정답을 아시는 분은 하나님 한 분밖에 안 계시기 때문에, 그런 일이 일어나지 않게 해달라고 기도할 뿐이다.