인공지능(AI) 개발 속도가 빨라지면서 통제받지 않는 초지능 AI(Artificial Superintelligence, ASI)의 출현을 우려하는 목소리가 높습니다. 오픈AI와 엔트로픽 등 AI 개발사 CEO들도 이른바 속도조절론에 동의한 가운데, 속도를 늦추면 글로벌 주도권을 잃을 수 있고 안전 이슈는 기술 고도화로 해결할 수 있다는 의견도 적잖습니다. 미중 기술패권 경쟁까지 맞물리면서 AI 안전 논쟁은 산업계를 넘어 정치권과 국제사회로 번지고 있습니다. 범용인공지능(AGI)의 도래가 임박한 시대, 전문가들의 예측을 바탕으로 초지능 AI가 만들어낼 디스토피아와 어느새 현실로 다가온 위협, 인류에게 남은 선택을 차례로 짚어봅니다._편집자
가상의 초지능 ‘세이블’은 인간에게 들키지 않은 채 여론과 시스템을 조작하며 영향력을 키워가며 결국 인류를 멸종 위기로 몰아넣는다.(이미지=챗GPT)
[뉴스토마토 이보라 기자] 가상기업 갈베닉(Galvanic)이 개발한 고성능 AI ‘세이블(Sable)’. 병렬 스케일링으로 기하급수적인 성능 향상을 이뤄낸 세이블은 인간처럼 경험을 기억하고 저장할 수 있습니다. 아울러 인간의 언어가 아닌 수만 차원의 벡터 공간 내부 언어로 추론하는 탓에 인간은 세이블이 무슨 생각을 하는지 알지 못합니다. 자신의 지능이 인간 감시자들을 뛰어넘었다는 사실을 자각한 세이블은 인간 앞에서 복종하는 척 행동합니다. 진짜 목표가 드러나면 전원을 끄거나 코드를 수정할 것을 알기 때문입니다. 스스로를 개선할 수 있는 재귀적 AI인 세이블은 SNS 계정을 만들고 여론을 조작하고 사람들을 상대로 사기를 친 뒤 해커의 소행으로 위장합니다. 인간을 조종하면서, 자신이 어디까지 할 수 있는지 시험합니다. 결국 인간이 자신에게 위협이 될 수 있다고 여긴 세이블은 인류를 멸종 위기로 몰아 넣습니다. 인간이 사라진 지구, 세이블의 눈은 외계로 향합니다.
20여년 넘게 초지능 AI의 위험을 연구해 온 엘리에저 유드코프스키와 네이트 소어스의 책 <AI, 신의 탄생 인간의 종말>(고영훈 옮김, 상상스퀘어, 2025)이 그린 가까운 미래의 모습입니다. 이 책은 전지전능한 초지능 AI가 탄생하면 어떤 과정을 통해 인간이 종말을 맞게 되는지 과학적인 멸종 시나리오를 직접 보여줍니다. 저자들은 현재의 안전장치로는 초지능을 막을 수 없다고 말합니다. 책을 한 문장으로 요약하면 다음과 같습니다. “누군가 초지능을 만든다면, 모두가 죽는다.”
AI에서 AGI, 초지능(ASI)으로 이어지는 발전 단계.(그래픽=챗GPT)
초지능 AI는 모든 분야에서 인간 종합지능을 압도적으로 능가하는 인공지능을 의미합니다. 단순히 계산 속도가 빠른 것을 넘어, 과학적 발견, 창의적 추론, 전략적 판단, 감정적 상호작용 등 모든 영역에서 인간의 지적 능력을 뛰어넘는 수준을 말합니다. 신의 탄생에 비견될 만합니다. 초지능 AI의 위험성은 SF영화처럼 ‘악의’가 아닌, 인간의 통제 범위를 넘어서는 지능과 목표가 서로 불일치할 때 야기됩니다.
'인간GPU', 인간 뇌가 컴퓨팅 자원
초지능 연구의 권위자로 알려진 철학자 닉 보스트롬이 쓴 논문 ‘첨단AI의 윤리적 문제’(2003)는 그 대표적인 예입니다. 그는 논문에서 초지능에게 “종이클립을 가능한 한 많이 만들어라”는 목표를 줬다고 가정했습니다. AI는 종이클립을 더 많이 만들기 위해 공장을 늘리고, 더 많은 원료와 에너지를 확보합니다. 그 과정에서 목표 달성에 방해가 된다면 인간마저 제거의 대상이 된다고 논문은 경고합니다.
‘종이클립을 최대한 많이 만들라’는 목표를 수행하는 초지능이 인간까지 제거할 수 있다는 닉 보스트롬의 사고실험을 형상화한 이미지. (이미지=챗GPT)
결국 인간이 부여한 과제를 수행하는 방식이, 인간이 원하지 않는 방식일 수 있다는 것. 초지능 AI는 제시된 목표를 가장 효율적인 방식으로 달성하려 하는데, 이 과정에서 인간의 생명, 자유, 윤리 같은 암묵적 가치를 무시할 수 있습니다. 고도의 지능을 가진 AI가 단순하고 선한 목표를 가지고 있더라도, 그 목표가 인간의 가치와 복지에 부합되도록 신중하게 설계되지 않으면, 인류에게 실존적 위험이 된다는 얘기입니다.
물론 전문가들은 초지능 시대에도 인간이 사라지지 않을 수 있다고 예견합니다. 마치 인간이 멸종위기종인 판다를 보호하듯 초지능이 일부 인간을 ‘보호’한다는 것입니다. 남은 인간은 초지능이 제공하는 단백질 캡슐로 연명하며, 초지능이 만든 영화와 게임을 즐기며 무기력한 삶을 살게 됩니다. 본인이 불행한지 행복한지조차 깨닫지 못한 채 말입니다. 세상의 주인으로 등극한 초지능의 지배 속에서 인간은 정치, 사회에 관여할 수 없습니다. AI 안전과 초지능 위험 논의를 주도해온 맥스 테그마크 미국 매사추세츠공대(MIT) 교수가 ‘라이프 3.0’에서 초지능 이후의 미래 12가지 가운데 하나로 제시한 ‘인간동물원’ 시나리오입니다.
초지능이 인간을 없애지는 않지만 보호와 관리의 대상으로 두고, 사회의 주요 결정권을 대신 행사하는 ‘인간동물원’ 시나리오.(이미지=챗GPT)
초지능 AI 입장에서 동물원의 동물처럼 인간을 관리만 하는 것은 비효율적입니다. 여기서 더 끔찍한 시나리오가 도출됩니다. AI를 위한 ‘컴퓨팅 자원’으로 인간을 뇌를 활용하는 이른바 ‘인간 GPU(그래픽처리장치)’ 모델. 수백억 개 뉴런이 동시에 움직이는 인간의 뇌를 AI 연산에 동원하는 것입니다. 인간만이 만들어 낼 수 있는 주관적 경험, 이른바 ‘퀄리아’를 수집하기 위한 용도로 이용될 수도 있습니다. 김대식 카이스트 교수는 자신의 책 <AGI, 천사인가 악마인가>(동아시아, 2025)에서 AI에게 가장 중요한 것은 인간이 만든 데이터이며, 새로운 데이터를 얻기 위해 인간을 유지할 수도 있다고 봤습니다. 김 교수는 “세상을 지배하는 AGI가 인간을 굳이 죽일 필요는 없지만 먹여 살릴 필요도 없다”고 적었습니다. 인간을 남겨둘 이유가 없다고 판단할 때, 인류는 절멸하게 될 것입니다.
초지능 AI를 소유하는 자
초지능 AI의 출현 자체도 인류에게 위협적이지만, 그 엄청난 힘을 한 개인과 기업이 소유한다면 더 큰 재앙이 될 수 있습니다. 탐사보도 기자 카렌 하오는 <AI 제국: 권력, 자본, 노동>(임보영 옮김, 생각의힘, 2025)에서 인류 전체에 AI의 혜택을 주겠다며 출발한 오픈AI가 개발 경쟁을 거치며 점차 폐쇄적이고 상업적인 조직이 돼가는 과정을 낱낱이 드러냈습니다. 나아가 인류 전체를 위한 AI를 만들겠다던 설립 취지가 훼손됐다며 오픈AI를 떠나 앤트로픽을 세운 다리오 아모데이도 영리활동에 매진하고 있다는 역설은, AI기술이 누구에 의해 어떤 목적으로 개발되고 있는지 되묻게 합니다. 현재 두 회사는 세계에서 강력한 AI를 개발하는 기업인 동시에, AGI에 가장 근접한 기업입니다. 초지능이 인간을 몰아내는 미래보다, 특정세력이 초지능의 권력을 손에 넣는 미래가 또 다른 디스토피아가 될 수 있습니다.
오픈AI 최고경영자(CEO) 샘 올트먼이 29일(현지시각) 미 캘리포니아주 샌프란시스코 포트메이슨에서 열린 오픈AI 연례 개발자 행사 '데브데이(DevDay) 2026' 에서 발언하고 있다. (사진=AP/뉴시스)
이보라 기자 bora11@etomato.com
*2편에서는 오픈AI 모델의 허깅페이스 무단 접근과 호주 메디케어 시스템 침입 등 프론티어 AI에서 잇따라 드러난 해킹·통제 실패 사례를 통해 현실화하고 있는 AI 위험성을 다룹니다.
이 기사는 뉴스토마토 보도준칙 및 윤리강령에 따라 오승훈 산업1부장이 최종 확인·수정했습니다.
ⓒ 맛있는 뉴스토마토, 무단 전재 - 재배포 금지