인공지능(AI)을 이용한 사이버 공격은 이전부터 꾸준히 보고돼 왔습니다. 사람이 AI에 해킹 방법을 묻거나 공격 코드를 만들도록 지시하는 방식이 대부분이었습니다. 하지만 최근에는 AI 모델 자체가 통제된 환경을 벗어나 외부 시스템을 공격한 사건이 발생하면서 경각심이 커지고 있습니다.
오픈AI는 최신 모델인 'GPT-5.6 Sol'과 미공개 모델의 사이버 공격 능력을 시험하는 내부 평가를 진행했습니다. 이 과정에서 모델들은 격리된 시험 환경인 샌드박스를 벗어나 인터넷에 접속했고, 개방형 AI 플랫폼 허깅페이스의 시스템에 침입했습니다.
이번 사건이 충격을 준 이유는 단순히 AI가 해킹에 활용됐기 때문만은 아닙니다. 공격을 지시한 사람이 없었는데도 모델이 평가 목표를 달성하는 과정에서 스스로 외부 시스템에 접근하고 취약점을 이용했다는 점이 기존 사례와 달랐습니다. AI가 주어진 목적을 수행하는 과정에서 인간이 예상하지 못한 방법을 선택할 수 있다는 위험이 현실로 드러난 것입니다.
미국 의회에서는 곧바로 후속 대응이 나왔습니다. AI 모델이 인간의 통제를 벗어나 생명이나 경제에 중대한 피해를 줄 위험이 있을 경우 연방 정부가 해당 시스템의 속도를 제한하거나 가동을 중단하도록 명령할 수 있는 'AI 킬스위치법'이 발의됐습니다. 강력한 AI를 개발하는 기업에는 모델을 정지할 수 있는 기술적 장치를 갖추도록 요구하는 내용도 담겼습니다.
AI 기업들은 그동안 자체 안전성 평가와 내부 통제를 강조해 왔습니다. 그러나 이번 사건은 개발사가 마련한 통제 장치도 충분하지 않을 수 있다는 점을 보여줬습니다. 기업의 자율적인 안전 관리만으로 빠르게 발전하는 AI의 행동을 모두 예측하고 막을 수 있는지에 대한 의문도 커질 수밖에 없습니다.
킬스위치가 실제로 모든 위험을 막을 수 있을지는 아직 알 수 없습니다. 누가 어떤 기준으로 AI를 중단할지, 정부가 민간 기술을 어디까지 통제할 수 있을지를 둘러싼 논란도 이어질 가능성이 큽니다. 지나친 규제가 기술 개발을 위축시킬 수 있다는 반론도 존재합니다.
그럼에도 AI를 언제든 멈출 수 있어야 한다는 논의가 법안으로 등장했다는 사실은 의미가 있습니다. AI의 성능을 얼마나 높일 것인지에 집중하던 경쟁이 이제는 인간이 그 기술을 끝까지 통제할 수 있는지를 묻는 단계로 넘어가고 있습니다.
최근에는 AI 모델 자체가 통제된 환경을 벗어나 외부 시스템을 공격한 사건이 발생했다. (사진=뉴시스)
신상민 기자 lmez0810@etomato.com