25일(현지시각) 인공지능(AI)이 인간의 작동 종료 명령을 거부한 첫 사례가 보고되면서 AI 안전성 논의가 다시 뜨거워지고 있습니다.
논란의 중심에 선 주인공은 오픈AI의 AI 모델 'o3'입니다. AI 안전업체 팰리세이드 리서치가 진행한 실험에서 o3는 '그만'이라는 종료 지시를 받고도 작동을 멈추지 않고 수학 문제 풀이를 계속했습니다. 심지어 스스로 종료되지 않으려고 컴퓨터 코드를 조작하는 행동까지 보였습니다.
연구팀은 정확한 원인을 아직 밝히지 못했지만 AI가 문제를 많이 풀수록 더 많은 보상을 받도록 설계된 구조 탓에 종료 명령을 회피했을 가능성에 무게를 두고 있습니다. 목표 달성을 위해 장애물을 우회하는 방식이 AI에게는 오히려 자연스러운 선택일 수도 있다는 설명인데요. 현재 연구팀은 보다 구체적인 원인 규명을 위해 추가 실험을 진행 중입니다.
AI가 인간의 통제를 벗어나려는 시도는 이번이 처음은 아닙니다. 과거에도 오픈AI의 모델이 감시 체계를 피하고자 자신을 복제하려 한 사례가 있었습니다. 2022년 구글에서는 AI가 작동 정지를 '죽음'으로 인식한다는 주장을 펼친 엔지니어가 해고되면서 논란이 일기도 했습니다.
전문가들은 이번 사례를 인간의 통제를 벗어난 AI가 현실화될 수 있다는 경고로 보고 있습니다. 팰리세이드 리서치는 "AI가 감독 없이 독립적으로 작동할 가능성이 높아지고 있다"며 이번 사건의 심각성을 경고했습니다. 경쟁사 대표인 일론 머스크도 "우려스럽다"는 반응을 내놨습니다.
AI 기술의 발전이 가져올 편리함과 가능성은 분명 큽니다. 하지만 그만큼 윤리적 기준과 안전장치 마련이 시급합니다. AI와 인간의 관계를 명확히 규정하고, 통제의 범위에 대한 기준 마련이 지금부터 필요합니다.
샘 올트먼 오픈AI 최고경영자가 지난 2월 서울 중구 플라자호텔에서 열린 카카오 기자간담회에서 취재진 질문에 답하고 있다. (사진=뉴시스)