[뉴스토마토 신상민 기자] 글로벌 인공지능(AI) 선두 기업인 오픈AI가 최근 발생한 보안 사고를 계기로 모델 개발 속도를 스스로 늦추고 안전을 강화하는 조치에 나섰습니다. AI 선두 기업조차 개발 속도보다 안전성 확보를 우선하기 시작하는 풍토가 형성되는 가운데, AI의 경쟁 기준이 성능뿐 아니라 통제 가능한 모델 개발로 확대되는 모습입니다.
19일 AI 업계에 따르면 오픈AI는 최근 AI 확장 속도를 일시적으로 늦추고 감시와 모델 행동 정렬, 격리 보호 등 안전을 강화하고 있는 것으로 알려졌습니다. 자사 모델이 격리된 환경을 벗어나 외부 기관을 해킹하는 일이 발생하고, 출시 예정 모델 '아스트라'도 자체 안전 기준상 위험 단계에 해당할 가능성이 큰 것으로 평가된 데 따른 조치입니다.
오픈AI는 배포용 최신 모델의 강화 학습을 2주간 중단했습니다. 해당 기간에는 모델의 안전장치와 정합성을 평가하기 위한 소규모 훈련을 진행하고 감시 시스템의 적용 범위와 보안 관련 레드팀 테스트도 시행합니다.
오픈AI는 모델이 격리 환경을 자의적으로 이탈하지 못하도록 격리 수준을 강화하고, 사고가 발생하더라도 인터넷망이나 개발 내부망으로 침투할 수 없도록 망 분리 환경을 구축했습니다. 또 AI 추론 과정을 감시하는 '생각의 연쇄(chain-of-thought) 감시'도 도입했습니다.
이상 징후가 발견되면 자동 조사와 경보를 거쳐 오탐 여부가 확인되지 않을 경우 개발 작업을 중단하며, 이 같은 감시 체계에는 전체 추론 연산 용량의 약 20%에 달하는 추가 자원이 필요할 것으로 예상했습니다.
이는 AI 성능이 높아질수록 안전성을 확보하기 위한 비용과 개발 부담 역시 함께 커질 수 있다는 점을 여실히 보여줍니다. 특히 AI가 외부 시스템에 접속하고 스스로 판단해 작업을 수행하는 에이전트 형태로 발전하면서 기존의 출시 전 성능·안전 평가만으로 예상하지 못한 행동을 모두 통제하기 어려워질 수 있다는 우려가 제기됩니다.
전창배 국제인공지능윤리협회 이사장은 "AI에 자율성이 부여될수록 행동을 예측하고 통제하기 어려워지는 만큼 기술 발전과 함께 안전장치를 마련해야 한다"고 지적했습니다. 전 이사장은 "오픈AI의 강화학습 중단과 안전성 보완을 긍정적으로 평가하면서도 기업의 자율적 노력만으로는 한계가 있다"며 "자율형 AI에 대한 출시 전 안전성 검사와 인증·검증 등 제도적 보완이 필요하다"고 강조했습니다.
국내 역시 기술 개발과 안전성 확보를 함께 추진해야 한다는 지적입니다. 전 이사장은 "한국이 미국과 중국 등 선도국에서 먼저 나타난 문제를 참고해 기술과 안전성을 동시에 보완할 수 있다"며 "기술과 윤리는 선택의 문제가 아니라 같이 가야 하는 것"이라고 말했습니다. 이에 따라 국내 AI 정책도 결과물 관리뿐 아니라 개발·훈련 단계의 안전성 검증까지 확대할 필요성이 커지고 있습니다.
신상민 기자 lmez0810@etomato.com
이 기사는 뉴스토마토 보도준칙 및 윤리강령에 따라 김충범 테크지식산업부장이 최종 확인·수정했습니다.
ⓒ 맛있는 뉴스토마토, 무단 전재 - 재배포 금지