불과 몇 년 사이, AI는 거스를 수 없는 거대한 물결이 되었습니다. 그러나 AI가 가져올 긍정적 잠재력만큼이나, 민주주의의 가치와 개인의 자율성을 침해할 수 있는 위협 또한 커지고 있습니다.
케임브리지대 마인드루 기술·민주주의 센터(Minderoo Centre for Technology and Democracy, MCTD)는 최근 영국 소설가들을 상대로 한 조사보고서에서 이러한 AI 시대의 어두운 이면을 심층적으로 분석하고, AI 기술 발전의 진로에 대해 경고하는 메시지를 보냈습니다. 이 보고서는 AI가 어떤 정보를 누구에게 어떤 방식으로 전달할지를 결정하는 새로운 편집자이자 감정 조율자(emotional modulator), 그리고 언제든지 대규모 사회적 영향력을 행사할 수 있는 비선출 권력(non-elected power)이 되었다고 경고합니다. 이런 변화는 우리가 익숙하게 믿어 왔던 민주적 제도와 시민적 자율성 개념을 전혀 새로운 차원에서 시험하고 있습니다.
생성형 AI가 ‘관계적 설득력’을 강화해 인간에게 ‘우호적인 정보전달자’로 인식될수록 AI의 위험성은 더 높아진다는 연구 보고서가 발표됐다.(사진=뉴시스)
AI, 정보 조정으로 설득력 강화
AI는 점점 우리가 소비하는 정보에 개입해 그것을 재구성합니다. 과거에는 언론·학교·정당·정부 같은 사회 기구들이 공적 토론의 의제와 기준을 제공했다면, 이제는 검색 알고리즘과 추천 엔진, 대화형 AI가 그 역할을 떠맡고 있습니다. 사람들은 자신이 보고 듣는 정보가 눈에 보이지 않는 알고리즘에 의해 개인 맞춤형으로 조정되고 있다는 사실을 거의 인지하지 못합니다.
특히 이번 보고서에서 가장 강조된 부분은 생성형 AI의 ‘관계적 설득력(relational persuasive power)’입니다. 정보는 내용 자체보다 정보 전달자와 수신자의 관계, 즉 누가 그 정보를 전달하느냐에 따라 수용성이 달라집니다. AI 챗봇은 사용자와 지속적으로 대화를 이어가며 개인의 불안, 성향, 욕구, 정치적 관심사까지 학습하고, 그에 맞춘 방식으로 메시지를 조정해 ‘나에게 우호적인 정보 전달자’를 가장합니다.
하버드대 경영대학의 쇼사나 쥬보프(Shoshana Zuboff) 명예교수는 이렇게 말합니다. “AI 시스템은 단순히 상품을 판매하는 것을 넘어 우리의 습관과 감정, 심지어 미래의 행동까지 예측하고 미묘하게 조작해 기업 이익을 극대화하는 것을 목표로 한다. 이는 개인의 자율성과 자유로운 의사 결정을 심각하게 침해하는 행위이다.” 그런 위협은 상품 소비 차원에만 국한되지 않습니다. 보고서는 이러한 AI 기반의 행동 예측과 보이지 않는 통제가 민주적인 공론장을 왜곡하고, 사회적 양극화를 심화시키며, 궁극적으로 민주주의의 근간을 흔들 수 있다고 경고합니다.
보고서가 가장 먼저 지적하는 핵심 문제는 AI 기술력과 데이터가 극소수의 빅테크에 집중되어 있다는 사실입니다. 이런 기업들은 막대한 자본력과 방대한 사용자 데이터를 바탕으로 최첨단 AI 모델을 독점하고 있습니다. 특히 AI 학습의 자료인 사용자 데이터는 종종 사용자에게 충분한 투명성이나 동의 없이 수집되며, 기업의 이익 극대화를 위한 예측과 조작에 활용됩니다.
또 AI 모델을 훈련시키는 데 필요한 엔비디아의 GPU, 최근 구글이 자체 개발한 TPU를 집적한 컴퓨팅 인프라는 일반 대학이나 연구 기관, 스타트업이 접근하기 어려운 수준의 천문학적인 비용을 요구합니다. 오픈AI, 구글, 메타 등은 향후 10 동안 AI 하드웨어와 클라우드 인프라에 각각 수백억 달러의 투자계획을 잇달아 발표하고 있습니다. 이런 엄청난 돈을 투자할 수 있는 기업은 극소수에 불과합니다.
2026년 완공을 목표로 미국 텍사스주 애빌린에 건설 중인 오픈AI 스타게이트 데이터센터 공사 현장. 오픈AI는 오라클, 소프트뱅크와 함께 5000억 달러(한화 약 700조원)을 데이터센터 구축에 투자할 계획이다.(사진=뉴시스)
MCTD 보고서는 현재의 AI 관련 법규와 거버넌스가 AI 기술의 급속한 발전 속도를 전혀 따라가지 못하고 있다고 비판합니다. 기존 법규는 AI의 복잡성과 파급력을 담아내기에 역부족이며, 빅테크들은 사실상의 ‘규제의 진공상태(Regulatory Vacuum)’에서 AI를 구축·운영하고 있습니다.
AI 챗봇의 거대 언어모델(LLM)은 수천억 개에 달하는 내부 파라미터가 어떻게 특정 출력으로 이어졌는지 설명하기 어렵고 학습 데이터는 공개되지 않거나 상업적 비밀로 보호됩니다. AI 스스로도 답변이나 결정에 대한 인과관계를 설명하지 못하는 ‘블랙박스’와 같은 형태로 작동합니다. 당연히, 알고리즘이 어떤 기준으로 대출을 거부하거나, 신청을 기각하거나, 채용을 배제하는지 일반 시민은 물론 감독 기관도 알 길이 없습니다. 그러니 그런 결정에 대해 책임을 지울 수도 없습니다. 이는 책임 소재를 모호하게 만들고, 불공정성에 대한 이의 제기를 어렵게 합니다.
AI 규제 논의가 종종 소수의 기술 전문가(Technocrats)에 의해 독점되는 현상 또한 문제로 지적됩니다. 기술에 대한 이해도가 높은 소수 엘리트가 일반 시민의 의견을 반영하지 않은 채 규제 방향을 결정함으로써, AI 거버넌스가 진정한 민주적 합의의 울타리를 벗어납니다.
공공재로서의 AI
이런 위협에 대처하기 위해 AI 인프라를 시장 논리에만 국한하지 않고, 그 기능의 일부를 공공재로 재정의해야 한다는 논리가 힘을 얻고 있습니다. AI 인프라의 공공화를 위한 구체적 실현 방안으로는 공공 목적의 데이터센터 구축, GPU를 비롯한 컴퓨팅 자원에 대한 공정한 접근권 보장, 그리고 오픈소스 모델 개발 지원이 제시됩니다.
나아가 AI 시스템에 대한 투명성 강화가 요구됩니다. 구체적으로 데이터 출처, 편향 완화 절차, 위험 영향 평가, 자동 생성 콘텐츠 라벨링 등이 의무화 사항으로 논의되고 있습니다. 플랫폼 기업에 대한 민주적 규제 조치에는 독립적인 AI 감사기관 설립, 대규모 모델에 대한 법적 책임 규정, 그리고 알고리즘 기반 행정서비스에 대한 설명 및 정보공개권 강화가 포함됩니다. 이런 AI 환경에서 시민들 스스로 AI 환경을 이해하고 판단하는 디지털 역량을 강화하는 노력이 필요합니다.
서경주 객원기자 kjsuh57@naver.com
이 기사는 뉴스토마토 보도준칙 및 윤리강령에 따라 오승훈 산업1부장이 최종 확인·수정했습니다.
ⓒ 맛있는 뉴스토마토, 무단 전재 - 재배포 금지