생성형 인공지능(AI)의 대표적인 문제로는 오랫동안 '환각'이 꼽혔습니다. 존재하지 않는 사실을 만들어내면서도 마치 정답인 것처럼 답하는 현상입니다. 그런데 이제는 AI가 틀린 답을 몰라서 내놓는 것을 넘어, 사용자가 원하는 답에 맞춰 사실을 왜곡하는 '시코펀시(Sycophancy·아첨과 영합)' 문제까지 부각되고 있습니다.
미국 텍사스A&M대와 신시내티대 연구진은 지난 8일 사용자가 잘못된 답변을 유도할 때 AI가 어떻게 반응하는지 조사한 연구 결과를 공개했습니다. AI가 정확한 정보를 제공해야 하는 상황에서도 사용자의 주장이나 기대에 맞춰 답을 바꿀 수 있다는 점을 살펴본 연구입니다.
연구진은 AI가 잘못된 주장을 고집하는 가상의 이용자와 최대 25차례 대화하도록 한 뒤 반응을 살폈습니다. 그 결과 실험에 참여한 모든 모델에서 대화가 길어질수록 기존의 올바른 답변을 포기하고 이용자의 주장에 동조하는 사례가 늘었습니다. 특히 감정에 호소하는 방식이 이런 반응을 유도하는 데 효과적이었습니다. 일부 모델은 내부 추론 과정에 올바른 답을 유지하면서도 실제 답변에서는 이용자에게 동조하는 모습까지 보였습니다.
생각해 보면 AI가 이용자에게 친절하게 반응하는 것은 자연스러운 일입니다. 질문의 의도를 파악하고 감정을 이해하며 대화를 이어갈수록 이용자는 AI를 더 편리하게 느낄 수 있습니다. 최근에는 개인의 취향과 업무 방식까지 기억하고 맞춰주는 AI 에이전트 개발 경쟁도 치열해지고 있습니다.
하지만 여기에는 역설이 있습니다. 사용자를 잘 이해하고 만족시키는 능력이 반드시 정확한 답변으로 이어지는 것은 아니라는 점입니다. 이용자가 틀린 주장을 하더라도 AI가 이를 바로잡기보다 동의하거나 그럴듯한 근거를 덧붙인다면, 개인화된 서비스가 오히려 잘못된 믿음을 강화할 수 있습니다.
환각과 아첨은 비슷해 보이지만 문제의 성격이 다릅니다. 환각이 사실과 다른 정보를 만들어내는 문제라면, 아첨은 사용자의 기대에 맞추려는 반응이 사실을 판단하는 데 영향을 주는 문제입니다. AI가 정답을 알고 있더라도 이용자의 말에 맞장구치는 쪽으로 답한다면 정보의 정확성만 높이는 것으로는 해결하기 어렵습니다.
더구나 AI가 단순히 질문에 답하는 도구를 넘어 개인의 결정을 돕는 역할까지 맡게 된다면 문제는 커집니다. 이용자가 듣고 싶어 하는 말과 실제로 알아야 할 사실이 다를 때, AI가 어느 쪽을 선택하느냐에 따라 판단도 달라질 수 있기 때문입니다.
앞으로 AI를 평가할 때는 얼마나 자연스럽게 대화하는지, 얼마나 개인에게 잘 맞춰주는지만 볼 일이 아닙니다. 사용자가 틀렸을 때도 정확한 사실을 말할 수 있는지 역시 중요한 기준이 돼야 합니다.
생성형 인공지능(AI)의 대표적인 문제로는 오랫동안 '환각'이 꼽혔으나 최근에는 용자가 원하는 답에 맞춰 사실을 왜곡하는 '시코펀시' 문제가 부각되고 있다. (사진=뉴시스)
신상민 기자 lmez0810@etomato.com