AI 탐지기 신뢰도 실험: 같은 문장에 따라 다른 결과 나오는 이유

AI 탐지기가 텍스트를 분석해 ‘사람이 쓴 글’인지 ‘AI가 쓴 글’인지를 추정하는 기술로 소개된 이후, 교육기관과 저널 업계는 해당 기술을 점점 더 많이 채택하고 있다. 하지만 실제 사용 과정에서는 한 가지 놀라운 현상이 발견된다. 동일한 문장을 AI 탐지기에 여러 번 입력해도 결과가 바뀌는 일이 빈번하게 발생한다는 점이다. 예를 들어 GPT-4로 생성한 동일한 글을 GPTZero에 여러 차례 입력했을 때, 처음에는 92% AI 탐지 확률이 표시되었지만, 두 번째 시도에서는 78%, 세 번째 시도에서는 85%로 오락가락하는 결과가 나왔다. 단어 하나 바꾸지 않았는데 결과가 달라진 것이다. Turnitin 역시 유사한 양상을 보인다. 문장 순서만 살짝 조정하거나 부사 하나만 바꿔도 AI 탐지 확률이 극단적으로 달라지는 사례가 보고되었다. 심지어 일부 탐지기는 웹 서버의 부하나 업데이트 타이밍에 따라 결과가 달라질 수 있다는 점을 명시하기도 한다.

이러한 현상은 AI 탐지기의 신뢰도에 본질적인 의문을 제기하게 만들며, 특히 글의 평가와 징계에 이 도구가 활용되는 상황에서는 더욱 심각한 문제로 확대된다. 즉, AI 탐지기는 ‘재현성’이 떨어지고 ‘일관성’ 없는 결과를 제공할 수 있다는 점에서 단독 판단 기준으로 쓰이기에 부적절하다는 우려가 제기된다.

AI 탐지기의 알고리즘 구조와 결과 편차의 실제 원인

AI 탐지기의 결과가 달라지는 이유는 단순히 시스템 오류가 아니라, 그 알고리즘 자체의 구조적 한계에서 비롯된다. GPTZero를 예로 들면, 이 탐지기는 문장의 퍼플렉서티(perplexity)와 버스트니스(burstiness)를 측정해 AI 여부를 판단하는데, 퍼플렉서티는 문장이 얼마나 예측 가능한지를 수치화한 것이며, 버스트니스는 문장 간 패턴의 불규칙성을 나타내는 지표다. 하지만 이 계산은 글의 문맥, 단어 배열, 문장 부호의 위치에 따라 민감하게 반응하기 때문에, 마침표 하나, 쉼표 하나가 달라졌을 때도 계산 결과가 달라질 수 있다. Turnitin 역시 마찬가지다. 이 시스템은 AI 학습 데이터와의 유사성, 문장의 구조적 정형성, 문체의 자연스러움 등을 종합적으로 판단하지만, 그 평가 기준은 외부에 공개되어 있지 않고, 내부적으로 학습 알고리즘이 주기적으로 업데이트되기 때문에, 같은 문장을 입력해도 이전과 다른 결과를 낼 가능성이 충분히 있다. 또 다른 원인으로는 ‘점수 보정 알고리즘’이 있다. 일부 탐지기는 시스템 상 반복된 입력 시 점수를 미세하게 조정하도록 설계되어 있는데, 이는 도구를 테스트하는 사용자들이 동일한 결과를 기대할 때 오히려 혼란을 초래하게 만든다. 결국 AI 탐지기는 기본적으로 ‘확률적 도구’라는 사실을 인식해야 하며, 점수가 다르게 나오는 것은 단순한 오류가 아니라 기술의 본질에 가까운 문제다.

AI 탐지기의 결과가 평가에 미치는 영향과 교육 현장의 혼란

AI 탐지기의 결과가 일관되지 않을 경우, 이를 실제 교육 환경에 그대로 적용했을 때 어떤 문제가 발생할까? 가장 큰 문제는 학생의 정당한 결과물이 오해받을 가능성이 높아진다는 점이다. 예를 들어, 어떤 학생이 스스로 작성한 글이 처음에는 GPTZero에서 87% AI 판정이 나왔고, 재입력했을 때 72%로 떨어졌다면, 어느 결과를 기준으로 평가해야 할까? 교육 현장에서는 이러한 상황에서 ‘높은 점수’를 선택해 불이익을 주는 경우가 많고, 학생은 이를 반박할 방법이 없다. Turnitin의 경우도 마찬가지다. 동일한 논문 초안이라도 날짜나 문단 배열이 바뀌면 탐지 결과가 크게 달라지고, 일부 대학에서는 80% 이상 AI 판정이 나올 경우 면담이나 재제출을 요구하고 있다. 이 과정에서 학생들은 “내 글이 왜 AI로 보이는지”에 대한 설명을 듣지 못한 채 평가 결과만 통보받는다. 이는 교육의 신뢰를 무너뜨리고, AI 탐지기를 ‘공포의 도구’로 받아들이게 만든다. 더 나아가 교수 역시 혼란을 겪는다. 탐지 결과가 일관되지 않을 때 어떤 기준으로 판단을 내려야 할지 불확실하며, 탐지기 기술에 대한 이해가 부족할 경우 무조건 점수에 의존하게 된다. 이러한 구조는 결국 교육 현장을 기술 의존적이고 불합리한 평가 체계로 몰아간다. AI 탐지기의 결과가 안정적이지 않다는 사실은 단순한 기술 이슈가 아니라, 학습자와 교수자 모두에게 심각한 신뢰 위기를 초래하는 요소가 된다.

AI 탐지기의 신뢰도 향상을 위한 개선 방향과 대안

AI 탐지기의 결과가 오락가락하는 상황을 극복하기 위해서는 기술 자체의 개선과 함께 시스템 운영 방식에 대한 제도적 보완이 병행되어야 한다. 먼저 기술적 측면에서는 알고리즘의 투명성이 확보되어야 한다. GPTZero나 Turnitin은 AI 여부를 판단하는 방식에 대한 세부 정보를 외부에 제한적으로만 공개하고 있으며, 이는 사용자로 하여금 결과를 해석하거나 반박할 수 없도록 만든다. 결과가 신뢰를 얻으려면 ‘왜 그런 결과가 나왔는가’에 대한 설명이 반드시 제공되어야 한다. 둘째, 동일한 입력값에 대해 동일한 결과를 제공하는 ‘재현성 보장 기능’이 필요하다. 사용자 입장에서 입력을 반복할 때 결과가 바뀌는 시스템은 근본적으로 신뢰할 수 없다. 셋째, 탐지기 결과가 평가로 이어질 경우 반드시 ‘이의 제기 절차’와 ‘해명 기회’가 함께 마련되어야 한다. 학생은 초안, 수정 이력, 자료 조사 기록 등 다양한 근거를 제시할 수 있어야 하며, 교수는 탐지 결과 외에도 글의 창의성, 구성력, 맥락을 종합적으로 판단해야 한다. 마지막으로, AI 탐지기의 사용 목적 자체를 재정의할 필요가 있다. 현재처럼 탐지기를 ‘검열 도구’로 활용하는 것이 아니라, 학생과 교수 모두에게 글쓰기 윤리와 책임에 대해 되돌아보게 하는 ‘학습 도구’로 전환해야 한다. 기술의 결과를 절대적인 판단 기준으로 삼기보다는, 글쓰기 과정을 더 깊이 있게 들여다보는 계기로 활용할 때 AI 탐지기의 진정한 가치가 실현될 수 있다.