AI 탐지기 점수와 실제 AI 사용률 간 상관관계 실험

AI 탐지기가 본격적으로 교육 및 평가 현장에 도입되면서, 많은 이들이 탐지기 점수가 실제로 AI 사용 여부를 얼마나 정확히 반영하는지에 대해 의문을 제기하고 있다. GPTZero, Turnitin AI, Copyleaks 등의 탐지 도구는 퍼플렉서티, 버스트니스, 언어 모델 확률 등을 기반으로 점수를 산출하며, 해당 점수가 높을수록 AI 작성 가능성이 크다고 판단한다. 하지만 현실에서는 AI를 전혀 사용하지 않은 글이 높은 점수를 받거나, AI로 생성한 문장이 낮은 점수로 판별되는 사례가 반복적으로 발생하고 있다. 이로 인해 AI 탐지기의 점수가 AI 사용 ‘정도’나 ‘비율’을 실질적으로 반영하지 못한다는 주장이 제기되고 있다. 탐지기는 문장의 구조나 언어 사용의 통계적 특성을 기준으로 판단하기 때문에, 특정 유형의 문장이나 어휘를 사용하는 글은 실제 사용 여부와 상관없이 높은 점수를 받을 수 있다. 특히 비영어권 사용자가 영어로 작성한 글이나, 간결한 표현을 자주 사용하는 글은 AI 탐지기에서 과도한 점수를 받기 쉽다. 따라서 AI 탐지기 점수가 곧바로 AI 사용률을 의미하지는 않으며, 이에 대한 실증적 검증이 요구된다.

AI 탐지기 점수와 사용률 사이의 통계적 실험 설계

실제로 AI 탐지기 점수와 AI 사용률 간의 상관관계를 검증하기 위해 여러 교육기관과 연구자들이 실험을 설계해왔다. 대표적인 방식은 동일한 주제에 대해 여러 개의 글을 준비하되, 각 글에서 AI 사용 비율을 달리하여 작성하는 것이다. 예를 들어 A 그룹은 전체 문장의 100%를 ChatGPT로 생성하고, B 그룹은 일부 문단만 AI로 작성한 후 인간이 편집을 더한 경우, C 그룹은 전혀 AI를 사용하지 않고 수작업으로 작성한 경우 등으로 나뉘어 실험을 진행한다. 그런 다음 각 글을 GPTZero, Turnitin AI 탐지기에 입력해 점수를 측정하고, AI 사용률과 점수 간의 상관계수를 분석한다. 이 실험에서는 흥미로운 결과들이 나타난다. 완전한 AI 작성 글이 반드시 높은 점수를 받지 않았고, 오히려 인간이 직접 쓴 문장이 ‘AI 가능성 95%’라는 평가를 받은 사례도 있었다. 특히 30~50% 수준으로 AI를 혼합 사용한 글은 탐지기 점수의 편차가 매우 컸고, 시스템마다 결과도 달랐다. 이는 탐지기가 ‘AI 사용률’을 정량적으로 감지하기보다는, 문체와 구조의 특성을 통해 확률 기반 판단을 내린다는 사실을 방증한다. 즉, 탐지기 점수는 사용자의 의도를 반영하기 어렵고, ‘몇 퍼센트를 AI가 작성했는가’라는 정밀한 수치를 제공하지 못한다는 것이 실험 결과의 핵심이다.

AI 탐지기 점수 해석의 오류 가능성과 그 위험성

AI 탐지기 점수가 실제 사용률과 불일치하는 경우, 이는 교육적, 행정적 판단에서 심각한 오류로 이어질 수 있다. 예를 들어 한 학생이 전체 과제의 10% 정도만 AI로 요약을 받고 나머지를 직접 작성했다면, 기술적으로는 부정행위에 해당하지 않을 수 있다. 그러나 탐지기 점수가 80~90%로 나올 경우, 담당 교수나 학교는 이 결과만으로 학생을 징계하거나 재작성을 요구할 수 있다. 이때 문제는 탐지기의 점수가 AI 사용 여부가 아닌 ‘AI처럼 보이는 문장 스타일’에 의해 결정된다는 점이다. 즉, AI를 사용하지 않았더라도, 너무 단순하거나 반복적인 문장 구조, 문법적으로 완벽한 표현을 사용하면 AI 생성으로 오인될 수 있다. 반대로 AI가 작성한 글을 사람처럼 보이게 하기 위해 단어를 바꾸거나 구문을 편집한 경우에는 탐지기를 무사히 통과하기도 한다. 이러한 현실은 탐지기 점수를 절대적인 기준으로 삼을 수 없다는 점을 보여준다. 특히 학생의 성적, 졸업 논문, 자격 평가 등에 탐지기 결과가 반영될 경우, 그 점수가 정당한 교육 판단을 방해하는 요소가 될 수 있다. 탐지기는 오류를 가질 수 있으며, 그 결과를 해석하는 과정에서 ‘수치에 따른 불이익’이 발생하지 않도록 교육 시스템의 보완이 요구된다.

AI 탐지기 점수의 활용을 위한 개선 방향

AI 탐지기 점수를 보다 신뢰도 있게 활용하기 위해서는 기술적 고도화와 함께 해석 기준의 재정립이 필요하다. 첫째, 탐지기는 단일 점수만 제공할 것이 아니라, 문장별 분석 결과, 감지 사유, 텍스트 특징 등 세부 정보를 함께 제공해야 한다. 그래야 평가자는 단순히 점수에 의존하지 않고 맥락을 고려한 판단을 내릴 수 있다. 둘째, 사용자가 AI를 일부 활용한 경우에도 그 사실을 명확히 밝히고, 탐지기 결과와 비교해 정직한 사용이 어떻게 점수에 반영되는지를 이해할 수 있어야 한다. 셋째, 각 대학과 교육기관은 탐지기 점수의 활용 기준을 내부적으로 명확히 설정하고, 단순 수치가 아닌 종합 평가 기준으로 탐지기를 운영해야 한다. 넷째, 기술 개발자들은 AI 탐지기가 실제 사용률에 대한 근사치를 제공할 수 있도록 알고리즘을 개선해야 한다. 탐지기 점수가 단지 ‘AI처럼 보임’을 뜻하는 것이 아니라, 실제 사용 정도와 연동된 신뢰 지표로 작동하도록 만드는 것이 궁극적 목표가 되어야 한다. 마지막으로, AI 탐지기는 절대적 기준이 아닌, 인간 판단을 보조하는 도구임을 모든 사용자에게 인식시키는 교육이 병행되어야 한다. AI 탐지기 점수는 참고 지표이지, 판단의 종착점이 되어서는 안 된다. 수치만으로 학생의 정직성을 평가하는 시대는 기술보다 교육의 철학이 부족한 사회의 반영일 수 있다.