AI 탐지기, GPTZero는 어떻게 AI 글을 구별할까? 판별 방식과 허점 분석

 

 

AI 탐지기 GPTZero는 생성형 인공지능의 확산과 함께 2023년부터 빠르게 주목받기 시작한 도구다. OpenAI의 ChatGPT와 같은 강력한 텍스트 생성 모델이 교육기관, 기업, 미디어 산업 전반에 걸쳐 활용되면서, 사람들은 생성된 콘텐츠가 인간의 창작물인지 AI가 만든 결과물인지를 구별할 필요성을 절실히 느꼈다. 이때 등장한 것이 바로 GPTZero라는 AI 탐지기였다. GPTZero는 'AI 글을 감별해 낼 수 있다'는 명확한 목적을 가지고 설계되었으며, 주로 교육기관에서 학생들이 작성한 리포트나 에세이, 논문 초안 등을 검증하는 데 사용되었다. 특히 대학에서는 표절보다 더 민감한 문제로 떠오른 ‘AI 사용 여부’ 판단에 이 도구를 도입하기 시작했다. GPTZero는 비교적 간단한 인터페이스를 제공하면서 사용자가 텍스트를 입력하면 해당 문장이 AI에 의해 작성됐을 가능성을 퍼센트 단위로 보여주는 기능을 갖고 있다. 이렇게 직관적인 결과 제공 방식은 비전문가에게도 판단 기준을 제공하기 때문에 널리 활용될 수 있었으며, 이에 따라 국내외 수많은 교수진과 교육기관이 실제 수업 및 과제 평가에 GPTZero를 사용하게 되었다. 하지만 문제는 GPTZero가 단순히 인공지능으로 생성된 문장을 감별하는 데서 그치지 않고, 인간이 직접 쓴 글까지 AI로 잘못 판별하는 사례가 점점 늘어나고 있다는 점이다. 이는 곧 해당 도구가 사용하는 판별 알고리즘의 구조와 방식에 대한 근본적인 검토가 필요하다는 의미이기도 하다.

AI 탐지기 GPTZero는 어떤 방식으로 판별을 시도하는가

GPTZero의 핵심 기능은 텍스트의 ‘퍼플렉서티’와 ‘버스트니스’라는 두 가지 언어학적 지표를 기반으로 AI 여부를 판단하는 것이다. 퍼플렉서티는 텍스트 내 단어가 특정 맥락에서 얼마나 예측 가능한지를 수치화한 것으로, 수치가 낮을수록 AI가 생성했을 확률이 높다고 간주된다. 즉, 예측할 수 있는 단어가 일정한 패턴으로 등장하면 GPTZero는 이를 기계적 문장이라고 판단한다. 반면 사람이 쓴 글은 어휘 선택이나 문장 구성이 더 다양하고 예측이 어렵기 때문에 퍼플렉서티 수치가 높게 나타난다는 가정을 바탕으로 한다. 버스트니스는 문장의 길이와 구조의 불균형, 문장 간 변화 폭 등을 측정해 인간의 글쓰기 스타일에 가까운지를 분석하는 지표다. 사람은 짧은 문장과 긴 문장을 섞거나 주관적 표현을 자주 사용하는 반면, AI는 대부분 일정한 길이와 정제된 구조를 유지하려는 경향이 있다는 전제를 기반으로 한다. GPTZero는 이 두 지표를 종합해 입력된 텍스트가 AI 생성물인지 아닌지를 추정하는데, 여기서 핵심은 ‘정확한 판단’이 아닌 ‘확률적 추정’이라는 점이다. 문제는 이 알고리즘이 GPT-2나 GPT-3 수준의 비교적 단순한 언어 모델에는 유효했지만, GPT-4 이상의 고도화된 모델에는 적절히 대응하지 못한다는 데 있다. 최신 AI는 일부러 문장을 불규칙하게 만들거나 감정 표현을 흉내 낼 수 있고, 길이와 문체까지 자유롭게 조정할 수 있기 때문에 GPTZero의 기준은 점점 무력화되고 있다.

AI 탐지기 GPTZero의 오작동 사례와 구조적 한계

GPTZero가 실제 교육 현장에서 사용되면서 여러 문제점이 드러나고 있다. 대표적인 사례로, 학생이 직접 작성한 에세이가 GPTZero에 의해 98% AI 생성 텍스트로 판정되어 학사 경고를 받은 사건이 있다. 해당 학생은 오랜 시간에 걸쳐 자료조사를 하고 정리한 결과물임에도 불구하고, 탐지기 점수 하나로 부정행위자로 지목되었다. 반면 어떤 경우에는 GPT로 작성한 글을 사람이 문장 순서만 바꾸거나 단어 몇 개만 수정했을 뿐인데, GPTZero에서는 ‘사람이 작성한 글’로 판정되기도 했다. 이런 사례는 GPTZero가 텍스트의 맥락이나 주제 일관성, 창의성 등 글쓰기의 본질적인 요소를 판단할 수 없다는 것을 보여준다. 또한 GPTZero는 내부 알고리즘의 구조를 완전히 공개하고 있지 않으며, 결과 수치에 대한 명확한 해석 기준도 제공하지 않는다. 그 결과 사용자들은 ‘AI 점수’가 무엇을 의미하는지 모른 채 단순히 수치만 보고 판단을 내리게 되고, 이는 학생들에게 불필요한 불신과 위축을 초래하게 된다. 더 큰 문제는 이러한 오류에도 불구하고 일부 교육기관은 GPTZero의 결과를 정량 평가에 반영하고 있다는 점이다. 정확도와 신뢰성이 확보되지 않은 도구를 절대적인 기준으로 활용할 경우, 실제 학습자의 정당한 노력과 결과물까지 훼손될 수 있다. AI 탐지기 GPTZero는 기술적 한계뿐 아니라 사회적, 교육적 책임 문제까지 동시에 안고 있으며, 이 점에서 단순한 ‘도구’가 아니라 그 사용 방식과 기준까지 포함한 전반적인 검토가 필요하다고 볼 수 있다.

AI 탐지기 GPTZero를 넘어서야 할 방향과 교육적 과제

AI 탐지기는 기술적으로 완벽할 수 없다는 전제를 갖고 접근해야 한다. 특히 GPTZero처럼 패턴 분석 중심의 알고리즘은 AI와 인간이 점점 더 유사한 문체를 구사하게 되는 지금의 흐름 속에서 실질적인 판단 도구가 되기 어렵다. 따라서 향후 AI 탐지기는 단순히 결과물 중심의 분석을 넘어서, 글쓰기 과정에 대한 추적과 해석 능력을 포함해야 한다. 예를 들어 글 작성 시간, 편집 이력, 초안과 최종본 간 차이, 키 입력 속도 등의 부가 정보를 바탕으로 한 맥락 기반 탐지가 병행될 필요가 있다. 또한 AI 탐지기는 그 자체로 평가 도구가 되어서는 안 되며, 학생과 교수 간의 대화와 해석, 문장 구성의 의도 등을 함께 고려하는 보조적 참고 도구로 사용되어야 한다. 지금까지는 AI가 쓴 글을 찾아내는 것에 집중해 왔다면, 이제는 ‘AI를 어떻게 교육적으로 수용하고, 어느 지점까지 허용할 것인가’에 대한 기준 설정이 필요하다. 이는 단지 기술의 문제가 아니라 학문 윤리, 평가 철학, 창의성 교육과 직결되는 문제다. 교육기관은 GPTZero 같은 AI 탐지기의 사용 여부를 넘어, 그 결과를 해석하고 활용하는 방식까지 신중하게 설계해야 하며, 단순히 탐지 여부에 따라 징계나 점수를 부여하는 방식에서 벗어나야 한다. 앞으로의 AI 시대에는 ‘어떻게 AI를 활용했는가?’, ‘어디까지가 창의적 기여인가’를 중심으로 한 평가 체계가 필요하며, AI 탐지기는 그 판단을 위한 일부 요소로서 보조 역할을 수행해야 한다. GPTZero는 유용한 도구일 수 있지만, 그 사용은 절대적 판단 기준이 아니라 교육적 성찰의 시작점이어야 한다.