AI 탐지 기술은 믿을 수 있을까? GPT로 쓴 논문을 AI 탐지기가 못 잡는 이유

2023년 이후, 생성형 인공지능(AI)은 교육, 연구, 콘텐츠 산업 등 거의 모든 분야에 파고들고 있다. 특히 GPT-4 및 그 이상 모델은 단순한 글쓰기를 넘어서 복잡한 논리 전개, 논문 형식의 구성, 참고문헌 생성까지 가능하게 되었다. 학생들은 물론이고 일부 연구자들조차 초안 작성에 AI를 활용하는 사례가 급격히 늘고 있으며, 이에 따라 'AI로 작성된 글을 탐지할 수 있는 기술'에 대한 수요도 커지고 있다.

하지만 AI 탐지 기술이 제 기능을 다하고 있는지는 여전히 논란이 많다. 국내외 대학들이 도입한 Turnitin, GPTZero 등의 감지기는 AI가 쓴 글을 잡아내기 위해 고안됐지만, 현실에서는 오답, 누락, 그리고 오류 판정이 빈번하게 발생하고 있다. AI가 생성한 글이 ‘사람이 쓴 것’으로 판정되거나, 사람이 직접 쓴 글이 ‘AI가 작성했다’는 판정을 받는 사례는 이미 국내 대학가에서도 보고되고 있다. 이런 문제는 단순한 기술적 오류를 넘어 학생의 명예, 학문적 윤리, 평가 기준 전반에 영향을 미친다.
이 글에서는 GPT 기반 논문이 AI 탐지기를 우회할 수 있는 이유와, 현재 AI 탐지 기술이 신뢰할 수 없는 이유를 구조적으로 분석해 본다. 기술의 한계, 실사례, GPT 모델의 특성, 그리고 학문적 윤리 문제까지 `다각적으로 살펴볼 것이다.

AI 탐지는 어떤 원리로 작동하며, 왜 한계를 가질까?

AI 탐지기는 대부분 ‘언어 모델 기반 확률 분석’에 기초하여 작동한다. 여기서 핵심은 문장의 **예측 가능성(probability)**이다. 일반적으로 인간이 쓰는 글은 표현 방식이 다양하고 예측 불가능한 문장이 많다. 반면 AI는 훈련 데이터에서 확률적으로 가장 자연스러운 단어와 문장을 선택하기 때문에 특정한 패턴을 형성하게 된다. 이 패턴은 탐지기에 의해 ‘AI다운’ 글로 인식되는 기준이 된다.
하지만 이 방식은 GPT-4 이상의 모델에는 한계를 드러낸다. 최신 GPT 모델은 언어 구조, 문맥 연계, 표현 다양성에서 인간을 모방하는 수준을 넘어서는 정교함을 보인다. 특히 Fine-tuning과 Reinforcement Learning이 적용된 모델은 사람보다 더 정제된 표현을 사용할 수 있다. 이러한 고급 표현력은 오히려 ‘사람보다 더 사람 같은 글’을 만들기 때문에, AI 탐지기는 오히려 인간 글과 AI 글을 헷갈리는 모순된 상황을 만든다.
더욱이 탐지기의 알고리즘은 대부분 폐쇄형이라 검증이 어렵고, 업데이트 주기도 GPT 모델의 진화 속도를 따라가지 못한다. 이에 따라 탐지기의 결과는 신뢰성 있는 데이터로 보기 어려우며, 논문이나 평가에서 직접적인 증거로 활용하기엔 무리가 있다는 지적이 많다.

실제 오판 사례: AI 탐지의 오류는 현실에서 빈번하다

국내외 대학에서는 GPTZero, Turnitin 등의 감지기를 사용하여 AI 작성 여부를 판단하고 있다. 하지만 감지기의 판정 결과는 일관되지 않았다. 예를 들어, 한 국내 사립대학에서 GPT-4로 작성한 보고서가 Turnitin을 통해 '100% 사람이 작성한 글'로 인식되었고, 아무런 조치 없이 평가가 이뤄진 사례가 있다. 반대로, 다른 학생이 스스로 작성한 100% 자작 에세이는 ‘AI 의심 87%’라는 판정을 받으며 부정행위로 경고 조치를 받았다.
이러한 상황은 AI 탐지기의 민감도, 기준, 알고리즘이 불완전하다는 사실을 보여준다. 특히 GPT로 작성한 글을 사람이 약간만 편집하거나 문장 구조를 바꾸면 대부분의 탐지기가 이를 감지하지 못한다. 반대로, 창의적이고 독립적인 문체를 가진 사람의 글은 AI 글로 오인되기도 한다. 탐지기는 문장의 ‘자연스러움’을 기준으로 판단하기 때문에, 오히려 문장을 잘 쓰는 학생일수록 AI 판정이 나올 가능성도 존재한다.
결국, 이 기술은 학문적 정직성보다는 패턴 인식에 치우쳐 있으며, 학생에게 낙인을 찍는 도구로 악용될 위험성까지 내포하고 있다.

GPT는 어떻게 AI 탐지를 우회할 수 있을까?

GPT는 모델 훈련 과정에서 수많은 인간 작성 문서를 학습하며, 문장 구성 방식, 어휘 선택, 문맥 연결까지 체계적으로 습득한다. 특히 GPT-4나 그 이상의 모델은 인간의 논리 전개 방식과 문장 길이, 단어의 다양성까지 반영하여 글을 생성한다. 이러한 특징은 AI 탐지기의 주된 판별 기준인 ‘예측 가능성’을 흐리게 만든다.
예를 들어, GPT가 작성한 글을 인간이 단어 몇 개만 수정해도 대부분의 탐지기는 그 글을 ‘비 AI 콘텐츠’로 인식한다. 이런 현상은 ‘AI 글을 인간이 리라이트했을 때 탐지 회피가 가능한가?’라는 질문에 대해 ‘거의 확실히 가능하다’는 답을 내놓게 한다. GPT는 또한 사용자가 프롬프트를 섬세하게 작성하면, 탐지기 알고리즘을 의식한 결과물도 만들어낸다. 이 말은 결국, 사용자 의도에 따라 얼마든지 AI 탐지기를 ‘속이는 글’을 생성할 수 있다는 것을 의미한다.
탐지기는 기본적으로 과거 데이터를 기준으로 판단한다. 반면, GPT는 지속해서 진화하며 인간에 더 가까운 문장을 만들어낸다. 이에 따라 기술 격차는 점점 벌어지고, AI 탐지기가 따라갈 수 없는 구조가 굳어지고 있다.

AI 탐지 기술이 아닌 윤리가 기준이 되어야 하는 이유

AI 탐지 기술은 어디까지나 도구일 뿐이다. 그것이 절대적인 기준이 되거나, 학문적 평가의 핵심 수단이 되어서는 안 된다. 진정으로 중요한 것은 글의 진정성, 맥락, 창의성이다. 기술은 이를 판단할 수 없다. 인간만이 가능한 정성적 평가가 반드시 병행되어야 한다.
특히 논문이나 과제에서 AI의 활용 여부가 문제가 될 때, 단순히 ‘탐지기로 감지됐는가?’를 기준으로 판단해서는 안 된다. 오히려 ‘어떤 방식으로 활용했는가?’, ‘결과물을 비판적으로 검토했는가?’와 같은 맥락적 판단이 중요하다. AI가 만든 문장을 그대로 제출했다면 부정행위일 수 있지만, AI를 참고로 삼고 자기주장을 발전시켰다면 그것은 학습의 연장선일 수 있다.
앞으로는 탐지 기술보다 더 중요한 것이 ‘AI 활용 윤리 교육’과 ‘명확한 사용 가이드라인’이다. GPT는 앞으로도 계속 진화할 것이며, 기술은 결코 AI를 완벽하게 통제할 수 없다. 결국, 판단의 주체는 언제나 인간이어야 한다.