AI 탐지기, 다양한 언어별 탐지 정확도 비교 실험

 

현재 사용되는 대부분의 AI 탐지기는 영어를 기반으로 설계되어 있다. GPTZero, Turnitin, Copyleaks와 같은 대표적인 AI 탐지 도구들은 영어 텍스트에서 훈련된 언어 모델을 바탕으로 퍼플렉서티와 버스트니스 값을 계산하고, 이 결과를 바탕으로 AI 생성 가능성을 추론한다. 이러한 구조는 영어 텍스트에서 높은 정확도를 보이지만, 다국어 환경에서는 한계를 드러낸다. 탐지기의 알고리즘은 영어 문법과 문장 구조를 기준으로 설계되기 때문에, 한국어, 일본어, 중국어, 아랍어, 독일어 등의 구조와 문체에는 제대로 적응하지 못하는 경우가 많다. 특히 조사나 어순, 어휘 반복이 특징인 언어에서는 AI 탐지기의 점수가 비정상적으로 높거나 낮게 나타날 수 있다. 그 결과, 사람의 글이 AI로 감지되거나, AI가 생성한 글이 사람의 글로 간주되는 오류가 빈번하게 발생한다. 이런 문제는 단순한 기술적 결함이 아니라, 글로벌 학술 환경에서 비영어권 사용자에게 불리하게 작용할 수 있는 구조적 불균형의 원인이 된다.

AI 탐지기 언어별 정확도 실험 결과 분석

GPT-4, Claude, DeepL, Bing Copilot 등을 이용해 다양한 언어로 동일한 글을 생성한 후, 이를 GPTZero와 Copyleaks에 입력해 AI 탐지 점수를 측정한 실험 결과는 탐지기의 언어별 편향성을 잘 보여준다. 먼저 영어 텍스트의 경우 AI 탐지 점수는 평균적으로 80~95%로 안정적으로 탐지되었으며, 사람이 작성한 글에 대해서는 대부분 낮은 점수를 나타냈다. 반면 한국어 텍스트의 경우 AI로 생성한 글이 GPTZero에서 ‘AI 가능성 낮음’으로 판정되는 경우가 많았고, 오히려 사람이 작성한 리포트가 90% 이상으로 탐지되는 사례도 있었다. 일본어와 중국어는 한자 사용률과 짧은 문장 구조로 인해 퍼플렉서티 값이 낮게 측정되어 AI로 오판되는 확률이 더 높았다. 아랍어는 조사와 문장 순서가 유동적인 특성 때문에 탐지 정확도가 매우 낮았고, 독일어나 프랑스어는 문법 구조가 복잡해 AI 탐지기의 예측이 자주 엇나갔다. 이 실험은 AI 탐지기가 영어 외 언어에서는 여전히 신뢰도가 낮고, 텍스트의 품질보다 언어 구조에 영향을 많이 받는다는 점을 명확히 보여준다. 특히 동일한 내용을 다국어로 번역해 테스트했을 때도, 영어에서만 AI로 탐지되고 다른 언어에서는 인간 작성으로 판단되는 경우가 있었던 점은 기술의 언어 편향성이 매우 크다는 것을 의미한다.

AI 탐지기 언어 오판이 평가에 미치는 영향

이러한 언어 편향은 실제 학술 환경에서 평가 불균형을 야기한다. 비영어권 학술지나 대학에서는 탐지기의 결과에 따라 논문 심사나 리포트 평가가 이루어지는 경우가 늘고 있는데, 탐지기가 비영어 텍스트에 대한 판단 정확도가 낮다면 이는 학생과 연구자에게 심각한 불이익을 초래할 수 있다. 예를 들어 한국의 한 대학에서는 GPTZero 점수 60% 이상일 경우 재제출을 요구하는 정책이 있는데, 영어 글에서는 낮은 점수가 나오는 반면, 같은 내용을 한국어로 작성했을 때는 높은 점수가 나와 동일한 기준으로 평가받기 어렵다. 또한 번역 도구를 활용해 영어로 제출한 글은 AI 탐지기에서 ‘AI로 의심됨’으로 처리되는 반면, 원어로 쓴 글은 인간 작성으로 간주되는 이중 기준도 발생한다. 이는 평가 기준의 형평성을 무너뜨릴 뿐 아니라, 언어에 따라 다른 기준이 적용된다는 인식을 낳게 된다. 비영어권 연구자나 학생들은 AI 탐지기를 통과시키기 위해 문장을 의도적으로 단순화하거나, 비문법적으로 조작하는 전략을 쓰기도 한다. 이는 글의 질적 저하뿐 아니라 창의성 위축으로 이어질 수 있다. 탐지기의 언어별 부정확성은 단순한 기술 문제가 아니라, 공정한 학문 평가의 근간을 흔들 수 있는 심각한 구조적 문제다.

AI 탐지기 언어 편향 해소를 위한 기술적 제언

AI 탐지기가 언어별로 공정하게 작동하기 위해서는 다국어 지원 기술이 본격적으로 도입되어야 한다. 첫째, 각 언어의 문법 구조와 문체 특성을 학습한 언어별 탐지 알고리즘을 분리 설계하는 방식이 필요하다. 지금처럼 영어 모델에 한국어나 일본어를 단순 입력하는 방식은 구조적으로 한계가 있다. 둘째, 다국어 기반 데이터셋을 확대하고, 비영어권 사용자들의 실제 글쓰기 데이터를 포함시켜 탐지기의 적응력을 향상시켜야 한다. 셋째, 탐지기 결과를 단일 수치로 제공하기보다 언어별 기준에 따라 해석 가능한 세부 피드백을 제공하는 시스템이 필요하다. 예를 들어 “해당 텍스트는 한국어 탐지 모델 기준 78%의 AI 생성 확률을 보임”과 같은 식의 언어 특화된 정보가 필요하다. 넷째, 사용자는 자신이 사용하는 언어에 대한 탐지기의 정확도 정보를 투명하게 제공받아야 한다. 지금처럼 ‘모든 언어에 적용 가능’이라는 광고성 문구는 현실과 다르며, 실제 탐지 가능 언어 리스트와 정확도 표기를 명확히 해야 한다. 마지막으로, 다국어 탐지 시스템은 단순 번역 기반이 아니라 각 언어의 창작성 표현, 문맥 흐름, 문화적 코드까지 이해하는 방향으로 진화해야 한다. 이는 단기적으로는 기술적 도전이 크지만, 장기적으로는 글로벌 교육과 학술 환경의 신뢰를 확보하는 데 필수적인 과제다. AI 탐지기는 언어 불균형을 방치한 채 발전할 수 없으며, 전 세계 사용자를 고려한 언어 공정성이야말로 기술 신뢰도의 핵심 요소가 될 것이다.