동료가 제출한 보고서를 읽다가 문득 "이거 ChatGPT로 쓴 거 아닌가?" 싶었습니다. 문장이 매끄럽긴 한데, 어딘가 너무 고르게 매끄러운 느낌이랄까요. 그래서 GPT 탐지기를 처음 써봤습니다.
그런데 결과가 툴마다 달랐습니다. 어떤 건 "98% AI 작성"이라고 했고, 다른 건 "사람이 쓴 글에 가깝습니다"라고 했어요. 같은 텍스트를 넣었는데도요. 그 순간부터 이 툴들을 실제로 믿어도 되는 건지 궁금해졌습니다.
GPT 탐지기는 어떤 원리로 작동하나요
탐지기가 AI 글을 잡아내는 핵심 개념은 두 가지입니다. 퍼플렉서티(Perplexity)와 버스트니스(Burstiness)예요.
퍼플렉서티는 쉽게 말해 "다음 단어의 예측 가능성"입니다. 탐지기는 언어 모델이 각 단어 선택에 얼마나 "놀라는지"를 측정합니다. AI가 쓴 글은 퍼플렉서티가 낮고, 즉 단어 선택이 더 예측 가능하며, 사람이 쓴 글은 더 예상 밖의 어휘와 표현을 씁니다.
버스트니스는 문장 길이와 구조의 리듬감이에요. 사람이 쓰면 짧은 문장, 긴 문장이 자연스럽게 섞입니다. 흥분하면 짧게 끊고, 설명할 때는 길어지죠. AI는 이 리듬이 고르게 유지되는 경향이 있어요. 탐지기는 이런 패턴 차이를 수치로 환산해 AI 작성 확률을 계산합니다.
세 가지 탐지기에 같은 글을 넣어봤습니다
실험에 쓴 텍스트는 ChatGPT로 생성한 500자 내외의 업무 보고서 요약본이었습니다. 수정은 전혀 하지 않았어요.
ZeroGPT는 무료로 쓸 수 있고 가장 접근이 쉽습니다. 결과는 빠르게 나왔지만, ZeroGPT는 거짓 양성(False Positive) 비율이 약 15%에 달하며, 2026년 독립 테스트에서 정확도는 약 85% 수준으로 측정됐습니다. 제 실험에서도 수치가 다소 불안정하게 튀었습니다.
GPTZero는 AI 탐지기 중 가장 많이 비교되는 툴입니다. 3,000개 샘플을 대상으로 한 비교 테스트에서 GPTZero는 전체 정확도 99.3%를 기록했으며, 거짓 양성 비율은 0.24%, 즉 사람이 쓴 글 400개 중 1개 미만이 AI 판정을 받았습니다. 무료로 월 일정량까지 사용할 수 있고, 유료 플랜은 월 10달러부터 시작합니다.
Copyleaks는 AI 탐지와 표절 검사를 동시에 해주는 게 특징입니다. 월 약 10~11달러의 유료 서비스로, 독립 테스트에서 91% 정확도를 기록했습니다. 그런데 실험에서 흥미로운 결과가 나왔어요. 동일한 AI 생성 텍스트를 넣었을 때, Copyleaks는 전체를 100% AI로 판정한 반면, ZeroGPT는 같은 글에서 AI 비율을 30.8%로 훨씬 낮게 잡았습니다.
같은 글을 넣었는데 이렇게까지 차이가 난다는 게, 탐지기를 막연히 신뢰하면 안 된다는 신호였습니다.
탐지기가 틀리는 경우들
직접 실험해 보면서 탐지기가 특히 취약한 상황을 몇 가지 확인했습니다.
첫째, AI 글을 조금만 손봐도 감지율이 뚝 떨어집니다. 날것의 AI 텍스트는 주요 탐지기들이 92~96% 정확도로 잡아냅니다. 하지만 같은 글을 단순히 패러프레이징만 해도 탐지율이 41~72%까지 내려갑니다.
둘째, 사람이 쓴 글이 AI 판정을 받는 거짓 양성 문제입니다. 실제로 한 17세 학생이 자신이 직접 쓴 글에 AI 판정이 나와 부정행위 의혹을 받은 사례가 보고됐습니다. 이후 교사가 오류를 인정했지만, 이 사례는 탐지 점수가 결정적 증거가 아닌 "대화의 출발점"일 뿐임을 보여줍니다.
셋째, 비영어권 필자에게는 훨씬 불리하게 작동합니다. 비영어권 글쓰기에 대한 편향이 잘 문서화되어 있는데, 광범위하게 사용되는 GPT 탐지기들이 비원어민의 영어 글쓰기를 AI 생성물로 체계적으로 오분류한다는 연구 결과가 있습니다. 한국어로 작성한 글을 번역해 제출하는 경우가 많다면 특히 주의할 필요가 있어요.
넷째, 도구마다 기준 임계값이 다릅니다. 탐지기는 확률 점수를 제공하는데, 각 업체가 보고하는 거짓 양성 비율은 특정 임계값 설정 기준이어서 실제 사용 환경과 다를 수 있습니다.
실제로 쓸 만한 상황, 믿으면 안 되는 상황
솔직히 정리하면 이렇습니다.
탐지기가 쓸 만한 경우:
- AI가 쓴 게 거의 확실한 텍스트를 한 번 더 확인하고 싶을 때
- 여러 탐지기에 동시에 넣어 결과가 일치하는지 교차 검증할 때
- "이 사람이 AI를 썼나?"보다 "이 문서의 품질을 직접 확인해야 하나?"를 결정할 때
믿으면 안 되는 경우:
- 결과 하나만으로 "AI 작성"을 단정할 때
- 이 툴들은 유용하지만 어떤 것의 최종 판단 기준이 될 만큼 신뢰할 수 없으며, 정확도는 툴에 따라 65~90%로 편차가 큽니다.
- 짧은 텍스트나 수정을 많이 거친 글에 결과를 그대로 받아들일 때
2026년 기준, 탐지보다 중요한 것
AI 탐지기 여러 개를 직접 써보고 나서 든 생각은, 탐지 자체보다 "왜 탐지하려 하는가"가 더 중요하다는 거예요.
직장에서 AI 도구를 활용해 보고서를 쓰는 건 이미 일상입니다. 문제는 AI가 썼냐가 아니라, 그 내용이 정확한지, 본인이 검토하고 책임질 수 있는지가 되어야 하지 않을까요. 반대로 남이 제출한 문서를 의심하는 입장이라면, 탐지기 수치 하나로 판단하기보다는 내용의 정합성과 출처 확인이 훨씬 실질적인 방법입니다.
탐지기는 참고 도구로는 괜찮습니다. 다만 그 결과를 증거로 쓰기엔, 아직은 많이 부족해요.
