내 글이 왜 AI로 표시되었을까? AI 탐지기의 오탐

오탐이란

오탐은 사람이 쓴 텍스트를 탐지기가 AI가 생성한 글로 표시하는 경우를 말해요.

탐지기는 누가 텍스트를 썼는지 몰라요. 표현에 점수를 매기고, 그 점수를 기준값과 비교한 뒤, 기준값을 넘는 것은 모두 AI 신호로 알려요. 사람이 쓴 글 가운데 일부는 어쩔 수 없이 기준값을 넘게 돼요.

이 문제를 해결하는 설정은 없어요. 기준값을 높이면 사람이 쓴 글은 덜 표시되지만 AI 텍스트를 더 많이 놓치고, 낮추면 그 반대가 돼요.

대기업도 같은 벽에 부딪혀요. 2023년에 OpenAI는 정확도가 낮다는 이유로 자체 AI 텍스트 분류기를 철회했어요.

더 자주 AI로 표시되는 글

오탐은 모든 종류의 텍스트에 똑같이 일어나지 않아요. 탐지기는 다음과 같은 글에서 가장 자주 틀려요.

• 외국어로 쓴 글. 2023년 스탠퍼드 대학교 연구진은 AI 탐지기가 영어 원어민의 에세이보다 영어가 모국어가 아닌 사람의 에세이를 더 자주 AI로 표시했다고 보고했어요.
• 격식 있고 정형화된 글. 자기소개서, 논문 초록, 업무 이메일, 공문서는 정해진 틀을 따르며, 탐지기가 반응하는 것이 바로 이런 예측 가능한 표현이에요.
• 짧은 글. 문장 몇 개로는 판단할 근거가 너무 적어요. 그래서 Textumi는 50단어 미만에는 라벨을 붙이지 않으며, 그보다 조금 긴 텍스트의 결과도 여전히 신뢰도가 낮아요.
• 많이 다듬은 글. 문법 교정 도구, 번역, 여러 차례의 편집은 실제 초안에 있는 작은 불규칙성을 매끄럽게 지워요.

사람처럼 보이려고 글을 일부러 못 쓸 필요는 없어요. 다만 탐지기 결과를 읽는 사람이라면 이런 종류의 글에서 나온 AI 표시는 무게가 덜하다는 점을 알아야 해요.

탐지기 결과가 증명하지 못하는 것

탐지기는 완성된 텍스트만 봐요. 메모, 참고 자료, 들인 시간, 파일의 이전 버전은 보지 못해요. 꼼꼼하게 쓰는 사람과 꼼꼼한 글을 흉내 내는 모델을 구별할 수 없어요.

탐지기 결과는 확률이 아니에요. Textumi는 결과를 ‘사람이 작성’부터 ‘AI 생성’까지 다섯 가지 라벨 중 하나로 나타내요. ‘AI 생성’이라도 AI가 썼다는 것이 거의 확실하다는 뜻이 아니며, ‘대부분 AI’라도 모델이 문장 대부분을 썼다는 뜻이 아니에요. 라벨은 표현이 탐지기가 AI와 연결 짓도록 학습한 것과 많이 닮았다는 것만 말해 줘요.

다른 탐지기가 백분율을 보여 준다면 그것도 똑같이 신중하게 읽으세요. 그 역시 모델의 점수일 뿐, 텍스트 중 생성된 부분의 비율이 아니에요.

두 탐지기가 같은 텍스트를 다르게 판단할 수 있어요. 서로 다른 예시로 학습했고, 기준값을 긋는 위치도 저마다 다르기 때문이에요.

AI를 썼다는 의심을 받았을 때 할 일

탐지기 결과만으로는 약한 근거예요. 텍스트가 어떻게 만들어졌는지 보여 주는 기록이 훨씬 강력해요. 다음 단계를 순서대로 밟아 보세요.

1. 어떤 탐지기를 썼는지, 정확히 어떤 결과가 나왔는지, 내 작업을 평가하는 사람들이 어떤 결과를 의심의 근거로 삼는지 물어보세요.
2. 초안, 개요, 메모, 참고 자료를 모으세요. 평소라면 누구에게도 보여 주지 않을 거친 버전까지 포함해서요.
3. 문서의 버전 기록을 여세요. Google Docs와 Microsoft Word는 모두 텍스트가 시간에 따라 어떻게 바뀌었는지 기록할 수 있으며, 며칠에 걸친 작은 수정의 흔적은 반박하기 어려워요.
4. 작업 내용을 직접 설명하겠다고 제안하세요. 내 논지, 참고 자료, 선택한 이유를 설명하면 어떤 탐지기도 할 수 없는 방식으로 내가 썼다는 것을 보여 줄 수 있어요.
5. AI 사용과 탐지기 결과에 관한 서면 규정을 요청하고, 탐지기 결과만으로 결정을 내리지 말아 달라고 요청하세요.

앞으로의 작업은 버전 기록이 남는 편집기에서 쓰고 메모를 보관해 두세요. 작업하는 동안에는 아무 수고도 들지 않지만, 나중에 그 근거를 다시 만들기는 어려워요.

Textumi가 기준값을 정하는 방법

Textumi 탐지기는 저희가 자체 개발했어요. 모델을 직접 학습시키고 조정해 자체 서버에서 실행하며, 꾸준히 개선하고 있어요. 탐지기가 AI 신호를 알리는 경계인 기준값은 일부 AI 텍스트를 놓치더라도 사람이 쓴 글이 최대한 적게 표시되도록 일부러 정해 두었어요.

영어와 우크라이나어를 제외한 모든 언어에서 기준값은 사람 텍스트 백 개 중 두 개 이하가 AI로 표시되는 지점에 놓여요. 이 비율은 모델이 학습하지 않은 사람 텍스트로 계산해요.

우크라이나어 기준값은 같은 규칙의 이전 버전으로 정했어요. 영어 탐지기는 자체 고정 기준값을 쓰는 이전 세대 모델이에요.

이는 어떤 실수를 피할지에 대한 선택일 뿐, 내 텍스트에서의 정확도를 약속하는 것이 아니에요. 이 수치는 Wikimedia 프로젝트의 산문이라는 한 종류의 글에서 나온 것이라, 자기소개서나 짧은 이메일에서는 AI로 표시되는 사람 텍스트의 비율이 더 높을 수 있어요.

두 번째 안전장치도 있어요. 이 언어들의 새 탐지기 버전은 한 번도 본 적 없는 테스트 텍스트에서 사람 텍스트를 백 개 중 다섯 개보다 많이 표시하면 출시하지 않아요.

기준값 아래의 결과는 ‘사람이 작성’ 또는 ‘대부분 사람’이에요. 이 라벨들도 문체를 바탕으로 한 추정이에요. 모델은 텍스트가 어떻게 만들어졌는지 보지 못하기 때문에, Textumi는 사람이 확실히 썼다는 것을 보여 줄 수 없어요.

Textumi AI 탐지기를 만들고 테스트하는 방법

Textumi에서 AI로 표시된 결과 읽기

바늘 아래의 라벨이 아니라 강조 표시된 구간부터 보세요. 개인 에세이 속 격식 있는 문단 하나에서 신호가 나왔다면, 그 신호는 내가 아니라 그 문단에 대해 말해 주는 거예요.

50단어 미만의 텍스트에는 라벨 없이 ‘판단하기에는 텍스트가 너무 적어요’만 표시돼요. 이렇게 짧은 글로 내린 판단은 믿기 어렵기 때문이에요. 같은 문서에서 더 긴 구간을 확인해 보세요. 50단어부터는 추정의 신뢰도가 높아져요.

표시된 구간이 정말로 딱딱하게 읽힌다면 직접 고치거나, 휴머나이저에 의미를 지키면서 더 자연스러운 버전을 요청하세요. 그러면 표현은 바뀌지만 텍스트가 만들어진 과정은 바뀌지 않으며, 다른 탐지기는 여전히 AI로 표시할 수 있어요.

AI 탐지기 열기