AI 탐지기의 작동 방식: 무엇을 측정하고 어디서 틀릴까

AI 탐지기가 측정하는 것

탐지기는 글의 표현이 학습에 쓰인 AI 작성 글과 얼마나 닮았는지 추정해요.

언어 모델은 가장 그럴듯한 단어를 골라 매끄럽고 잘 짜인 문장을 만드는 경향이 있어요. 사람은 덜 예측 가능해요. 같은 말을 되풀이하고, 호흡을 바꾸고, 어떤 모델도 예상하지 못할 단어를 골라요. 탐지기는 수많은 예시에서 이런 통계적 차이를 배워요.

흔히 쓰이는 방식은 두 가지예요. 첫째는 다른 언어 모델에게 글의 각 단어가 얼마나 예측 가능한지 묻고, 지나치게 예측 가능한 글을 의심스럽게 보는 방식이에요. 이 척도를 퍼플렉시티라고 불러요.

둘째는 학습된 분류기예요. 인코더가 글을 숫자의 묶음으로 바꾸고, 사람과 AI의 예시로 학습한 분류기가 그 숫자에 점수를 매겨요. Textumi는 이 방식으로 작동하며, 탐지기 모델을 직접 학습하고 조정해 자체 서버에서 실행해요. 두 방식 모두 오직 글 자체에만 의존해요.

워터마킹은 별개의 개념이에요. 모델이 글을 쓰면서 통계적인 표식을 남기고, 키를 가진 쪽이 그 표식을 확인하는 방식이에요. 이런 표식을 넣는 모델에만 통하기 때문에, 어떤 글이든 읽어야 하는 탐지기는 워터마킹에 기댈 수 없어요.

탐지기는 사실을 확인하지 않고, 논지를 평가하지 않으며, 챗봇 답변 보관소에서 내 글을 찾아보지도 않아요. 의미는 같고 표현만 다른 두 글이 전혀 다른 결과를 받을 수 있어요.

결과가 판정이 아니라 신호인 이유

사람의 글과 AI의 글은 서로 겹쳐요. 고르고 예측 가능하게 쓰는 사람도 있고, 모델에게 들쭉날쭉하게 쓰라고 지시할 수도 있어요.

그 겹치는 영역 어디에 기준선을 긋든, 사람이 쓴 글 일부는 AI 쪽에, AI가 쓴 글 일부는 사람 쪽에 놓이게 돼요. 기준선을 옮기면 한 가지 실수를 다른 실수와 맞바꿀 뿐이에요.

결과 자체도 잘못 읽기 쉬워요. Textumi는 결과를 ‘사람이 작성’, ‘대부분 사람’, ‘혼합: 사람과 AI’, ‘대부분 AI’, ‘AI 생성’ 다섯 가지 라벨 중 하나로 표시해요. 앞의 두 라벨은 기준값 아래, 나머지 세 라벨은 기준값 위에 있어요. 라벨은 글 전체의 문체가 어떻게 읽히는지를 나타낼 뿐, AI가 썼을 확률이나 생성된 부분의 비율을 뜻하지 않아요.

다른 탐지기가 퍼센트를 보여 준다면, 그 역시 모델의 추정치이므로 똑같이 신중하게 받아들여야 해요.

이런 한계는 잘 알려져 있어요. 2023년 OpenAI는 정확도가 낮다는 이유로 자체 AI 텍스트 분류기를 철회했고, 같은 해 스탠퍼드 대학교 연구진은 탐지기가 영어 원어민보다 비원어민이 쓴 에세이를 더 자주 AI로 표시한다고 보고했어요.

바꿔 쓰기와 편집이 결과에 미치는 영향

탐지기는 받은 글을 판단해요. 표현이 바뀌면 결과도 바뀌어요.

사람이 AI 생성 글을 한 문장씩 고쳐 쓰면 탐지기가 아는 패턴이 줄어들어요. 반대로 AI 어시스턴트가 사람의 글을 다듬으면 그런 패턴이 늘어나요.

그 결과는 섞인 글이에요. 순수하게 사람이 쓴 글과 순수하게 AI가 쓴 글의 예시로 학습한 탐지기는 이런 글을 어느 쪽에든 놓을 수 있어요.

저희 휴머나이저를 포함한 바꿔 쓰기 도구도 마찬가지예요. 휴머나이저가 목표로 하는 것은 점수가 아니라 원문의 사실과 논리를 지키는 자연스러운 표현이에요. 다시 쓴 글은 새로운 표현이고, 탐지기의 결과는 글의 출처가 아니라 그 표현에 대한 것이기 때문에, 한 탐지기가 문제 삼지 않은 글을 다른 탐지기가 AI로 표시할 수도 있어요.

대대적인 문법 교정과 번역도 결과를 움직이며, 때로는 AI 쪽으로 기울게 해요.

새 모델이 계속 움직이는 과녁인 이유

탐지기는 학습 데이터에 글이 들어간 모델을, 그것도 그 시점에 그 모델이 쓰던 방식대로만 알아요. 더 새롭거나 다른 모델의 글은 그와 닮았을 수도, 아닐 수도 있으며, 테스트해 봐야만 알 수 있어요.

영어와 우크라이나어를 제외한 언어의 Textumi 탐지기는 널리 쓰이는 두 AI 모델이 쓴 글로 학습했어요. 다른 모델의 글은 이 테스트 범위 밖에 있고, 저희가 탐지기를 계속 개선하며 버전별로 출시하는 이유 가운데 하나도 여기에 있어요.

영어가 아닌 언어가 더 어려운 이유

영어 글로 학습한 모델이 저절로 다른 언어에서도 똑같이 잘 작동하지는 않아요. 언어마다 고유한 사람의 글, 고유한 AI 글, 고유한 테스트가 필요해요.

가장 어려운 부분은 사람이 썼다는 것이 확실한 글을 모으는 일이에요. 사용자가 적은 언어일수록 그런 글이 적어서, 학습 데이터가 몇몇 장르에만 치우치는 경우가 많아요.

Textumi는 언어마다 별도의 분류기를 학습시켜요. 영어와 우크라이나어 탐지기가 가장 철저하게 검증되었어요. 다른 언어의 탐지기는 Wikimedia 프로젝트의 산문과 두 AI 모델이 쓴 글로 학습하고 테스트했어요.

다른 장르의 글에서는 이 중 몇몇 탐지기가 AI 글을 많이 놓치는데, 프랑스어, 베트남어, 튀르키예어, 인도네시아어, 네덜란드어가 여기에 해당해요. 번역된 글은 어떤 언어에서든 또 하나의 오류 원인이 돼요.

AI 탐지기와 휴머나이저 지원 언어Textumi AI 탐지기를 만들고 테스트하는 방법

결과를 책임감 있게 읽는 방법

• 라벨을 보기 전에 강조 표시된 구간부터 읽으세요. 신호가 어디서 나오는지 보여 주므로 그 문장을 직접 판단할 수 있어요.
• 길이를 고려하세요. 50단어 미만이면 Textumi는 라벨 대신 ‘판단하기에는 텍스트가 너무 적어요’라고 표시하며, 어떤 탐지기든 짧은 글의 결과는 신중하게 봐야 해요.
• 장르와 언어를 고려하세요. 격식 있는 편지에 대한 AI 표시나 더 좁은 범위의 텍스트로 테스트한 언어의 결과는, 긴 영어 에세이에 대한 같은 결과보다 무게가 가벼워요.
• ‘사람이 작성’과 ‘대부분 사람’은 추정으로 받아들이세요. 탐지기가 AI처럼 보이는 부분을 거의 찾지 못했다는 뜻이지, 사람이 썼다는 것이 확실하다는 뜻은 아니에요.
• 무엇이든 결정하기 전에 다른 증거를 모으세요. 초안, 버전 기록, 글쓴이와의 대화가 어떤 탐지기보다 작성자에 대해 더 많은 것을 알려 줘요.

사람이 쓴 글이 AI로 표시되는 이유책임 있는 사용