Textumi AI 탐지기를 만들고 테스트하는 방법

언어마다 하나의 분류기

우크라이나어와 나중에 추가된 열여덟 개 언어는 하나의 다국어 인코더를 함께 써요. 인코더는 텍스트를 숫자로 바꾸는 모델이에요. 이 인코더는 고정되어 있어서 가중치가 바뀌지 않아요. 그 위에 한 언어만을 위해 학습한 작은 분류기가 놓여요.

긴 텍스트는 일정한 길이의 연속된 단위로 나눠 읽고, 그 결과를 합쳐 텍스트 전체에 대한 점수 하나를 내요. 50단어 이상인 문단은 최대 세 개까지 따로 점수를 매기며, 탐지기가 강조 표시하는 구간이 바로 이 문단들이에요.

영어에는 그보다 오래된 별도의 모델이 있어요. 고정된 영어 전용 인코더, Textumi가 그 위에 학습시킨 분류기, 그리고 정해진 규칙에 따라 신호를 분류기의 신호와 합치는 두 번째 모델로 이루어져 있어요.

텍스트는 언제나 해당 언어의 분류기로 점수를 매겨요. 승인된 분류기가 없는 언어에는 오류 메시지가 표시되며, 다른 언어의 점수를 빌려 오는 일은 없어요.

학습 텍스트의 출처

열여덟 개 언어의 사람 텍스트는 Wikimedia 프로젝트에서 가져와요. 위키뉴스의 기사, 위키백과 문서, 위키백과 토론 페이지예요. 힌디어, 인도네시아어, 베트남어, 히브리어, 덴마크어에는 위키뉴스가 없어서 위키책의 교재로 대신했어요.

각 텍스트는 2020년 이전에 이루어진 해당 페이지의 마지막 편집본에서 가져온 80~280단어 분량의 온전한 산문 문단이에요. 이 날짜가 사람이 썼다는 근거예요. 다른 탐지기가 사람이 썼다고 판정했다는 이유로 사람 텍스트로 분류한 글은 하나도 없어요.

프로그램이 만든 토막글과 페이지마다 반복되는 안내문은 걸러 내요. 필터로 이런 글을 줄일 수는 있지만 마지막 하나까지 모두 잡아낼 수는 없어요.

모든 사람 텍스트에는 같은 주제, 같은 장르와 언어, 비슷한 길이의 AI 짝 텍스트가 있어요. 짝 텍스트는 서로 다른 업체의 널리 쓰이는 AI 모델 두 가지가 원본의 절반씩을 맡아 썼어요. 중간에 끊긴 답변, 원본을 베낀 답변, 일반 산문이 아닌 답변은 버렸어요.

우크라이나어 말뭉치는 그보다 오래되었어요. 과거의 Wikimedia 텍스트와 한 모델이 쓴 AI 텍스트로 이루어져 있어요. 어떤 탐지기의 학습에도 고객의 텍스트는 쓰이지 않아요.

버전마다 한 번만 여는 봉인된 테스트

텍스트는 출처별로 묶어요. 그래서 교재 한 권의 여러 장이나 토론 페이지 하나의 보존 문서는 늘 함께 움직여요. 이 묶음들을 학습용, 보정용, 테스트용의 세 부분으로 단 한 번 나눠요. 사람 텍스트와 그 AI 짝 텍스트는 언제나 같은 부분에 들어가요.

테스트에는 약 200개의 출처 묶음이 들어 있어요. 분류기를 고르고 기준값을 정하는 동안에는 봉인해 두었다가, 그 뒤에 단 한 번 열어요.

버전이 통과하지 못하면 그 테스트는 다시 쓰지 않아요. 테스트 텍스트는 학습 데이터가 되고, 다음 버전은 이전 버전들이 한 번도 본 적 없는 새 출처 묶음으로 테스트해요. 이렇게 해야 분류기가 우연히 자기 시험에 맞춰질 때까지 조정하는 일을 막을 수 있어요.

기준값과 결과 라벨을 정하는 방법

열여덟 개 언어의 기준값은 사람 텍스트 100개 중 최대 2개가 AI로 표시되는 지점에 놓여요. 이 비율은 분류기가 학습하지 않은 사람 텍스트로 계산하며, 첫 버전들에서는 보정용 부분이 그 역할을 했어요.

2026년 10월 12일 이후에 만든 버전은 테스트 밖의 모든 텍스트로 이 비율을 계산하며, 각 텍스트는 그 출처 묶음을 한 번도 보지 않은 분류기로 점수를 매겨요. 기준값은 테스트를 열기 전에 고정돼요.

이 규칙은 일부러 오탐을 드물게 유지하고, 그 대가로 더 많은 AI 텍스트를 놓치는 쪽을 택해요. 그렇다고 점수가 확률이 되는 것은 아니에요.

각 분류기의 기준값은 모델의 0~1 척도에서 0.5에 놓여요. 이 지점이 신호 기준선이에요. textumi.com에서는 점수를 숫자 없이 보여 줘요. ‘사람’에서 ‘AI’까지 이어지는 게이지 위의 바늘과 다섯 가지 라벨 중 하나로 표시해요.

50단어 미만의 텍스트에는 라벨이 붙지 않고, 대신 ‘판단하기에는 텍스트가 너무 적어요’가 표시돼요. 모든 라벨은 텍스트의 문체를 바탕으로 한 추정일 뿐, 측정한 AI 텍스트의 비율도 아니고 작성자에 대한 증거도 아니에요. MCP로 연결된 AI 어시스턴트는 점수 자체를 숫자로 받아요.

출시 전에 버전이 넘어야 하는 기준

열여덟 개 언어 중 한 언어의 버전은 테스트에 사람 텍스트 150개 이상과 AI 텍스트 150개 이상이 들어 있고, 그 테스트에서 다음 세 가지 조건을 모두 충족할 때만 제공돼요.

• 사람 텍스트 중 AI로 표시되는 비율이 5% 이하여서 오탐이 적어야 해요.
• 테스트 전체에서 AI 텍스트를 60% 이상 찾아내야 해요.
• 말뭉치의 모든 영역, 즉 기사나 교재, 백과사전 문서, 토론에서 각각 AI 텍스트를 50% 이상 찾아내야 해요.

승인 전에는 내보낸 분류기를 실제 요청을 처리하는 코드와 같은 코드로 불러와, 학습 때 낸 점수와 비교해요.

버전이 기준을 넘지 못한 언어는 제공하지 않아요. 체코어는 기준을 넘지 못했기 때문에 Textumi는 체코어를 지원하지 않아요.

유일한 예외는 네덜란드어예요. 현재 버전은 기준에 아주 조금 못 미쳤어요. 60%가 필요한 곳에서 AI 텍스트를 59.8% 찾아냈고, 50%가 필요한 백과사전 문서에서는 49.4%를 찾아냈어요. Textumi는 그래도 제공하기로 결정했고, 규칙 자체는 바꾸지 않았어요.

출시된 버전이 알려 주는 것

출시된 버전은 Wikimedia의 산문과 두 AI 모델이 쓴 텍스트로 한 번 규칙을 충족했어요. 이는 그런 종류의 자료에서 버전이 어떻게 작동하는지를 보여 줄 뿐이에요. 다른 텍스트에서의 정확도를 보장하지 않으며, 작성자에 대한 보정된 확률을 제공하지도 않아요.

가장 오래 서비스된 것은 영어와 우크라이나어 탐지기예요. 우크라이나어 분류기는 200개 출처 묶음에서 나온 사람 텍스트 200개와 AI 텍스트 198개로, 영어 모델은 따로 떼어 둔 사람 텍스트 80개와 AI 텍스트 20개의 작은 세트로 테스트했어요. 이 두 언어의 점수도 보정되지 않은 신호예요.

테스트가 다루지 않는 것

• 다른 장르. 안내문, 민원, 사용 설명서 같은 다른 종류의 AI 텍스트를 담은 작은 세트에서 프랑스어, 베트남어, 튀르키예어, 인도네시아어 탐지기는 대부분을, 스웨덴어와 네덜란드어 탐지기는 절반가량을 놓쳤어요. 포르투갈어, 아랍어, 폴란드어, 독일어, 이탈리아어, 노르웨이어(보크몰), 덴마크어는 다른 장르에서 확인하지 않았어요.
• 짧은 텍스트. 학습용 발췌문은 최소 80단어예요. 50단어 미만이면 Textumi는 라벨을 붙이지 않으며, 그보다 조금 긴 텍스트의 결과도 모든 언어에서 여전히 신뢰도가 낮아요.
• 섞이거나 고쳐 쓴 글. 말뭉치에는 온전히 사람이 쓴 글과 온전히 AI가 쓴 글만 있어서, 사람이 고친 AI 초안이나 공들여 다듬은 사람의 글은 테스트 범위 밖에 있어요.
• 다른 AI 모델. 말뭉치의 AI 텍스트는 두 모델이 썼으며, 다른 생성 모델이 쓴 텍스트는 테스트에 포함되지 않았어요.
• 대규모 영어 테스트. 영어 모델은 다른 언어의 탐지기보다 훨씬 작은 세트로 확인했어요.

사람이 쓴 글이 AI로 표시되는 이유AI 탐지기와 휴머나이저 지원 언어

버전이 바뀌는 방식

모든 분류기에는 버전 번호가 있어요. 새 버전은 말뭉치를 새로 나누고 봉인된 테스트를 새로 치른다는 뜻이며, 기준값을 바꾸려면 별도의 검증과 버전 기록이 필요해요.

Textumi는 탐지기의 품질을 꾸준히 개선하고 있으며, 새 버전은 모두 같은 규칙을 거쳐요. 버전은 한 번도 본 적 없는 출처로만 평가하고, 출시는 매번 따로 결정해요. 방법이 바뀌면 이 페이지와 날짜도 함께 바뀌어요.