Cách Trình phát hiện AI của Textumi được xây dựng và kiểm thử

Mỗi ngôn ngữ một bộ phân loại

Tiếng Ukraina và mười tám ngôn ngữ được bổ sung sau này dùng chung một bộ mã hóa đa ngôn ngữ, tức một mô hình chuyển văn bản thành các con số. Bộ mã hóa này được đóng băng, nên trọng số của nó không bao giờ thay đổi. Bên trên nó là một bộ phân loại nhỏ chỉ được huấn luyện cho một ngôn ngữ.

Văn bản dài được đọc theo các cửa sổ liên tiếp, và kết quả được gộp thành một điểm số cho toàn văn bản. Tối đa ba đoạn văn từ 50 từ trở lên cũng được chấm điểm riêng, và đó chính là những đoạn trình phát hiện đánh dấu.

Tiếng Anh có một mô hình riêng, ra đời sớm hơn: bộ mã hóa tiếng Anh đóng băng của riêng nó, các bộ phân loại do Textumi huấn luyện bên trên, và một mô hình thứ hai có tín hiệu được kết hợp với tín hiệu của chúng theo một quy tắc cố định.

Văn bản luôn được chấm điểm bằng bộ phân loại của chính ngôn ngữ đó. Ngôn ngữ nào chưa có bộ phân loại được phê duyệt sẽ nhận thông báo lỗi, không bao giờ nhận điểm số mượn từ một ngôn ngữ khác.

Văn bản huấn luyện đến từ đâu

Văn bản do người viết cho mười tám ngôn ngữ lấy từ các dự án Wikimedia: tin tức trên Wikinews, bài viết Wikipedia và trang thảo luận của Wikipedia. Tiếng Hindi, tiếng Indonesia, tiếng Việt, tiếng Hebrew và tiếng Đan Mạch không có Wikinews, nên sách giáo khoa trên Wikibooks được dùng thay thế.

Mỗi văn bản là một đoạn văn xuôi trọn vẹn dài từ 80 đến 280 từ, lấy từ phiên bản sửa đổi cuối cùng của trang trước năm 2020. Mốc thời gian đó là bằng chứng cho thấy văn bản do người viết. Không văn bản nào được gán nhãn là của người chỉ vì một trình phát hiện khác nói vậy.

Những bài sơ khai do chương trình tạo ra và các thông báo lặp lại từ trang này sang trang khác được lọc bỏ. Bộ lọc giúp giảm bớt chúng nhưng không thể bắt được tất cả.

Mỗi văn bản do người viết đều có một văn bản AI tương ứng cùng chủ đề, cùng thể loại, cùng ngôn ngữ và độ dài tương đương. Hai mô hình AI được dùng rộng rãi của hai nhà cung cấp khác nhau đã viết các văn bản tương ứng này, mỗi mô hình cho một nửa số nguồn. Những câu trả lời bị cắt ngang, chép lại nguồn hoặc không phải văn xuôi thuần túy đều bị loại bỏ.

Kho văn bản tiếng Ukraina có từ trước: gồm các văn bản Wikimedia trong quá khứ và văn bản AI từ một mô hình. Không có văn bản nào của khách hàng được dùng để huấn luyện bất kỳ trình phát hiện nào.

Bài kiểm thử niêm phong, chỉ mở một lần cho mỗi phiên bản

Văn bản được nhóm theo nguồn, nên các chương của cùng một cuốn sách giáo khoa hay các kho lưu trữ của cùng một trang thảo luận luôn đi cùng nhau. Các nhóm được chia một lần thành ba phần: huấn luyện, hiệu chỉnh và kiểm thử. Một văn bản do người viết và văn bản AI tương ứng của nó luôn nằm trong cùng một phần.

Phần kiểm thử gồm khoảng 200 nhóm nguồn. Nó được giữ niêm phong trong suốt quá trình chọn bộ phân loại và đặt ngưỡng, rồi chỉ được mở một lần.

Nếu phiên bản không đạt, bài kiểm thử đó sẽ không được dùng lại. Văn bản của nó trở thành dữ liệu huấn luyện, và phiên bản tiếp theo được kiểm thử trên các nhóm nguồn mới mà chưa phiên bản nào trước đó từng thấy. Cách làm này ngăn chúng tôi tinh chỉnh một bộ phân loại cho đến khi nó tình cờ khớp với chính đề thi của mình.

Ngưỡng và các nhãn kết quả được đặt như thế nào

Với mười tám ngôn ngữ, ngưỡng được đặt ở mức tối đa 2 trên 100 văn bản do người viết bị gắn cờ. Tỷ lệ này được tính trên những văn bản do người viết mà bộ phân loại chưa từng học, mà ở các phiên bản đầu tiên là phần hiệu chỉnh.

Các phiên bản được tạo sau ngày 12 tháng 10 năm 2026 tính tỷ lệ này trên mọi văn bản nằm ngoài phần kiểm thử, mỗi văn bản được chấm bởi một bộ phân loại chưa từng thấy nhóm nguồn của nó. Ngưỡng được cố định trước khi mở bài kiểm thử.

Quy tắc này cố ý giữ cho dương tính giả ở mức hiếm và chấp nhận bỏ sót nhiều văn bản AI hơn. Nó không biến điểm số thành xác suất.

Ngưỡng của mỗi bộ phân loại được đặt tại 0,5 trên thang điểm từ 0 đến 1 của mô hình. Điểm đó là đường tín hiệu. Trên textumi.com, điểm số được hiển thị không kèm con số: một kim chỉ trên thang đo từ “Con người” đến “AI” và một trong năm nhãn.

Văn bản dưới 50 từ không nhận nhãn: thay vào đó, Textumi hiển thị “Quá ít văn bản để đánh giá”. Mọi nhãn đều là ước tính dựa trên văn phong, không phải tỷ lệ văn bản AI đo được và không phải bằng chứng về tác giả. Trợ lý AI kết nối qua MCP nhận chính điểm số dưới dạng một con số.

Mức chuẩn một phiên bản phải vượt qua trước khi phát hành

Phiên bản cho một trong mười tám ngôn ngữ chỉ được đưa vào sử dụng nếu bài kiểm thử của nó có ít nhất 150 văn bản do người viết và 150 văn bản AI, đồng thời cả ba điều kiện sau đều được đáp ứng trên bài kiểm thử đó:

• không quá 5% văn bản do người viết bị gắn cờ, để dương tính giả luôn ở mức thấp;
• tìm ra ít nhất 60% văn bản AI trên toàn bộ bài kiểm thử;
• tìm ra ít nhất 50% văn bản AI trong từng lĩnh vực của kho văn bản: tin tức hoặc sách giáo khoa, bài viết bách khoa và thảo luận.

Trước khi phê duyệt, bộ phân loại đã xuất được nạp bằng chính mã nguồn xử lý các yêu cầu thực tế, và điểm số của nó được so sánh với điểm số nó đã cho ra trong quá trình huấn luyện.

Ngôn ngữ nào có phiên bản không vượt qua mức chuẩn sẽ không được đưa vào sử dụng. Tiếng Séc không vượt qua, vì vậy Textumi không hỗ trợ tiếng Séc.

Tiếng Hà Lan là ngoại lệ duy nhất. Phiên bản hiện tại của nó suýt soát không đạt: tìm ra 59,8% văn bản AI trong khi yêu cầu là 60%, và 49,4% trong các bài viết bách khoa trong khi yêu cầu là 50%. Textumi vẫn quyết định đưa nó vào sử dụng và giữ nguyên bản thân quy tắc.

Một phiên bản đã phát hành cho bạn biết điều gì

Một phiên bản đã phát hành từng đáp ứng quy tắc một lần, trên văn xuôi Wikimedia và văn bản từ hai mô hình AI. Điều đó mô tả cách nó hoạt động trên loại tư liệu ấy. Nó không bảo đảm độ chính xác trên các văn bản khác và không đưa ra xác suất đã hiệu chỉnh về tác giả.

Trình phát hiện cho tiếng Anh và tiếng Ukraina được đưa vào sử dụng lâu nhất. Bộ phân loại tiếng Ukraina được kiểm thử trên 200 văn bản do người viết và 198 văn bản AI từ 200 nhóm nguồn, còn mô hình tiếng Anh trên một tập giữ lại nhỏ gồm 80 văn bản do người viết và 20 văn bản AI. Điểm số của chúng cũng là những tín hiệu chưa được hiệu chỉnh.

Những gì các bài kiểm thử không bao quát

• Các thể loại khác. Trên một tập nhỏ văn bản AI thuộc các loại khác như thông báo, đơn khiếu nại và hướng dẫn, trình phát hiện cho tiếng Pháp, tiếng Việt, tiếng Thổ Nhĩ Kỳ và tiếng Indonesia đã bỏ sót phần lớn, còn trình phát hiện cho tiếng Thụy Điển và tiếng Hà Lan bỏ sót khoảng một nửa. Tiếng Bồ Đào Nha, tiếng Ả Rập, tiếng Ba Lan, tiếng Đức, tiếng Ý, tiếng Na Uy (Bokmål) và tiếng Đan Mạch chưa được kiểm tra trên các thể loại khác.
• Văn bản ngắn. Các đoạn trích huấn luyện dài ít nhất 80 từ. Dưới 50 từ, Textumi không đưa ra nhãn, và kết quả cho văn bản chỉ dài hơn mức đó một chút vẫn kém tin cậy hơn ở mọi ngôn ngữ.
• Văn bản kết hợp và đã chỉnh sửa. Kho văn bản chỉ gồm văn bản hoàn toàn do người viết và hoàn toàn do AI tạo, nên một bản nháp AI đã qua chỉnh sửa hay một văn bản do người viết được trau chuốt kỹ đều nằm ngoài phạm vi đã kiểm thử.
• Các mô hình AI khác. Văn bản AI trong kho đến từ hai mô hình, và văn bản từ bất kỳ công cụ tạo văn bản nào khác không nằm trong bài kiểm thử.
• Tiếng Anh ở quy mô lớn. Mô hình tiếng Anh được kiểm tra trên một tập nhỏ hơn nhiều so với trình phát hiện của các ngôn ngữ khác.

Vì sao văn do người viết vẫn bị gắn cờCác ngôn ngữ và tình trạng của từng ngôn ngữ

Các phiên bản thay đổi như thế nào

Mỗi bộ phân loại đều có số phiên bản. Phiên bản mới đồng nghĩa với một lần chia lại kho văn bản và một bài kiểm thử niêm phong mới, và mọi thay đổi về ngưỡng đều cần được thẩm định riêng và ghi vào hồ sơ phiên bản.

Textumi liên tục cải thiện chất lượng của trình phát hiện, và mọi phiên bản mới đều phải tuân theo cùng một quy tắc. Một phiên bản chỉ được đánh giá trên những nguồn nó chưa từng thấy, và mỗi lần phát hành là một quyết định riêng. Khi phương pháp thay đổi, trang này và ngày cập nhật của nó cũng thay đổi theo.