Hai loại sai
Công cụ phát hiện có thể sai theo hai chiều. Nó có thể gắn cờ một văn bản do người viết, gọi là dương tính giả, hoặc để lọt một văn bản AI, gọi là bỏ sót.
Hai loại sai này kéo ngược chiều nhau. Mọi công cụ phát hiện đều so một điểm số với một ngưỡng: đặt ngưỡng thấp hơn thì bắt được nhiều văn bản AI hơn nhưng gắn cờ nhiều người hơn; đặt ngưỡng cao hơn thì gắn cờ ít người hơn nhưng bỏ sót nhiều văn bản AI hơn. Không mức thiết lập nào loại bỏ được cả hai.
Vì vậy, câu hỏi đầu tiên cần đặt ra với bất kỳ công cụ phát hiện nào không phải là nó chính xác đến đâu, mà là nó cố tránh loại sai nào. Với những quyết định liên quan đến con người, dương tính giả thường là loại sai gây hại hơn.
Ngay cả các công ty lớn cũng gặp phải điều này. Năm 2023, OpenAI đã rút lại công cụ phân loại văn bản AI của chính mình với lý do độ chính xác thấp.
Vì sao những tuyên bố chính xác 99% gây hiểu lầm
Một con số chính xác duy nhất che giấu nhiều hơn là cho thấy. Nó gộp hai loại sai vào một con số, và chỉ mô tả một tập kiểm thử do chính người tiến hành kiểm thử lựa chọn.
Tập kiểm thử đó là yếu tố quan trọng nhất. Một công cụ phát hiện được đo trên các câu trả lời thô, chưa chỉnh sửa của chatbot bằng tiếng Anh sẽ trông tốt hơn nhiều so với chính công cụ đó khi gặp văn bản ngắn, đã chỉnh sửa hoặc được dịch sang ngôn ngữ khác.
Tỷ lệ sai nhỏ cũng cộng dồn lại. Giả sử một công cụ phát hiện gắn cờ nhầm 1 trên 100 văn bản do người viết. Trong một khóa học có 300 bài luận trung thực, sẽ có khoảng ba sinh viên bị gắn cờ vì bài do chính mình viết.
Khi đọc một tuyên bố về độ chính xác, hãy tìm xem đằng sau nó là gì: những ngôn ngữ và thể loại nào đã được kiểm thử, văn bản dài bao nhiêu, có được chỉnh sửa không, ai chọn các văn bản do người viết và bao nhiêu văn bản do người viết đã bị gắn cờ. Một tuyên bố thiếu những chi tiết đó cho bạn biết rất ít.
Công cụ phát hiện hay gặp khó ở đâu
Công cụ phát hiện làm kém nhất với chính những văn bản mà người ta thường cần kiểm tra nhất:
- Văn bản ngắn. Vài câu chứa quá ít bằng chứng, nên Textumi hiển thị “Quá ít văn bản để đánh giá” với mọi văn bản dưới 50 từ.
- Văn bản đã chỉnh sửa, diễn đạt lại hoặc dịch. Mỗi thay đổi đều đẩy câu chữ ra xa những gì công cụ phát hiện đã học, theo cả hai chiều.
- Lối viết trang trọng và theo khuôn mẫu, như bản tóm tắt khoa học, thư xin việc và công văn, vốn theo những mẫu mà công cụ phát hiện có thể coi là giống máy.
- Bài viết bằng ngôn ngữ thứ hai. Năm 2023, các nhà nghiên cứu ở Stanford cho biết công cụ phát hiện gắn cờ bài luận của người viết tiếng Anh không phải bản ngữ thường xuyên hơn.
- Những ngôn ngữ và thể loại mà công cụ phát hiện ít được thấy trong quá trình huấn luyện.
Điểm cuối cùng cũng áp dụng cho Textumi. Trình phát hiện của chúng tôi cho các ngôn ngữ ngoài tiếng Anh và tiếng Ukraina được huấn luyện và kiểm thử trên văn xuôi Wikimedia. Trên một mẫu nhỏ văn bản AI thuộc các loại khác, như thông báo, thư khiếu nại và hướng dẫn, trình phát hiện tiếng Pháp, tiếng Việt, tiếng Thổ Nhĩ Kỳ và tiếng Indonesia không nhận ra phần lớn trong số đó, còn trình phát hiện tiếng Thụy Điển và tiếng Hà Lan bỏ sót khoảng một nửa.
Vì sao văn do người viết vẫn bị gắn cờCông cụ phát hiện AI hoạt động như thế nào
Cách tự kiểm thử một công cụ phát hiện
Bài kiểm thử công bằng nhất là bài bạn tự chạy trên những văn bản giống văn bản của mình. Việc này mất khoảng một giờ và cho bạn biết nhiều hơn bất kỳ con số được công bố nào.
- Thu thập từ mười văn bản trở lên mà bạn biết chắc do người viết, bằng ngôn ngữ và thể loại của bạn, tốt nhất là được viết từ trước khi trợ lý AI trở nên phổ biến.
- Viết hoặc tạo cùng số lượng văn bản AI với chủ đề và độ dài tương tự, rồi chỉnh sửa vài văn bản theo đúng cách người ta vẫn làm.
- Kiểm tra từng văn bản bằng mỗi công cụ phát hiện bạn đang so sánh và ghi lại kết quả, không thay đổi gì giữa các lần kiểm tra.
- Đếm riêng bao nhiêu văn bản do người viết bị gắn cờ và bao nhiêu văn bản AI bị bỏ sót, và xem mỗi công cụ phát hiện đã đánh dấu những đoạn nào.
Nếu một công cụ phát hiện gắn cờ nhiều văn bản mà bạn biết chắc do người viết, hãy hết sức thận trọng với kết quả của nó trên loại văn bản đó, dù quảng cáo của nó nói gì.
Textumi kiểm thử trình phát hiện của mình như thế nào
Chúng tôi không công bố một con số chính xác duy nhất cho Textumi, vì không có con số trung thực nào đúng cho mọi ngôn ngữ và mọi loại văn bản. Thay vào đó, chúng tôi công bố quy tắc mà mỗi phiên bản trình phát hiện phải đáp ứng.
Với các ngôn ngữ ngoài tiếng Anh và tiếng Ukraina, ngưỡng được đặt ở mức tối đa 2 trên 100 văn bản do người viết mà bộ phân loại chưa từng học bị gắn cờ. Cách này giữ cho dương tính giả ở mức hiếm và chấp nhận rằng nhiều văn bản AI hơn sẽ bị bỏ sót.
Mỗi phiên bản được kiểm thử một lần trên một tập văn bản niêm phong mà nó chưa từng thấy, với điều kiện cho cả hai loại sai. Mọi bài kiểm thử không đạt đều bị loại bỏ. Trang Phương pháp luận trình bày chi tiết quy tắc này, ngôn ngữ duy nhất mà Textumi vẫn cung cấp theo quyết định của chính mình dù bài kiểm thử chỉ thiếu một chút, và những gì các bài kiểm thử không bao quát.
Dù quy tắc thế nào, kết quả vẫn là một ước tính dựa trên văn phong. Đó không phải xác suất và không phải bằng chứng về người viết.
Trình phát hiện AI của Textumi được xây dựng và kiểm thử thế nào
Câu hỏi thường gặp
Công cụ phát hiện AI có chính xác không?
Chúng có thể hữu ích, nhưng không công cụ nào chính xác một cách đáng tin cậy với mọi văn bản. Mọi công cụ phát hiện đều gắn cờ một phần văn do người viết và bỏ sót một phần văn do AI viết, ở mức độ khác nhau, tùy theo ngôn ngữ, thể loại, độ dài và mức độ chỉnh sửa của văn bản. Mọi kết quả nên được coi là tín hiệu cần đặt trong bối cảnh, không phải bằng chứng về tác giả.
Công cụ phát hiện AI có thể chính xác 99% không?
Một công cụ phát hiện có thể đạt điểm rất cao trên một tập văn bản, nhưng điểm đó chỉ nói lên điều gì đó về chính những văn bản ấy, thường là văn bản dài và chưa chỉnh sửa, và nó gộp hai loại sai vào một con số. Cùng công cụ đó có thể làm kém hơn nhiều với văn bản ngắn, đã chỉnh sửa, được dịch hoặc trang trọng. Vì vậy, hãy tìm hiểu xem điểm số đó được đo trên những gì.
Công cụ phát hiện AI nào chính xác nhất?
Không có một câu trả lời trung thực duy nhất. Các công ty kiểm thử trên văn bản của riêng họ, và các con số không so sánh được với nhau. Công cụ phát hiện tốt nhất với bạn là công cụ gắn cờ ít nhất những văn bản bạn biết chắc do người viết, mà vẫn gắn cờ được văn bản do AI tạo thuộc loại của bạn, nên hãy thử vài công cụ trên chính văn bản của mình.
Độ chính xác của Textumi là bao nhiêu?
Chúng tôi không công bố một con số duy nhất vì nó sẽ không đúng cho mọi ngôn ngữ và thể loại. Thay vào đó, chúng tôi công bố phương pháp: với các ngôn ngữ ngoài tiếng Anh và tiếng Ukraina, ngưỡng cho phép tối đa 2 trên 100 văn bản do người viết bị gắn cờ trong số các văn bản mô hình chưa từng học, và mỗi phiên bản phải đáp ứng các điều kiện trong một bài kiểm thử niêm phong. Chi tiết có trên trang Phương pháp luận.
Vì sao hai công cụ phát hiện cho kết quả khác nhau với cùng một văn bản?
Chúng được huấn luyện trên những ví dụ khác nhau và vạch ngưỡng ở những chỗ khác nhau. Văn bản nằm sát ngưỡng có thể rơi vào bất kỳ phía nào, và một công cụ có thể phản ứng với câu chữ mà công cụ khác bỏ qua. Đó là lý do một kết quả đơn lẻ, từ bất kỳ công cụ phát hiện nào, nói lên ít hơn người ta thường nghĩ.
Kết quả phát hiện có nên quyết định điểm số hay việc tuyển dụng không?
Không. Kết quả là một tín hiệu thống kê về câu chữ và không bao giờ nên là căn cứ duy nhất cho một quyết định về con người. Bản nháp, lịch sử phiên bản, nguồn tham khảo và cuộc trao đổi về bài làm cho thấy ai là tác giả rõ hơn nhiều, và chúng bảo vệ những người có lối viết trung thực tình cờ trông dễ đoán.