Vì sao bài viết của tôi bị gắn cờ là AI? Giải thích về dương tính giả

Dương tính giả là gì

Dương tính giả là khi một văn bản do người viết lại bị trình phát hiện đánh dấu là do AI tạo.

Trình phát hiện không biết ai đã viết văn bản. Nó chấm điểm câu chữ, so điểm đó với một ngưỡng và báo mọi thứ vượt ngưỡng là tín hiệu AI. Chắc chắn sẽ có những văn bản do người viết rơi vào vùng trên ngưỡng.

Không có cài đặt nào khắc phục được điều này. Ngưỡng cao hơn sẽ gắn cờ ít văn bản của người hơn nhưng bỏ sót nhiều văn bản AI hơn, còn ngưỡng thấp hơn thì ngược lại.

Các công ty lớn cũng vấp phải giới hạn này. Năm 2023, OpenAI đã rút lại công cụ phân loại văn bản AI của chính họ với lý do độ chính xác thấp.

Văn của ai dễ bị gắn cờ hơn

Dương tính giả không xảy ra đồng đều với mọi loại văn bản. Trình phát hiện sai nhiều nhất ở những trường hợp sau:

• Văn viết bằng ngoại ngữ. Năm 2023, các nhà nghiên cứu ở Stanford báo cáo rằng trình phát hiện AI gắn cờ bài luận của người viết tiếng Anh không phải tiếng mẹ đẻ thường xuyên hơn bài của người bản ngữ.
• Văn trang trọng và theo khuôn mẫu. Thư xin việc, bản tóm tắt, email công việc và văn bản hành chính đều theo những mô thức cố định, mà lối diễn đạt dễ đoán chính là thứ trình phát hiện phản ứng.
• Văn bản ngắn. Vài câu văn cho quá ít thông tin để đánh giá, vì thế Textumi không hiển thị nhãn với văn bản dưới 50 từ, và kết quả cho văn bản chỉ dài hơn mức đó một chút vẫn kém tin cậy hơn.
• Văn đã được trau chuốt kỹ. Công cụ sửa ngữ pháp, dịch thuật và nhiều vòng biên tập làm mất đi những điểm lởm chởm nhỏ của một bản nháp thật.

Bạn không cần viết dở đi để trông giống người viết. Nhưng ai đọc kết quả của trình phát hiện cũng nên biết rằng một lần gắn cờ với những loại văn bản này có ít trọng lượng hơn.

Kết quả của trình phát hiện không chứng minh được điều gì

Trình phát hiện chỉ thấy văn bản hoàn chỉnh. Nó không thấy ghi chép, tài liệu nguồn, số giờ bạn bỏ ra hay các phiên bản trước của tệp. Nó không phân biệt được một người viết cẩn thận với một mô hình bắt chước lối viết cẩn thận.

Kết quả của trình phát hiện không phải là xác suất. Textumi gọi tên kết quả bằng một trong năm nhãn, từ “Do con người viết” đến “Do AI tạo”. Ngay cả nhãn “Do AI tạo” cũng không có nghĩa văn bản gần như chắc chắn do AI viết, và “Phần lớn do AI” không có nghĩa mô hình đã viết phần lớn các câu. Nhãn chỉ cho biết câu chữ rất giống với những gì trình phát hiện đã học để gắn với AI.

Nếu một trình phát hiện khác hiển thị con số phần trăm, hãy đọc nó với sự thận trọng tương tự. Đó cũng là điểm số của mô hình, không phải tỷ lệ văn bản do AI tạo.

Hai trình phát hiện có thể đánh giá cùng một văn bản khác nhau. Chúng được huấn luyện trên những ví dụ khác nhau, và mỗi công cụ đặt ngưỡng ở một chỗ khác nhau.

Nên làm gì nếu bạn bị cáo buộc dùng AI

Tự thân kết quả của trình phát hiện là bằng chứng yếu. Hồ sơ cho thấy văn bản đã được làm ra như thế nào có sức nặng hơn nhiều. Hãy làm lần lượt theo các bước sau.

1. Hỏi xem trình phát hiện nào đã được dùng, nó cho thấy chính xác điều gì và những người đánh giá bài của bạn coi kết quả nào là cơ sở để nghi ngờ.
2. Tập hợp các bản nháp, dàn ý, ghi chép và tài liệu nguồn, kể cả những phiên bản thô mà bình thường bạn không cho ai xem.
3. Mở lịch sử phiên bản của tài liệu. Cả Google Docs và Microsoft Word đều có thể ghi lại quá trình văn bản thay đổi theo thời gian, và một chuỗi chỉnh sửa nhỏ trải dài nhiều ngày là thứ rất khó bác bỏ.
4. Đề nghị được trình bày về bài làm. Việc giải thích lập luận, nguồn tài liệu và các lựa chọn của bạn cho thấy ai là tác giả theo cách mà không trình phát hiện nào làm được.
5. Đề nghị xem quy định bằng văn bản về việc dùng AI và về kết quả của trình phát hiện, đồng thời yêu cầu quyết định không chỉ dựa vào một kết quả của trình phát hiện.

Với những bài sau này, hãy viết trong trình soạn thảo có lưu lịch sử phiên bản và giữ lại ghi chép. Việc đó không tốn gì khi bạn đang làm, còn bằng chứng thì rất khó dựng lại về sau.

Textumi đặt ngưỡng như thế nào

Trình phát hiện của Textumi do chính chúng tôi phát triển: chúng tôi tự huấn luyện và tinh chỉnh các mô hình, chạy chúng trên máy chủ riêng và liên tục cải thiện. Ngưỡng của nó, tức mức mà từ đó trở lên công cụ báo tín hiệu AI, được cố ý đặt sao cho càng ít văn bản của người bị gắn cờ càng tốt, dù khi đó một số văn bản AI sẽ lọt qua.

Với mọi ngôn ngữ ngoài tiếng Anh và tiếng Ukraina, ngưỡng được đặt ở mức không quá hai trên một trăm văn bản do người viết bị gắn cờ. Chúng tôi tính tỷ lệ này trên những văn bản do người viết mà mô hình chưa từng học.

Ngưỡng cho tiếng Ukraina được đặt theo một phiên bản trước đó của cùng quy tắc này. Trình phát hiện cho tiếng Anh là một mô hình cũ hơn, với ngưỡng cố định riêng.

Đây là lựa chọn về việc nên tránh loại sai nào, không phải lời hứa về độ chính xác trên văn bản của bạn. Các con số được tính trên một loại văn bản, là văn xuôi từ các dự án Wikimedia, nên với một bức thư xin việc hay một email ngắn, tỷ lệ văn bản của người bị gắn cờ có thể cao hơn.

Còn có một lớp bảo vệ thứ hai. Phiên bản trình phát hiện mới cho bất kỳ ngôn ngữ nào trong số này sẽ không được phát hành nếu nó gắn cờ quá năm trên một trăm văn bản do người viết trong tập văn bản kiểm thử mà nó chưa từng thấy.

Dưới ngưỡng, kết quả là “Do con người viết” hoặc “Phần lớn do con người”. Những nhãn này cũng là ước tính dựa trên văn phong: Textumi không thể chứng minh chắc chắn một người đã viết văn bản, vì mô hình không thấy được văn bản đã được làm ra như thế nào.

Cách Trình phát hiện AI của Textumi được xây dựng và kiểm thử

Đọc một kết quả bị gắn cờ trong Textumi

Hãy bắt đầu từ các đoạn được đánh dấu, đừng bắt đầu từ cái nhãn dưới kim chỉ. Nếu tín hiệu đến từ một đoạn văn trang trọng trong một bài luận cá nhân, nó cho bạn biết về đoạn văn đó, chứ không phải về bạn.

Với văn bản dưới 50 từ, Textumi không hiển thị nhãn mà chỉ hiện “Quá ít văn bản để đánh giá”, vì đánh giá dựa trên quá ít chữ là không đáng tin. Hãy kiểm tra một đoạn dài hơn trong cùng tài liệu: từ 50 từ trở lên, ước tính sẽ đáng tin cậy hơn.

Nếu một đoạn bị gắn cờ thực sự đọc cứng nhắc, hãy tự sửa lại hoặc nhờ Humanizer tạo một phiên bản tự nhiên hơn mà vẫn giữ nguyên ý. Việc đó thay đổi câu chữ chứ không thay đổi lịch sử của văn bản, và một trình phát hiện khác vẫn có thể gắn cờ nó.

Mở Trình phát hiện AI