Công cụ phát hiện AI hoạt động thế nào và sai ở đâu

Công cụ phát hiện AI đo điều gì

Công cụ phát hiện ước tính câu chữ của một văn bản giống đến mức nào với văn bản do AI viết mà nó đã được huấn luyện.

Mô hình ngôn ngữ có xu hướng chọn những từ có khả năng xuất hiện cao nhất và tạo ra những câu đều đặn, chỉn chu. Con người khó đoán hơn: họ lặp lại chính mình, đổi nhịp và chọn những từ mà không mô hình nào ngờ tới. Công cụ phát hiện học sự khác biệt thống kê này từ rất nhiều ví dụ.

Có hai cách thiết kế phổ biến. Cách thứ nhất hỏi một mô hình ngôn ngữ khác xem từng từ trong văn bản dễ đoán đến mức nào và coi văn bản rất dễ đoán là đáng ngờ. Thước đo đó gọi là perplexity (độ hỗn loạn).

Cách thứ hai là một bộ phân loại đã được huấn luyện. Bộ mã hóa biến văn bản thành một tập hợp các con số, và một bộ phân loại được huấn luyện trên ví dụ của người và AI sẽ chấm điểm những con số đó. Textumi làm theo cách này, với các mô hình phát hiện do chúng tôi tự huấn luyện, tinh chỉnh và vận hành trên máy chủ của mình. Cả hai cách đều chỉ dựa vào chính văn bản.

Thủy vân (watermark) là một ý tưởng khác: mô hình để lại một dấu hiệu thống kê trong văn bản khi viết, và ai giữ khóa có thể kiểm tra dấu hiệu đó. Cách này chỉ hiệu quả với những mô hình có gắn dấu như vậy, nên công cụ phát hiện muốn đọc mọi loại văn bản không thể dựa vào nó.

Công cụ phát hiện không kiểm chứng dữ kiện, không đánh giá lập luận và không tra văn bản của bạn trong kho câu trả lời của chatbot. Hai văn bản cùng ý nghĩa nhưng khác câu chữ có thể nhận kết quả rất khác nhau.

Vì sao kết quả là tín hiệu chứ không phải phán quyết

Văn do người viết và văn do AI viết có phần chồng lấn. Có người viết đều đặn và dễ đoán, còn mô hình có thể được yêu cầu viết không đều.

Dù ngưỡng được vạch ở đâu trong vùng chồng lấn đó, vẫn có văn do người viết rơi sang phía AI và văn do AI viết rơi sang phía con người. Dịch chuyển ngưỡng chỉ đổi loại sai này lấy loại sai kia.

Bản thân kết quả cũng dễ bị hiểu sai. Textumi gọi tên kết quả bằng một trong năm nhãn: “Do con người viết”, “Phần lớn do con người”, “Kết hợp: con người và AI”, “Phần lớn do AI” và “Do AI tạo”. Hai nhãn đầu nằm dưới ngưỡng, ba nhãn sau nằm trên ngưỡng. Nhãn mô tả văn phong của cả văn bản đọc lên ra sao, không phải xác suất văn bản do AI viết hay tỷ lệ phần văn bản được tạo ra.

Nếu một công cụ phát hiện khác hiển thị tỷ lệ phần trăm, đó cũng là ước tính của mô hình và cần được đón nhận với sự thận trọng tương tự.

Những giới hạn này đã được ghi nhận rộng rãi. Năm 2023, OpenAI đã rút lại công cụ phân loại văn bản AI của chính mình với lý do độ chính xác thấp, và cùng năm đó các nhà nghiên cứu ở Stanford cho biết công cụ phát hiện gắn cờ bài luận của người viết tiếng Anh không phải bản ngữ thường xuyên hơn bài của người bản ngữ.

Diễn đạt lại và chỉnh sửa ảnh hưởng đến kết quả ra sao

Công cụ phát hiện đánh giá văn bản mà nó nhận được. Khi câu chữ thay đổi, kết quả cũng thay đổi.

Khi một người viết lại văn bản do AI tạo ra từng câu một, những khuôn mẫu mà công cụ phát hiện nhận ra sẽ còn lại ít hơn. Khi trợ lý AI trau chuốt văn bản của một người, những khuôn mẫu đó xuất hiện nhiều hơn.

Kết quả là văn bản kết hợp. Công cụ phát hiện được huấn luyện trên ví dụ hoàn toàn của người và hoàn toàn của AI có thể xếp nó vào bất kỳ phía nào.

Điều tương tự cũng đúng với các công cụ paraphrase, kể cả Humanizer của chúng tôi. Humanizer hướng tới câu chữ tự nhiên, giữ nguyên dữ kiện và logic của bản gốc, không nhắm tới điểm số. Bản viết lại là câu chữ mới, và kết quả phát hiện nói về câu chữ đó chứ không nói về nguồn gốc văn bản, nên văn bản được một công cụ bỏ qua vẫn có thể bị công cụ khác gắn cờ.

Sửa ngữ pháp nhiều và dịch thuật cũng làm kết quả dịch chuyển, đôi khi về phía AI.

Vì sao mô hình mới là mục tiêu luôn dịch chuyển

Công cụ phát hiện biết những mô hình có văn bản nằm trong dữ liệu huấn luyện của nó, theo cách các mô hình đó viết vào thời điểm ấy. Văn bản từ một mô hình mới hơn hoặc khác đi có thể giống hoặc không giống chúng, và chỉ có kiểm thử mới cho biết được.

Trình phát hiện của Textumi cho các ngôn ngữ ngoài tiếng Anh và tiếng Ukraina được huấn luyện trên văn bản của hai mô hình AI được dùng rộng rãi. Văn bản từ các mô hình khác nằm ngoài những lần kiểm thử đó, và đó là một lý do chúng tôi liên tục cải thiện trình phát hiện và phát hành chúng theo từng phiên bản.

Vì sao các ngôn ngữ ngoài tiếng Anh khó hơn

Mô hình được huấn luyện trên văn bản tiếng Anh không tự nhiên hoạt động tốt như vậy ở các ngôn ngữ khác. Mỗi ngôn ngữ cần văn bản do người viết riêng, văn bản AI riêng và bài kiểm thử riêng.

Phần khó nhất là thu thập văn bản được biết chắc là do người viết. Các ngôn ngữ nhỏ hơn có ít văn bản như vậy hơn, nên một bộ dữ liệu huấn luyện thường chỉ bao quát vài thể loại.

Textumi huấn luyện một bộ phân loại riêng cho từng ngôn ngữ. Trình phát hiện cho tiếng Anh và tiếng Ukraina được kiểm thử kỹ nhất. Trình phát hiện cho các ngôn ngữ còn lại được huấn luyện và kiểm thử trên văn xuôi từ các dự án Wikimedia và văn bản của hai mô hình AI.

Với các thể loại khác, một số trình phát hiện này bỏ sót nhiều văn bản AI, trong đó có tiếng Pháp, tiếng Việt, tiếng Thổ Nhĩ Kỳ, tiếng Indonesia và tiếng Hà Lan. Văn bản dịch là một nguồn sai số nữa ở bất kỳ ngôn ngữ nào.

Các ngôn ngữ và tình trạng của từng ngôn ngữTrình phát hiện AI của Textumi được xây dựng và kiểm thử thế nào

Cách đọc kết quả một cách có trách nhiệm

• Đọc các đoạn được tô sáng trước khi nhìn vào nhãn, vì chúng cho thấy tín hiệu đến từ đâu và để bạn tự đánh giá những dòng đó.
• Lưu ý độ dài. Dưới 50 từ, Textumi hiển thị “Quá ít văn bản để đánh giá” thay cho nhãn, và văn bản ngắn cần được thận trọng với bất kỳ công cụ phát hiện nào.
• Lưu ý thể loại và ngôn ngữ. Một lần gắn cờ với lá thư trang trọng, hay một kết quả ở ngôn ngữ được kiểm thử trên tập văn bản hẹp hơn, có trọng lượng thấp hơn cùng kết quả đó với một bài luận tiếng Anh dài.
• Coi “Do con người viết” và “Phần lớn do con người” là ước tính. Chúng có nghĩa công cụ phát hiện tìm thấy ít điểm giống AI, không có nghĩa chắc chắn văn bản do người viết.
• Thu thập thêm bằng chứng khác trước khi quyết định bất cứ điều gì: bản nháp, lịch sử phiên bản và cuộc trao đổi với người viết nói lên nhiều điều về việc ai là tác giả hơn bất kỳ công cụ phát hiện nào.

Vì sao văn do người viết vẫn bị gắn cờSử dụng có trách nhiệm