क्या AI डिटेक्टर सटीक होते हैं? आँकड़े क्या बताते हैं और क्या नहीं

दो तरह की गलतियाँ

डिटेक्टर दो दिशाओं में गलत हो सकता है। वह किसी इंसान के लिखे टेक्स्ट को चिह्नित कर सकता है, जिसे फ़ॉल्स पॉज़िटिव कहते हैं, या किसी AI टेक्स्ट को निकल जाने दे सकता है, जिसे चूक कहते हैं।

ये दोनों गलतियाँ एक-दूसरे के उलट खिंचती हैं। हर डिटेक्टर एक स्कोर की तुलना एक थ्रेशोल्ड से करता है: थ्रेशोल्ड नीचे रखें तो वह ज़्यादा AI टेक्स्ट पकड़ता है, लेकिन ज़्यादा लोगों को चिह्नित करता है; ऊपर रखें तो कम लोगों को चिह्नित करता है, लेकिन ज़्यादा AI टेक्स्ट छोड़ देता है। कोई भी सेटिंग दोनों को खत्म नहीं करती।

इसलिए किसी भी डिटेक्टर के बारे में पहला सवाल यह नहीं है कि वह कितना सटीक है, बल्कि यह कि वह किस गलती से बचने की कोशिश करता है। लोगों के बारे में फ़ैसलों में आमतौर पर फ़ॉल्स पॉज़िटिव ज़्यादा नुकसानदेह होता है।

बड़ी कंपनियाँ भी इससे टकरा चुकी हैं। 2023 में OpenAI ने कम सटीकता का हवाला देकर अपना AI टेक्स्ट क्लासिफ़ायर वापस ले लिया था।

99% सटीकता के दावे भ्रामक क्यों हैं

सटीकता का एक आँकड़ा जितना दिखाता है, उससे ज़्यादा छिपाता है। वह दोनों तरह की गलतियों को एक संख्या में मिला देता है, और सिर्फ़ उस एक टेस्ट सेट के बारे में बताता है जिसे टेस्ट करने वाले ने चुना।

सबसे ज़्यादा मायने वही टेस्ट सेट रखता है। अंग्रेज़ी में बिना एडिट किए चैटबॉट जवाबों पर मापा गया डिटेक्टर किसी दूसरी भाषा के छोटे, एडिट किए गए या अनुवाद किए गए टेक्स्ट पर उसी डिटेक्टर से कहीं बेहतर दिखेगा।

छोटी-छोटी गलती दरें भी जुड़कर बड़ी हो जाती हैं। मान लीजिए कोई डिटेक्टर 100 में से 1 इंसानी टेक्स्ट को गलती से चिह्नित करता है। 300 ईमानदार निबंधों वाले किसी कोर्स में इसका मतलब है कि लगभग तीन छात्र अपने खुद लिखे काम के लिए चिह्नित होंगे।

सटीकता का कोई दावा पढ़ें, तो देखें कि उसके पीछे क्या है: कौन-सी भाषाएँ और विधाएँ परखी गईं, टेक्स्ट कितने लंबे थे, क्या वे एडिट किए गए थे, इंसानी टेक्स्ट किसने चुने और कितने इंसानी टेक्स्ट चिह्नित हुए। इन ब्योरों के बिना दावा बहुत कम बताता है।

डिटेक्टर कहाँ लड़खड़ाते हैं

डिटेक्टर उन्हीं टेक्स्ट पर सबसे कमज़ोर साबित होते हैं जिन्हें लोगों को सबसे ज़्यादा जाँचना होता है:

• छोटे टेक्स्ट। कुछ वाक्यों में बहुत कम सबूत होता है, इसीलिए Textumi 50 शब्दों से कम के हर टेक्स्ट पर “आँकने के लिए टेक्स्ट बहुत कम है” दिखाता है।
• एडिट, पैराफ़्रेज़ या अनुवाद किया गया टेक्स्ट। हर बदलाव शब्दों को उस चीज़ से दूर ले जाता है जो डिटेक्टर ने सीखी थी, दोनों दिशाओं में।
• औपचारिक और तय ढर्रे का लेखन, जैसे सार, कवर लेटर और सरकारी पत्र, जो ऐसे टेम्पलेट पर चलते हैं जिन्हें डिटेक्टर मशीनी मान सकता है।
• दूसरी भाषा में लेखन। Stanford के शोधकर्ताओं ने 2023 में बताया कि डिटेक्टर उन लोगों के निबंध ज़्यादा चिह्नित करते थे जिनकी मातृभाषा अंग्रेज़ी नहीं थी।
• ऐसी भाषाएँ और विधाएँ जो डिटेक्टर ने ट्रेनिंग में कम देखीं।

आखिरी बात Textumi पर भी लागू होती है। अंग्रेज़ी और यूक्रेनी के अलावा दूसरी भाषाओं के हमारे डिटेक्टर Wikimedia के गद्य पर ट्रेन और टेस्ट किए गए थे। दूसरी तरह के AI टेक्स्ट, जैसे सूचनाएँ, शिकायतें और निर्देश, के एक छोटे नमूने पर फ़्रेंच, वियतनामी, तुर्की और इंडोनेशियाई डिटेक्टर उनमें से ज़्यादातर को नहीं पहचान पाए, जबकि स्वीडिश और डच डिटेक्टर लगभग आधे चूक गए।

इंसान का लेखन क्यों चिह्नित हो जाता हैAI डिटेक्टर कैसे काम करते हैं

किसी डिटेक्टर को खुद कैसे परखें

सबसे निष्पक्ष टेस्ट वह है जो आप अपने जैसे टेक्स्ट पर करते हैं। इसमें एक घंटा लगता है और यह किसी भी प्रकाशित आँकड़े से ज़्यादा बताता है।

1. अपनी भाषा और विधा के दस या उससे ज़्यादा ऐसे टेक्स्ट जुटाएँ जिनके बारे में आपको पता हो कि उन्हें किसी इंसान ने लिखा, बेहतर हो कि AI असिस्टेंट के आम होने से पहले लिखे गए हों।
2. मिलते-जुलते विषयों और लंबाई के उतने ही AI टेक्स्ट लिखें या बनवाएँ, और उनमें से कुछ को उसी तरह एडिट करें जैसे लोग असल में करते हैं।
3. हर टेक्स्ट को उन सभी डिटेक्टर से जाँचें जिनकी आप तुलना कर रहे हैं और नतीजा नोट करें, बीच में कुछ भी बदले बिना।
4. अलग-अलग गिनें कि कितने इंसानी टेक्स्ट चिह्नित हुए और कितने AI टेक्स्ट छूट गए, और देखें कि हर डिटेक्टर ने कौन-से अंश चिह्नित किए।

अगर कोई डिटेक्टर आपके कई ऐसे टेक्स्ट चिह्नित करता है जिन्हें आप इंसानी जानते हैं, तो उस तरह के लेखन पर उसके नतीजों को बहुत सावधानी से लें, उसकी मार्केटिंग चाहे जो कहे।

AI डिटेक्टरों की तुलनाTextumi बनाम GPTZero

Textumi अपने डिटेक्टर को कैसे परखता है

हम Textumi के लिए सटीकता का कोई एक आँकड़ा प्रकाशित नहीं करते, क्योंकि हर भाषा और हर तरह के टेक्स्ट के लिए ऐसा कोई ईमानदार आँकड़ा मौजूद नहीं है। इसके बजाय हम वह नियम प्रकाशित करते हैं जिस पर डिटेक्टर के हर वर्ज़न को खरा उतरना होता है।

अंग्रेज़ी और यूक्रेनी के अलावा दूसरी भाषाओं के लिए थ्रेशोल्ड वहाँ तय किया जाता है जहाँ उन इंसानी टेक्स्ट में से, जिनसे क्लासिफ़ायर ने नहीं सीखा, 100 में से ज़्यादा से ज़्यादा 2 चिह्नित हों। इससे गलत अलार्म दुर्लभ रहते हैं, और यह मान लिया जाता है कि ज़्यादा AI टेक्स्ट छूटेंगे।

हर वर्ज़न को टेक्स्ट के एक सीलबंद सेट पर, जिसे उसने कभी नहीं देखा, एक बार परखा जाता है, दोनों तरह की गलतियों पर शर्तों के साथ। हर विफल टेस्ट खारिज कर दिया जाता है। कार्यप्रणाली वाले पेज पर नियम का ब्योरा है, उस एक भाषा का भी जिसे Textumi अपने फ़ैसले से पेश करता है, हालाँकि उसका टेस्ट थोड़े से अंतर से चूक गया, और यह भी कि टेस्ट किन बातों को कवर नहीं करते।

नियम चाहे जो हो, नतीजा टेक्स्ट की शैली पर आधारित अनुमान है। यह न संभावना है और न इस बात का सबूत कि उसे किसने लिखा।

Textumi का AI डिटेक्टर कैसे बनाया और परखा जाता है