मेरा लेखन AI के रूप में क्यों चिह्नित हुआ? फ़ॉल्स पॉज़िटिव को समझें

फ़ॉल्स पॉज़िटिव क्या है

फ़ॉल्स पॉज़िटिव ऐसा टेक्स्ट है जिसे किसी इंसान ने लिखा, लेकिन डिटेक्टर ने उसे AI से बना बता दिया।

डिटेक्टर नहीं जानता कि टेक्स्ट किसने लिखा। वह भाषा को स्कोर करता है, उस स्कोर की तुलना एक थ्रेशोल्ड से करता है और थ्रेशोल्ड से ऊपर की हर चीज़ को AI संकेत के रूप में दिखाता है। इंसान का कुछ लेखन अनिवार्य रूप से उसके ऊपर आ ही जाता है।

कोई सेटिंग इसे ठीक नहीं करती। ऊँचा थ्रेशोल्ड कम इंसानी टेक्स्ट चिह्नित करता है, पर ज़्यादा AI टेक्स्ट चूक जाता है, और नीचा थ्रेशोल्ड इसका उल्टा करता है।

बड़ी कंपनियाँ भी इसी दीवार से टकराती हैं। 2023 में OpenAI ने कम सटीकता का हवाला देते हुए अपना AI टेक्स्ट क्लासिफ़ायर वापस ले लिया था।

किसका लेखन ज़्यादा बार चिह्नित होता है

फ़ॉल्स पॉज़िटिव हर तरह के टेक्स्ट पर बराबर नहीं पड़ते। डिटेक्टर सबसे ज़्यादा इन पर गलती करते हैं:

• दूसरी भाषा में लिखा टेक्स्ट। Stanford के शोधकर्ताओं ने 2023 में बताया कि AI डिटेक्टरों ने उन लोगों के निबंध, जिनकी मातृभाषा अंग्रेज़ी नहीं है, अंग्रेज़ी मातृभाषी लोगों के निबंधों से ज़्यादा बार चिह्नित किए।
• औपचारिक और तय ढर्रे वाला टेक्स्ट। कवर लेटर, सार, कारोबारी ईमेल और सरकारी दस्तावेज़ तय पैटर्न पर चलते हैं, और पहले से अंदाज़ा लगने वाली भाषा पर ही डिटेक्टर प्रतिक्रिया देता है।
• छोटा टेक्स्ट। कुछ वाक्य आँकने के लिए बहुत कम होते हैं, इसीलिए Textumi 50 शब्दों से कम पर कोई लेबल नहीं दिखाता, और इससे थोड़ा ऊपर के टेक्स्ट का नतीजा भी कम भरोसेमंद रहता है।
• बहुत ज़्यादा निखारा गया टेक्स्ट। ग्रामर टूल, अनुवाद और संपादन के कई दौर असली ड्राफ़्ट की छोटी-छोटी अनियमितताओं को चिकना कर देते हैं।

इंसानी दिखने के लिए आपको खराब लिखने की ज़रूरत नहीं है। लेकिन डिटेक्टर का नतीजा पढ़ने वाले हर व्यक्ति को पता होना चाहिए कि इस तरह के टेक्स्ट पर लगे निशान का वज़न कम होता है।

डिटेक्टर का नतीजा क्या साबित नहीं करता

डिटेक्टर सिर्फ़ तैयार टेक्स्ट देखता है। वह आपके नोट्स, आपके स्रोत, आपके लगाए घंटे या फ़ाइल के पुराने वर्ज़न नहीं देखता। वह ध्यान से लिखने वाले व्यक्ति और ध्यान से लिखे गए लेखन की नकल करने वाले मॉडल में फ़र्क नहीं कर सकता।

डिटेक्टर का नतीजा संभावना नहीं है। Textumi उसे पाँच में से एक लेबल देता है, “इंसान का लिखा” से “AI से बना” तक। “AI से बना” का भी यह मतलब नहीं कि टेक्स्ट लगभग निश्चित रूप से AI ने लिखा, और “ज़्यादातर AI” का यह मतलब नहीं कि ज़्यादातर वाक्य किसी मॉडल ने लिखे। लेबल सिर्फ़ इतना कहता है कि भाषा उससे काफ़ी मिलती-जुलती है जिसे डिटेक्टर ने AI से जोड़ना सीखा।

अगर कोई दूसरा डिटेक्टर प्रतिशत दिखाता है, तो उसे भी उसी सावधानी से पढ़ें। वह भी किसी मॉडल का स्कोर है, यह नहीं कि टेक्स्ट का कितना हिस्सा AI से बना।

दो डिटेक्टर एक ही टेक्स्ट को अलग-अलग आँक सकते हैं। उन्हें अलग-अलग उदाहरणों पर ट्रेन किया गया, और हर एक अपना थ्रेशोल्ड अलग जगह खींचता है।

अगर आप पर AI इस्तेमाल करने का आरोप लगे तो क्या करें

सिर्फ़ डिटेक्टर का नतीजा कमज़ोर सबूत है। टेक्स्ट कैसे बना, इसका रिकॉर्ड कहीं ज़्यादा मज़बूत होता है। ये कदम क्रम से उठाएँ।

1. पूछें कि कौन-सा डिटेक्टर इस्तेमाल हुआ, उसने ठीक-ठीक क्या दिखाया, और आपके काम को आँकने वाले लोग किस नतीजे को शक का आधार मानते हैं।
2. अपने ड्राफ़्ट, रूपरेखाएँ, नोट्स और स्रोत इकट्ठा करें, उन कच्चे वर्ज़न समेत जो आप आम तौर पर किसी को नहीं दिखाते।
3. दस्तावेज़ की वर्ज़न हिस्ट्री खोलें। Google Docs और Microsoft Word दोनों दर्ज कर सकते हैं कि टेक्स्ट समय के साथ कैसे बदला, और कई दिनों में फैले छोटे-छोटे बदलावों के निशान पर विवाद करना मुश्किल है।
4. काम पर बात करने की पेशकश करें। अपना तर्क, अपने स्रोत और अपने फ़ैसले समझाकर आप जिस तरह दिखाते हैं कि लेखक आप ही हैं, वैसा कोई डिटेक्टर नहीं दिखा सकता।
5. AI के इस्तेमाल और डिटेक्टर नतीजों पर लिखित नीति माँगें, और कहें कि फ़ैसला सिर्फ़ डिटेक्टर के नतीजे पर न टिका हो।

आगे के काम के लिए ऐसे एडिटर में लिखें जो वर्ज़न हिस्ट्री रखता हो, और अपने नोट्स सँभालकर रखें। काम करते समय इसमें कोई मेहनत नहीं लगती, जबकि बाद में ऐसा सबूत दोबारा जुटाना मुश्किल होता है।

Textumi अपना थ्रेशोल्ड कैसे तय करता है

Textumi का डिटेक्टर हमारा अपना विकसित किया हुआ टूल है: इसके मॉडल हम खुद ट्रेन और ट्यून करते हैं, अपने सर्वर पर चलाते हैं और लगातार बेहतर बनाते हैं। इसका थ्रेशोल्ड, यानी वह रेखा जिसके ऊपर यह AI संकेत दिखाता है, जानबूझकर ऐसी जगह रखा गया है कि कम से कम इंसानी टेक्स्ट चिह्नित हों, भले ही तब कुछ AI टेक्स्ट नज़र से छूट जाएँ।

अंग्रेज़ी और यूक्रेनी के अलावा हर भाषा के लिए थ्रेशोल्ड वहाँ है जहाँ सौ में से दो से ज़्यादा इंसानी टेक्स्ट चिह्नित न हों। हम इसे उन इंसानी टेक्स्ट पर गिनते हैं जिनसे मॉडल ने नहीं सीखा।

यूक्रेनी थ्रेशोल्ड इसी नियम के एक पुराने वर्ज़न से तय हुआ था। अंग्रेज़ी डिटेक्टर एक पुराना मॉडल है, जिसका अपना तय थ्रेशोल्ड है।

यह इस बात का चुनाव है कि किस गलती से बचना है, आपके टेक्स्ट पर सटीकता का वादा नहीं। ये गिनतियाँ एक तरह के लेखन से आती हैं, Wikimedia प्रोजेक्ट के गद्य से, इसलिए कवर लेटर या छोटे ईमेल पर चिह्नित इंसानी टेक्स्ट का अनुपात ज़्यादा हो सकता है।

एक दूसरा सुरक्षा उपाय भी है। इनमें से किसी भी भाषा के लिए डिटेक्टर का नया वर्ज़न रिलीज़ नहीं होता अगर वह कभी न देखे गए टेस्ट टेक्स्ट पर सौ में से पाँच से ज़्यादा इंसानी टेक्स्ट चिह्नित करे।

थ्रेशोल्ड के नीचे नतीजा “इंसान का लिखा” या “ज़्यादातर इंसानी” होता है। ये लेबल भी शैली से लगाए गए अनुमान हैं: Textumi यह नहीं दिखा सकता कि टेक्स्ट निश्चित रूप से किसी इंसान ने लिखा, क्योंकि मॉडल यह नहीं देखता कि वह कैसे बना।

Textumi का AI डिटेक्टर कैसे बनाया और परखा जाता है

Textumi में चिह्नित नतीजे को कैसे पढ़ें

सुई के नीचे वाले लेबल से नहीं, हाइलाइट किए गए अंशों से शुरू करें। अगर संकेत किसी निजी निबंध के एक औपचारिक पैराग्राफ़ से आ रहा है, तो वह उस पैराग्राफ़ के बारे में बताता है, आपके बारे में नहीं।

50 शब्दों से कम के टेक्स्ट पर Textumi कोई लेबल नहीं दिखाता, सिर्फ़ “आँकने के लिए टेक्स्ट बहुत कम है”, क्योंकि इतने कम टेक्स्ट पर फ़ैसला भरोसेमंद नहीं होता। उसी दस्तावेज़ का लंबा अंश जाँचें: 50 शब्दों से अनुमान ज़्यादा भरोसेमंद होता है।

अगर कोई चिह्नित अंश सचमुच बनावटी लगता है, तो उसे खुद सुधारें या ह्यूमनाइज़र से ज़्यादा स्वाभाविक वर्ज़न माँगें जो मतलब वही रखे। इससे भाषा बदलती है, टेक्स्ट का इतिहास नहीं, और कोई दूसरा डिटेक्टर फिर भी उसे चिह्नित कर सकता है।

AI डिटेक्टर खोलें