AI डिटेक्टर कैसे काम करते हैं, और कहाँ चूकते हैं

AI डिटेक्टर क्या मापता है

डिटेक्टर अनुमान लगाता है कि टेक्स्ट के शब्द और वाक्य उस AI-लिखित टेक्स्ट से कितने मिलते हैं जिस पर उसे ट्रेन किया गया था।

लैंग्वेज मॉडल अक्सर सबसे संभावित शब्द चुनते हैं और एकसार, सधे हुए वाक्य बनाते हैं। इंसानों के बारे में अनुमान लगाना कम आसान है: वे बातें दोहराते हैं, रफ़्तार बदलते हैं और ऐसे शब्द चुनते हैं जिनकी किसी मॉडल को उम्मीद न हो। डिटेक्टर यह सांख्यिकीय फ़र्क बड़ी संख्या में उदाहरणों से सीखता है।

दो तरह की बनावट आम है। पहली में एक दूसरे लैंग्वेज मॉडल से पूछा जाता है कि टेक्स्ट के हर शब्द का कितना पहले से अंदाज़ा लगाया जा सकता है, और जिस टेक्स्ट का बहुत आसानी से अंदाज़ा लग जाए, उसे संदिग्ध माना जाता है। इस माप को पर्प्लेक्सिटी कहते हैं।

दूसरी बनावट एक ट्रेन किया गया क्लासिफ़ायर है। एक एनकोडर टेक्स्ट को संख्याओं के समूह में बदलता है, और इंसानी और AI उदाहरणों पर ट्रेन किया गया क्लासिफ़ायर उन संख्याओं को स्कोर देता है। Textumi इसी तरह काम करता है, ऐसे डिटेक्टर मॉडल के साथ जिन्हें हम ट्रेन और ट्यून करते हैं और अपने सर्वर पर चलाते हैं। दोनों बनावटें सिर्फ़ टेक्स्ट पर निर्भर हैं।

वॉटरमार्किंग एक अलग विचार है: मॉडल लिखते समय अपने टेक्स्ट में एक सांख्यिकीय निशान छोड़ता है, और जिसके पास कुंजी हो वह उसे जाँच सकता है। यह सिर्फ़ उन मॉडल के लिए काम करता है जो ऐसा निशान जोड़ते हैं, इसलिए किसी भी टेक्स्ट को पढ़ने के लिए बना डिटेक्टर इस पर निर्भर नहीं रह सकता।

डिटेक्टर तथ्य नहीं जाँचता, तर्क को नहीं आँकता और आपके टेक्स्ट को चैटबॉट के जवाबों के किसी संग्रह में नहीं ढूँढता। एक ही मतलब और अलग शब्दों वाले दो टेक्स्ट के नतीजे बहुत अलग आ सकते हैं।

नतीजा फ़ैसला क्यों नहीं, एक संकेत है

इंसानी और AI लेखन के दायरे आपस में मिल जाते हैं। कुछ लोग एकसार और ऐसा लिखते हैं जिसका पहले से अंदाज़ा लग जाए, और मॉडल से प्रॉम्प्ट देकर असमान ढंग से लिखवाया जा सकता है।

इस साझा दायरे में थ्रेशोल्ड जहाँ भी खींचा जाए, कुछ इंसानी लेखन AI वाली तरफ़ और कुछ AI लेखन इंसानी तरफ़ चला जाता है। थ्रेशोल्ड खिसकाने से बस एक गलती की जगह दूसरी गलती आ जाती है।

नतीजे को गलत पढ़ना भी आसान है। Textumi उसे पाँच में से एक लेबल से बताता है: “इंसान का लिखा”, “ज़्यादातर इंसानी”, “मिला-जुला: इंसान और AI”, “ज़्यादातर AI” और “AI से बना”। पहले दो थ्रेशोल्ड से नीचे हैं, बाकी तीन उससे ऊपर। लेबल बताता है कि पूरे टेक्स्ट की शैली कैसी पढ़ी जाती है, न कि AI के लेखक होने की संभावना या यह कि टेक्स्ट का कितना हिस्सा AI से बना।

अगर कोई दूसरा डिटेक्टर प्रतिशत दिखाता है, तो वह भी एक मॉडल का अनुमान है और उस पर भी उतनी ही सावधानी चाहिए।

ये सीमाएँ अच्छी तरह दर्ज हैं। 2023 में OpenAI ने कम सटीकता का हवाला देकर अपना AI टेक्स्ट क्लासिफ़ायर वापस ले लिया, और उसी साल Stanford के शोधकर्ताओं ने बताया कि डिटेक्टर उन लोगों के निबंधों को, जिनकी मातृभाषा अंग्रेज़ी नहीं थी, अंग्रेज़ी मातृभाषा वालों के निबंधों से ज़्यादा बार चिह्नित करते थे।

पैराफ़्रेज़िंग और एडिटिंग नतीजे पर क्या असर डालते हैं

डिटेक्टर उसी टेक्स्ट को आँकता है जो उसे मिलता है। जब शब्द बदलते हैं, तो नतीजा भी बदलता है।

जब कोई इंसान AI से बने टेक्स्ट को वाक्य-दर-वाक्य दोबारा लिखता है, तो डिटेक्टर के पहचाने हुए पैटर्न कम बचते हैं। जब कोई AI असिस्टेंट किसी इंसान के टेक्स्ट को निखारता है, तो ऐसे पैटर्न ज़्यादा दिखने लगते हैं।

नतीजा होता है मिला-जुला टेक्स्ट। जो डिटेक्टर पूरी तरह इंसानी और पूरी तरह AI उदाहरणों पर ट्रेन हुआ है, वह इसे किसी भी तरफ़ रख सकता है।

पैराफ़्रेज़िंग टूल के साथ भी यही होता है, हमारे अपने ह्यूमनाइज़र के साथ भी। ह्यूमनाइज़र का लक्ष्य किसी स्कोर के बजाय ऐसे सहज शब्द हैं जो मूल टेक्स्ट के तथ्य और तर्क बनाए रखें। रीराइट का मतलब है नए शब्द, और डिटेक्टर का नतीजा उन्हीं शब्दों के बारे में है, इस बारे में नहीं कि टेक्स्ट कहाँ से आया, इसलिए जिस टेक्स्ट को एक डिटेक्टर छोड़ देता है, उसे दूसरा फिर भी चिह्नित कर सकता है।

ग्रामर का भारी सुधार और अनुवाद भी नतीजों को खिसकाते हैं, कभी-कभी AI वाली तरफ़।

नए मॉडल लगातार बदलता लक्ष्य क्यों हैं

डिटेक्टर उन मॉडल को जानता है जिनके टेक्स्ट उसके ट्रेनिंग डेटा में थे, उसी रूप में जैसे वे मॉडल उस समय लिखते थे। किसी नए या अलग मॉडल का टेक्स्ट उनसे मिल भी सकता है और नहीं भी, और यह सिर्फ़ टेस्टिंग से पता चलता है।

अंग्रेज़ी और यूक्रेनी के अलावा दूसरी भाषाओं के लिए Textumi के डिटेक्टर दो व्यापक रूप से इस्तेमाल होने वाले AI मॉडल के टेक्स्ट पर ट्रेन किए गए थे। दूसरे मॉडल के टेक्स्ट उन टेस्ट के दायरे से बाहर हैं, और यह एक वजह है कि हम डिटेक्टर को लगातार बेहतर बनाते हैं और उन्हें वर्ज़न में जारी करते हैं।

अंग्रेज़ी के अलावा दूसरी भाषाएँ क्यों मुश्किल हैं

अंग्रेज़ी टेक्स्ट पर ट्रेन किया गया मॉडल अपने-आप दूसरी भाषाओं में उतना ही अच्छा काम करने नहीं लगता। हर भाषा को अपने इंसानी टेक्स्ट, अपने AI टेक्स्ट और अपना टेस्ट चाहिए।

सबसे मुश्किल हिस्सा ऐसा टेक्स्ट जुटाना है जिसके बारे में पता हो कि उसे इंसानों ने लिखा है। छोटी भाषाओं में ऐसा टेक्स्ट कम होता है, इसलिए ट्रेनिंग सेट अक्सर कुछ ही विधाओं को कवर करता है।

Textumi हर भाषा के लिए अलग क्लासिफ़ायर ट्रेन करता है। अंग्रेज़ी और यूक्रेनी डिटेक्टर सबसे गहराई से परखे गए हैं। बाकी भाषाओं के डिटेक्टर Wikimedia प्रोजेक्ट के गद्य और दो AI मॉडल के टेक्स्ट पर ट्रेन और टेस्ट किए गए थे।

दूसरी विधाओं पर इनमें से कुछ डिटेक्टर कई AI टेक्स्ट नहीं पकड़ पाते, जिनमें फ़्रेंच, वियतनामी, तुर्की, इंडोनेशियाई और डच शामिल हैं। अनुवाद किया गया टेक्स्ट किसी भी भाषा में गलती का एक और स्रोत है।

भाषाएँ और हर एक की स्थितिTextumi का AI डिटेक्टर कैसे बनाया और परखा जाता है

नतीजे को ज़िम्मेदारी से कैसे पढ़ें

• लेबल देखने से पहले हाइलाइट किए गए अंश पढ़ें, क्योंकि वे दिखाते हैं कि संकेत कहाँ से आता है और आपको उन पंक्तियों को खुद आँकने देते हैं।
• लंबाई का ध्यान रखें। 50 शब्दों से कम पर Textumi लेबल की जगह “आँकने के लिए टेक्स्ट बहुत कम है” दिखाता है, और किसी भी डिटेक्टर में छोटे टेक्स्ट पर सावधानी ज़रूरी है।
• विधा और भाषा का ध्यान रखें। किसी औपचारिक पत्र पर लगा निशान, या ऐसी भाषा का नतीजा जिसे टेक्स्ट के सीमित दायरे पर परखा गया, किसी लंबे अंग्रेज़ी निबंध पर उसी नतीजे से कम वज़न रखता है।
• “इंसान का लिखा” और “ज़्यादातर इंसानी” को अनुमान मानें। इनका मतलब है कि डिटेक्टर को AI जैसा बहुत कम मिला, यह नहीं कि टेक्स्ट पक्के तौर पर किसी इंसान ने लिखा।
• कुछ भी तय करने से पहले दूसरे सबूत जुटाएँ: ड्राफ़्ट, वर्ज़न हिस्ट्री और लेखक से बातचीत लेखक होने के बारे में किसी भी डिटेक्टर से ज़्यादा बताते हैं।

इंसान का लेखन क्यों चिह्नित हो जाता हैज़िम्मेदारी से इस्तेमाल