AI डिटेक्टर की कार्यप्रणाली: कैसे बना, कैसे परखा

हर भाषा के लिए एक क्लासिफ़ायर

यूक्रेनी और बाद में जोड़ी गई अठारह भाषाएँ एक ही बहुभाषी एनकोडर इस्तेमाल करती हैं, यानी ऐसा मॉडल जो टेक्स्ट को संख्याओं में बदलता है। एनकोडर फ़्रीज़ है, इसलिए उसके वेट कभी नहीं बदलते। उसके ऊपर एक छोटा क्लासिफ़ायर होता है, जो सिर्फ़ एक भाषा के लिए ट्रेन किया गया है।

लंबा टेक्स्ट एक के बाद एक विंडो में पढ़ा जाता है, और उनके नतीजे जोड़कर पूरे टेक्स्ट का एक स्कोर बनता है। 50 या उससे ज़्यादा शब्दों वाले अधिकतम तीन पैराग्राफ़ को अलग से भी स्कोर किया जाता है, और डिटेक्टर इन्हीं अंशों को हाइलाइट करता है।

अंग्रेज़ी का एक पुराना, अलग मॉडल है: उसका अपना फ़्रीज़ किया हुआ अंग्रेज़ी एनकोडर, उसके ऊपर Textumi के ट्रेन किए क्लासिफ़ायर, और एक दूसरा मॉडल, जिसका संकेत एक तय नियम से उनके संकेत के साथ जोड़ा जाता है।

टेक्स्ट को हमेशा उसकी अपनी भाषा का क्लासिफ़ायर स्कोर करता है। जिस भाषा का कोई मंज़ूर क्लासिफ़ायर नहीं है, उसे त्रुटि संदेश मिलता है, किसी दूसरी भाषा से उधार लिया गया स्कोर कभी नहीं।

ट्रेनिंग टेक्स्ट कहाँ से आते हैं

अठारह भाषाओं के इंसानी टेक्स्ट Wikimedia प्रोजेक्ट से आते हैं: Wikinews की खबरें, Wikipedia के लेख और Wikipedia के चर्चा पेज। हिंदी, इंडोनेशियाई, वियतनामी, हिब्रू और डेनिश में Wikinews नहीं है, इसलिए उसकी जगह Wikibooks की पाठ्यपुस्तकें ली गई हैं।

हर टेक्स्ट गद्य का एक पूरा पैराग्राफ़ है, 80 से 280 शब्दों का, जो उसके पेज के 2020 से पहले किए गए आखिरी संशोधन से लिया गया है। यही तारीख इस बात का सबूत है कि उसे किसी इंसान ने लिखा। किसी भी टेक्स्ट को इंसानी इसलिए नहीं माना गया कि किसी दूसरे डिटेक्टर ने ऐसा कहा।

प्रोग्राम से लिखे गए छोटे स्टब लेख और पेज-दर-पेज दोहराई जाने वाली सूचनाएँ छाँटकर हटा दी जाती हैं। फ़िल्टर इन्हें कम कर देते हैं, पर हर आखिरी मामले को नहीं पकड़ पाते।

हर इंसानी टेक्स्ट का एक AI जोड़ीदार है, उसी विषय, उसी विधा और उसी भाषा में और लगभग उतनी ही लंबाई का। ये जोड़ीदार अलग-अलग प्रोवाइडरों के दो व्यापक रूप से इस्तेमाल होने वाले AI मॉडल ने लिखे, हर एक ने आधे स्रोतों के लिए। जो जवाब अधूरे कटे थे, अपने स्रोत की नकल करते थे या सादा गद्य नहीं थे, उन्हें हटा दिया गया।

यूक्रेनी कॉर्पस पुराना है: उसमें Wikimedia के ऐतिहासिक टेक्स्ट और एक मॉडल के लिखे AI टेक्स्ट हैं। किसी भी डिटेक्टर की ट्रेनिंग में ग्राहकों के टेक्स्ट इस्तेमाल नहीं होते।

सीलबंद टेस्ट, जो हर वर्ज़न के लिए एक बार खुलता है

टेक्स्ट स्रोत के हिसाब से समूहों में रखे जाते हैं, ताकि एक पाठ्यपुस्तक के अध्याय या एक चर्चा पेज के आर्काइव साथ रहें। समूहों को एक बार तीन हिस्सों में बाँटा जाता है: ट्रेनिंग, कैलिब्रेशन और टेस्ट। इंसानी टेक्स्ट और उसका AI जोड़ीदार हमेशा एक ही हिस्से में जाते हैं।

टेस्ट में लगभग 200 स्रोत समूह होते हैं। जब तक क्लासिफ़ायर चुना जाता है और उसका थ्रेशोल्ड तय होता है, टेस्ट सीलबंद रहता है, और फिर उसे एक बार खोला जाता है।

अगर वर्ज़न टेस्ट में विफल रहे, तो वह टेस्ट दोबारा इस्तेमाल नहीं होता। उसके टेक्स्ट ट्रेनिंग डेटा बन जाते हैं, और अगला वर्ज़न ऐसे नए स्रोत समूहों पर परखा जाता है जिन्हें किसी पिछले वर्ज़न ने नहीं देखा। इससे हम किसी क्लासिफ़ायर को तब तक ट्यून करने से बचते हैं जब तक वह संयोग से अपनी ही परीक्षा में फ़िट न हो जाए।

थ्रेशोल्ड और नतीजों के लेबल कैसे तय होते हैं

अठारह भाषाओं के लिए थ्रेशोल्ड वहाँ रखा जाता है जहाँ 100 में से ज़्यादा से ज़्यादा 2 इंसानी टेक्स्ट चिह्नित हों। यह उन इंसानी टेक्स्ट पर गिना जाता है जिनसे क्लासिफ़ायर ने नहीं सीखा, जो पहले वर्ज़न में कैलिब्रेशन वाला हिस्सा था।

12 अक्टूबर 2026 के बाद बने वर्ज़न इसे टेस्ट के बाहर के हर टेक्स्ट पर गिनते हैं, और हर टेक्स्ट को ऐसा क्लासिफ़ायर स्कोर करता है जिसने उसका स्रोत समूह कभी नहीं देखा। टेस्ट खुलने से पहले थ्रेशोल्ड फ़्रीज़ कर दिया जाता है।

यह नियम जानबूझकर गलत अलार्म को दुर्लभ रखता है और यह मानता है कि ज़्यादा AI टेक्स्ट छूटेंगे। इससे स्कोर संभावना नहीं बन जाता।

हर क्लासिफ़ायर का थ्रेशोल्ड मॉडल के 0 से 1 तक के पैमाने पर 0.5 पर रखा जाता है। यही बिंदु संकेत रेखा है। textumi.com पर स्कोर बिना संख्या के दिखता है: “इंसान” से “AI” तक के गेज पर एक सुई और पाँच में से एक लेबल।

लेबल	मॉडल स्कोर	संकेत रेखा
इंसान का लिखा	0.25 से कम	रेखा के नीचे
ज़्यादातर इंसानी	0.25 से 0.5 की रेखा तक	रेखा के नीचे
मिला-जुला: इंसान और AI	0.5 से 0.75 तक	रेखा के ऊपर
ज़्यादातर AI	0.75 से 0.9 तक	रेखा के ऊपर
AI से बना	0.9 और उससे ज़्यादा	रेखा के ऊपर

50 से कम शब्दों वाले टेक्स्ट को कोई लेबल नहीं मिलता: Textumi उसकी जगह “आँकने के लिए टेक्स्ट बहुत कम है” दिखाता है। हर लेबल टेक्स्ट की शैली से लगाया गया अनुमान है, न AI टेक्स्ट का मापा हुआ हिस्सा और न लेखक होने का सबूत। MCP से जुड़े AI असिस्टेंट को खुद स्कोर एक संख्या के रूप में मिलता है।

रिलीज़ से पहले वर्ज़न को कौन-सी शर्त पार करनी होती है

अठारह भाषाओं में से किसी का वर्ज़न तभी पेश किया जाता है जब उसके टेस्ट में कम से कम 150 इंसानी और 150 AI टेक्स्ट हों और उस टेस्ट पर ये तीनों शर्तें पूरी हों:

इंसानी टेक्स्ट में से 5% से ज़्यादा चिह्नित न हों, ताकि गलत अलार्म कम रहें;
पूरे टेस्ट में AI टेक्स्ट में से कम से कम 60% पकड़े जाएँ;
कॉर्पस के हर क्षेत्र में AI टेक्स्ट में से कम से कम 50% पकड़े जाएँ: खबरें या पाठ्यपुस्तकें, विश्वकोश के लेख और चर्चाएँ।

मंज़ूरी से पहले एक्सपोर्ट किया गया क्लासिफ़ायर उसी कोड से लोड किया जाता है जो अनुरोधों को सँभालता है, और उसके स्कोर की तुलना ट्रेनिंग में मिले स्कोर से की जाती है।

जिस भाषा का वर्ज़न यह शर्त पार नहीं करता, वह पेश नहीं की जाती। चेक भाषा यह शर्त पार नहीं कर पाई, इसलिए Textumi चेक को सपोर्ट नहीं करता।

डच अकेला अपवाद है। उसका मौजूदा वर्ज़न थोड़े से अंतर से चूक गया: उसने 60% की ज़रूरत के मुकाबले 59.8% AI टेक्स्ट पकड़े, और विश्वकोश के लेखों में 50% की ज़रूरत के मुकाबले 49.4%। Textumi ने फिर भी इसे पेश करने का फ़ैसला किया और खुद नियम में कोई बदलाव नहीं किया।

रिलीज़ हुआ वर्ज़न आपको क्या बताता है

रिलीज़ हुए वर्ज़न ने नियम को एक बार पूरा किया, Wikimedia के गद्य और दो AI मॉडल के टेक्स्ट पर। इससे पता चलता है कि वह इस तरह की सामग्री पर कैसा व्यवहार करता है। यह दूसरे टेक्स्ट पर सटीकता की गारंटी नहीं देता, और लेखक होने की कैलिब्रेटेड संभावना भी नहीं देता।

अंग्रेज़ी और यूक्रेनी डिटेक्टर सबसे लंबे समय से सेवा में हैं। यूक्रेनी क्लासिफ़ायर 200 स्रोत समूहों के 200 इंसानी और 198 AI टेक्स्ट पर परखा गया, और अंग्रेज़ी मॉडल 80 इंसानी और 20 AI टेक्स्ट के एक छोटे, अलग रखे गए सेट पर। इनके स्कोर भी बिना कैलिब्रेशन वाले संकेत हैं।

टेस्ट किन बातों को नहीं परखते

दूसरी विधाएँ। दूसरी तरह के AI टेक्स्ट के एक छोटे सेट पर, जैसे सूचनाएँ, शिकायतें और निर्देश, फ़्रेंच, वियतनामी, तुर्की और इंडोनेशियाई डिटेक्टर उनमें से ज़्यादातर चूक गए, और स्वीडिश और डच लगभग आधे। पुर्तगाली, अरबी, पोलिश, जर्मन, इतालवी, नॉर्वेजियन (बोकमाल) और डेनिश को दूसरी विधाओं पर नहीं जाँचा गया है।
छोटे टेक्स्ट। ट्रेनिंग के अंश कम से कम 80 शब्दों के हैं। 50 शब्दों से कम पर Textumi कोई लेबल नहीं देता, और इससे थोड़ा ऊपर के टेक्स्ट का नतीजा भी हर भाषा में कम भरोसेमंद रहता है।
मिला-जुला और संपादित लेखन। कॉर्पस में पूरी तरह इंसानी और पूरी तरह AI टेक्स्ट हैं, इसलिए संपादित AI ड्राफ़्ट या ध्यान से निखारा गया इंसानी टेक्स्ट परखे गए दायरे से बाहर है।
दूसरे AI मॉडल। कॉर्पस के AI टेक्स्ट दो मॉडल से आते हैं, और किसी दूसरे जनरेटर का टेक्स्ट टेस्ट का हिस्सा नहीं था।
बड़े पैमाने पर अंग्रेज़ी। अंग्रेज़ी मॉडल को दूसरी भाषाओं के डिटेक्टर की तुलना में कहीं छोटे सेट पर जाँचा गया।

इंसान का लेखन क्यों चिह्नित हो जाता है हर भाषा और उसकी स्थिति

वर्ज़न कैसे बदलते हैं

हर क्लासिफ़ायर का एक वर्ज़न नंबर होता है। नए वर्ज़न का मतलब है कॉर्पस का नया बँटवारा और नया सीलबंद टेस्ट, और थ्रेशोल्ड में किसी भी बदलाव के लिए अलग से पुष्टि और वर्ज़न का रिकॉर्ड चाहिए।

Textumi डिटेक्टर की गुणवत्ता पर लगातार काम करता है, और हर नया वर्ज़न इसी नियम से गुज़रता है। किसी वर्ज़न को सिर्फ़ उन स्रोतों पर परखा जाता है जिन्हें उसने कभी नहीं देखा, और हर रिलीज़ एक अलग फ़ैसला है। तरीका बदलने पर यह पेज और इसकी तारीख भी बदल जाती है।

आम सवाल

Textumi का AI डिटेक्टर कितना सटीक है?

हम सटीकता का कोई एक आँकड़ा प्रकाशित नहीं करते, क्योंकि ऐसा कोई ईमानदार आँकड़ा है ही नहीं। नतीजे भाषा, विधा, टेक्स्ट की लंबाई और उसे लिखने वाले मॉडल पर निर्भर करते हैं। हम तरीका प्रकाशित करते हैं और वह नियम, जो किसी वर्ज़न को रिलीज़ से पहले पूरा करना होता है। हर नतीजा एक संकेत है, लेखक होने का सबूत नहीं।

अठारह नए डिटेक्टर अंग्रेज़ी और यूक्रेनी से कैसे अलग हैं?

हर एक को सीमित सामग्री पर ट्रेन और टेस्ट किया गया: 2020 से पहले लिखा गया Wikimedia का गद्य और दो AI मॉडल के टेक्स्ट। दूसरी तरह के लेखन पर डिटेक्टर कमज़ोर हो सकता है, और कई भाषाओं में होता भी है। इन भाषाओं के नतीजे खास सावधानी से पढ़ें, खासकर “इंसान का लिखा” और “ज़्यादातर इंसानी”: इनका मतलब है कि AI जैसा बहुत कम मिला, यह नहीं कि टेक्स्ट किसी इंसान ने लिखा।

ट्रेनिंग टेक्स्ट किन AI मॉडल ने लिखे?

अठारह भाषाओं के लिए अलग-अलग प्रोवाइडरों के दो व्यापक रूप से इस्तेमाल होने वाले AI मॉडल ने AI जोड़ीदारों का आधा-आधा हिस्सा लिखा। यूक्रेनी कॉर्पस में एक मॉडल के टेक्स्ट हैं। दूसरे मॉडल के टेक्स्ट इन टेस्ट का हिस्सा नहीं थे, इसलिए हम कोई दावा नहीं करते कि कोई खास मॉडल कितनी अच्छी तरह पकड़ा जाता है।

इंसानी टेक्स्ट 2020 से पहले के क्यों हैं?

2020 से पहले किया गया पेज संशोधन आज के AI लेखन असिस्टेंट से पुराना है, इसलिए उसकी तारीख इस बात का सबूत है कि उसे किसी इंसान ने लिखा। अगर इंसानी टेक्स्ट कोई दूसरा डिटेक्टर चुनता, तो उसकी गलतियाँ हमारे डिटेक्टर में आ जातीं। पुराना स्वचालित टेक्स्ट, जैसे प्रोग्राम से लिखे गए स्टब, जहाँ तक हो सके छाँटकर हटा दिया जाता है।

क्या मेरा टेक्स्ट डिटेक्टर को ट्रेन करने में इस्तेमाल होता है?

नहीं। डिटेक्टर Wikimedia के सार्वजनिक टेक्स्ट और इसी मकसद से लिखे गए AI टेक्स्ट पर ट्रेन किए जाते हैं। Textumi आपके टेक्स्ट अपने-आप साझा ट्रेनिंग डेटासेट में नहीं जोड़ता। आपके अनुरोध कितने समय तक रखे जाते हैं, यह निजता नीति में बताया गया है।

हर टेस्ट सिर्फ़ एक बार ही क्यों खोला जाता है?

जिस टेस्ट को बार-बार देखा जाए, वह टेस्ट नहीं रह जाता। अगर हम नतीजा देखकर क्लासिफ़ायर में बदलाव करते और फिर वही टेस्ट दोबारा खोलते, तो नतीजा क्लासिफ़ायर को उसकी असल क्षमता से बेहतर दिखाता। इसलिए विफल वर्ज़न के टेस्ट टेक्स्ट ट्रेनिंग डेटा बन जाते हैं, और अगले वर्ज़न को नए स्रोतों पर परखा जाता है।

साइट संख्या की जगह लेबल क्यों दिखाती है?

स्कोर बिना कैलिब्रेशन वाला मॉडल संकेत है, न AI टेक्स्ट का प्रतिशत और न संभावना, फिर भी 62 जैसी संख्या को आसानी से इसी तरह पढ़ लिया जाता है। संकेत रेखा के आसपास के पाँच लेबल उतना ही कहते हैं जितना स्कोर कह सकता है: दो उसके नीचे, तीन उसके ऊपर। हर लेबल शैली से लगाया गया अनुमान है; “मिला-जुला” और “ज़्यादातर” AI टेक्स्ट का मापा हुआ हिस्सा नहीं हैं।