نوعان من الأخطاء
قد يخطئ الكاشف في اتجاهين. فقد يصنّف نصًا كتبه إنسان على أنه آلي، وهذه نتيجة إيجابية خاطئة، وقد يمرّر نصًا كتبه الذكاء الاصطناعي، وهذا نص فائت.
يشدّ هذان الخطآن في اتجاهين متعاكسين. فكل كاشف يقارن الدرجة بعتبة: إذا خفضت العتبة التقط نصوصًا آلية أكثر لكنه اتهم بشرًا أكثر، وإذا رفعتها اتهم بشرًا أقل لكن فاتته نصوص آلية أكثر. ولا يوجد ضبط يزيل الخطأين معًا.
لذلك فالسؤال الأول عن أي كاشف ليس مدى دقته، بل أي الخطأين يحاول تجنبه. وفي القرارات التي تمس الأشخاص تكون النتيجة الإيجابية الخاطئة عادةً هي الأشد ضررًا.
وقد واجهت شركات كبرى هذه المشكلة أيضًا. ففي عام 2023 سحبت OpenAI أداتها الخاصة لتصنيف النصوص المكتوبة بالذكاء الاصطناعي، مشيرةً إلى انخفاض دقتها.
لماذا تضلل ادعاءات الدقة بنسبة 99%
رقم الدقة الواحد يخفي أكثر مما يكشف. فهو يدمج نوعي الخطأ في رقم واحد، ويصف مجموعة اختبار واحدة اختارها من أجرى الاختبار.
ومجموعة الاختبار هذه هي الأهم. فالكاشف الذي يُقاس على إجابات خام غير محررة من روبوت محادثة بالإنجليزية سيبدو أفضل بكثير من الكاشف نفسه على نصوص قصيرة أو محررة أو مترجمة بلغة أخرى.
ومعدلات الخطأ الصغيرة تتراكم أيضًا. لنفترض أن كاشفًا يصنّف خطأً 1 من كل 100 نص بشري. ففي مقرر دراسي فيه 300 مقالة كتبها أصحابها بأمانة، يعني ذلك نحو ثلاثة طلاب متهمين بسبب عمل كتبوه بأنفسهم.
حين تقرأ ادعاءً عن الدقة، ابحث عما وراءه: أي اللغات وأنواع النصوص اختُبرت، وما طول النصوص، وهل حُررت، ومن اختار النصوص البشرية، وكم نصًا بشريًا صُنّف خطأً. والادعاء الخالي من هذه التفاصيل لا يخبرك إلا بالقليل.
أين تتعثر الكواشف
يكون أداء الكواشف في أسوأ حالاته على النصوص التي يحتاج الناس إلى فحصها أكثر من غيرها:
- النصوص القصيرة. فبضع جمل لا تحمل أدلة كافية، ولهذا يعرض Textumi عبارة «النص أقصر من أن يُحكم عليه» لأي نص يقل عن 50 كلمة.
- النصوص المحررة أو المعاد صياغتها أو المترجمة. فكل تعديل يُبعد الصياغة عما تعلّمه الكاشف، وفي الاتجاهين.
- الكتابة الرسمية والنمطية، مثل الملخصات البحثية وخطابات التقديم والمراسلات الرسمية، التي تتبع قوالب قد يقرؤها الكاشف على أنها آلية.
- الكتابة بلغة ثانية. فقد أفاد باحثون في جامعة ستانفورد عام 2023 بأن الكواشف صنّفت مقالات غير الناطقين بالإنجليزية على أنها آلية بوتيرة أعلى.
- اللغات وأنواع النصوص التي لم يرَ الكاشف منها إلا القليل أثناء تدريبه.
والنقطة الأخيرة تنطبق على Textumi أيضًا. فكواشفنا للغات غير الإنجليزية والأوكرانية دُرّبت واختُبرت على نثر Wikimedia. وفي عينة صغيرة من أنواع أخرى من النصوص الآلية، مثل الإشعارات والشكاوى والتعليمات، عجزت كواشف الفرنسية والفيتنامية والتركية والإندونيسية عن تمييز معظمها، بينما فات كاشفي السويدية والهولندية نحو نصفها.
لماذا تُصنَّف الكتابة البشرية على أنها آليةكيف تعمل كواشف الذكاء الاصطناعي
كيف تختبر كاشفًا بنفسك
أعدل اختبار هو الذي تجريه على نصوص تشبه نصوصك. يستغرق ساعة واحدة ويخبرك أكثر مما يخبرك به أي رقم منشور.
- اجمع عشرة نصوص أو أكثر تعرف أن إنسانًا كتبها، بلغتك وفي مجالك، ويُفضّل أن تكون مكتوبة قبل انتشار مساعدي الذكاء الاصطناعي.
- اكتب أو ولّد العدد نفسه من النصوص بالذكاء الاصطناعي في موضوعات مشابهة وبطول مماثل، وحرّر بعضها كما يفعل الناس فعلًا.
- افحص كل نص بكل كاشف تقارن بينه وسجّل النتيجة، دون أن تغيّر شيئًا بين فحص وآخر.
- احسب كل على حدة عدد النصوص البشرية التي صُنّفت خطأً وعدد النصوص الآلية التي فاتت، وانظر إلى المقاطع التي حددها كل كاشف.
إذا صنّف كاشف عدة نصوص تعرف أنها بشرية على أنها آلية، فتعامل مع نتائجه على هذا النوع من الكتابة بحذر شديد، مهما قالت دعايته.
كيف يختبر Textumi كاشفه
لا ننشر رقم دقة واحدًا لـTextumi، لأنه لا يوجد رقم صادق يصلح لكل لغة ولكل نوع من النصوص. بدلًا من ذلك ننشر القاعدة التي يجب أن يستوفيها كل إصدار من الكاشف.
في اللغات غير الإنجليزية والأوكرانية تُضبط العتبة عند النقطة التي لا يُصنَّف فيها خطأً أكثر من 2 من كل 100 نص بشري لم يتعلم منها المصنّف. وهذا يُبقي الإنذارات الخاطئة نادرة، مع القبول بأن تفوت نصوص آلية أكثر.
يُختبر كل إصدار مرة واحدة على مجموعة مغلقة من النصوص لم يرها من قبل، مع شروط على نوعي الخطأ كليهما. وكل اختبار يخفق يُستبعد. وتفصّل صفحة المنهجية هذه القاعدة، واللغة الوحيدة التي يقدمها Textumi بقرار منه رغم أن اختبارها جاء دون المطلوب بفارق ضئيل، وما لا تغطيه الاختبارات.
وأيًا كانت القاعدة، فالنتيجة تقدير مبني على أسلوب النص. ليست احتمالًا، وليست دليلًا على هوية الكاتب.
أسئلة شائعة
هل كواشف الذكاء الاصطناعي دقيقة؟
قد تكون مفيدة، لكن لا يوجد كاشف دقيق بشكل موثوق على كل نص. فكل الكواشف تصنّف بعض الكتابة البشرية على أنها آلية وتفوتها بعض الكتابة الآلية، بدرجات متفاوتة تبعًا للغة النص ونوعه وطوله ومدى تحريره. لذا ينبغي التعامل مع أي نتيجة على أنها إشارة تحتاج إلى سياق، لا دليل على هوية الكاتب.
هل يمكن أن تبلغ دقة كاشف الذكاء الاصطناعي 99%؟
قد يحقق الكاشف درجة عالية جدًا على مجموعة واحدة من النصوص، لكن هذه الدرجة لا تقول شيئًا إلا عن تلك النصوص، وكثيرًا ما تكون طويلة وغير محررة، كما أنها تدمج نوعي الخطأ في رقم واحد. وقد يكون أداء الكاشف نفسه أسوأ بكثير على النصوص القصيرة أو المحررة أو المترجمة أو الرسمية. لذا احرص على معرفة النصوص التي قيست عليها الدرجة.
ما أدق كاشف للذكاء الاصطناعي؟
لا توجد إجابة واحدة صادقة. فكل شركة تختبر على نصوصها الخاصة، والأرقام غير قابلة للمقارنة. وأفضل كاشف لك هو الذي يصنّف أقل عدد من نصوصك التي تعرف أنها بشرية على أنها آلية، ويظل مع ذلك يلتقط النصوص المولَّدة من النوع الذي تتعامل معه، فجرّب عدة كواشف على نصوصك.
ما دقة Textumi؟
لا ننشر رقمًا واحدًا لأنه لن يكون صحيحًا لكل لغة ولكل نوع من النصوص. بدلًا من ذلك ننشر الطريقة: في اللغات غير الإنجليزية والأوكرانية لا تسمح العتبة بأن يُصنَّف خطأً أكثر من 2 من كل 100 نص بشري لم يتعلم منها النموذج، ويُلزَم كل إصدار بشروط في اختبار مغلق. وتجد التفاصيل في صفحة المنهجية.
لماذا يعطي كاشفان نتيجتين مختلفتين للنص نفسه؟
لأنهما دُرّبا على أمثلة مختلفة ويضعان عتبتيهما في مواضع مختلفة. فالنص القريب من الحد قد يقع في أي من الجانبين، وقد يتفاعل كاشف مع صياغة يتجاهلها كاشف آخر. ولهذا فإن نتيجة واحدة، من أي كاشف كان، تقول أقل مما يظنه الناس غالبًا.
هل ينبغي أن تحسم نتيجة الكاشف درجةً دراسية أو قرار توظيف؟
لا. النتيجة إشارة إحصائية عن الصياغة، ولا ينبغي أبدًا أن تكون الأساس الوحيد لقرار يخص شخصًا. فالمسودات وسجل الإصدارات والمصادر والحديث عن العمل تكشف هوية الكاتب أفضل بكثير، وتحمي الأشخاص الذين تبدو كتابتهم الصادقة متوقعة بالمصادفة.