كيف تعمل كواشف الذكاء الاصطناعي وأين تخطئ

ما الذي يقيسه كاشف الذكاء الاصطناعي

يقدّر الكاشف مدى شبه صياغة النص بالنصوص المكتوبة بالذكاء الاصطناعي التي دُرّب عليها.

تميل النماذج اللغوية إلى اختيار الكلمات الأرجح وبناء جمل منتظمة محكمة. أما البشر فأقل قابلية للتوقع: يكررون أنفسهم، ويغيّرون الإيقاع، ويختارون كلمات لا يتوقعها أي نموذج. ويتعلم الكاشف هذا الفرق الإحصائي من عدد كبير من الأمثلة.

هناك تصميمان شائعان. الأول يسأل نموذجًا لغويًا آخر عن مدى قابلية كل كلمة في النص للتوقع، ويعدّ النص الشديد القابلية للتوقع مثيرًا للشك. ويُسمّى هذا المقياس «الحيرة» (perplexity).

والثاني مصنِّف مدرَّب. يحوّل مُرمِّز النصَّ إلى مجموعة من الأرقام، ثم يمنح مصنِّفٌ مدرَّب على أمثلة بشرية وآلية درجةً لهذه الأرقام. وبهذه الطريقة يعمل Textumi، بنماذج كشف ندرّبها ونضبطها ونشغّلها على خوادمنا الخاصة. وكلا التصميمين يعتمد على النص وحده.

أما العلامة المائية ففكرة مختلفة: يترك النموذج أثرًا إحصائيًا في نصه أثناء الكتابة، ويستطيع من يملك المفتاح التحقق منه. لكنها لا تنفع إلا مع النماذج التي تضيف هذه العلامة، لذا لا يمكن لكاشف يُراد له أن يقرأ أي نص أن يعتمد عليها.

لا يتحقق الكاشف من الحقائق، ولا يحكم على الحجة، ولا يبحث عن نصك في أرشيف لإجابات روبوتات المحادثة. وقد يحصل نصان بالمعنى نفسه وبصياغتين مختلفتين على نتيجتين مختلفتين جدًا.

لماذا تكون النتيجة إشارة لا حكمًا

تتداخل الكتابة البشرية والآلية. فبعض الناس يكتبون بانتظام وبطريقة متوقعة، ويمكن توجيه النموذج ليكتب بإيقاع غير منتظم.

وأينما رُسمت العتبة عبر هذا التداخل، ينتهي بعض الكتابة البشرية في الجانب الآلي وبعض الكتابة الآلية في الجانب البشري. وتحريك العتبة لا يفعل سوى استبدال خطأ بآخر.

ومن السهل أيضًا إساءة قراءة النتيجة نفسها. يصفها Textumi بأحد خمسة تصنيفات: «كتبه إنسان»، و«إنسان غالبًا»، و«مختلط: إنسان وذكاء اصطناعي»، و«ذكاء اصطناعي غالبًا»، و«أنشأه الذكاء الاصطناعي». يقع التصنيفان الأولان تحت العتبة، والثلاثة الأخرى فوقها. والتصنيف يصف كيف يبدو أسلوب النص كله، لا احتمال أن يكون الذكاء الاصطناعي قد كتبه ولا نسبة الجزء المولَّد منه.

وإذا عرض كاشف آخر نسبة مئوية، فهي أيضًا تقدير من نموذج وتستحق الحذر نفسه.

وهذه الحدود موثقة جيدًا. ففي عام 2023 سحبت OpenAI أداتها الخاصة لتصنيف النصوص المكتوبة بالذكاء الاصطناعي مشيرةً إلى انخفاض دقتها، وفي العام نفسه أفاد باحثون في جامعة ستانفورد بأن الكواشف صنّفت مقالات غير الناطقين بالإنجليزية على أنها آلية بوتيرة أعلى من مقالات الناطقين بها.

ما الذي تفعله إعادة الصياغة والتحرير بالنتيجة

يحكم الكاشف على النص الذي يتلقاه. فإذا تغيرت الصياغة، تغيرت النتيجة أيضًا.

حين يعيد إنسان كتابة نص مولَّد جملةً جملة، يقل ما يبقى فيه من الأنماط التي يعرفها الكاشف. وحين يصقل مساعد ذكاء اصطناعي نص إنسان، يزيد ما يظهر فيه منها.

والحصيلة نص مختلط. والكاشف المدرَّب على أمثلة بشرية خالصة وآلية خالصة قد يضعه في أي من الجانبين.

والأمر نفسه ينطبق على أدوات إعادة الصياغة، ومنها أداة أنسنة النص لدينا. فهي تسعى إلى صياغة طبيعية تحافظ على حقائق الأصل ومنطقه، لا إلى درجة معينة. وإعادة الصياغة صياغة جديدة، ونتيجة الكاشف تتعلق بهذه الصياغة لا بمصدر النص، لذا فالنص الذي يتركه كاشف ما قد يصنّفه كاشف آخر على أنه آلي.

كما أن التصحيح اللغوي المكثف والترجمة يحرّكان النتائج أيضًا، أحيانًا نحو الجانب الآلي.

لماذا تبقى النماذج الجديدة هدفًا متحركًا

يعرف الكاشف النماذج التي كانت نصوصها في بيانات تدريبه، كما كانت تكتب في ذلك الوقت. أما نصوص نموذج أحدث أو مختلف فقد تشبهها وقد لا تشبهها، ولا يحسم ذلك إلا الاختبار.

دُرّبت كواشف Textumi للغات غير الإنجليزية والأوكرانية على نصوص من نموذجين واسعي الانتشار للذكاء الاصطناعي. ونصوص النماذج الأخرى تقع خارج هذه الاختبارات، وهذا أحد أسباب مواصلتنا تحسين الكواشف وإصدارها في نسخ متتالية.

لماذا تكون اللغات غير الإنجليزية أصعب

النموذج المدرَّب على نصوص إنجليزية لا يبدأ من تلقاء نفسه في العمل بالكفاءة نفسها في لغات أخرى. فكل لغة تحتاج إلى نصوصها البشرية الخاصة، ونصوصها الآلية الخاصة، واختبارها الخاص.

وأصعب ما في الأمر جمع نصوص معروف أن بشرًا كتبوها. فاللغات الأقل انتشارًا لديها قدر أقل منها، لذا كثيرًا ما تغطي مجموعة التدريب أنواعًا قليلة من النصوص.

يدرّب Textumi مصنِّفًا منفصلًا لكل لغة. وكاشفا الإنجليزية والأوكرانية هما الأكثر اختبارًا. أما كواشف اللغات الأخرى فقد دُرّبت واختُبرت على نثر من مشاريع Wikimedia وعلى نصوص من نموذجين للذكاء الاصطناعي.

وفي الأنواع الأخرى من النصوص تفوت بعض هذه الكواشف نصوصًا آلية كثيرة، ومنها كواشف الفرنسية والفيتنامية والتركية والإندونيسية والهولندية. والنص المترجم مصدر إضافي للخطأ في أي لغة.

اللغات ووضع كل منهاكيف بُني كاشف الذكاء الاصطناعي من Textumi وكيف اختُبر

كيف تقرأ النتيجة بمسؤولية

• اقرأ المقاطع المميَّزة قبل أن تنظر إلى التصنيف، لأنها تبيّن مصدر الإشارة وتتيح لك أن تحكم على تلك الأسطر بنفسك.
• انتبه إلى الطول. فإذا قل النص عن 50 كلمة، يعرض Textumi عبارة «النص أقصر من أن يُحكم عليه» بدلًا من التصنيف، والنصوص القصيرة تستحق الحذر في أي كاشف.
• انتبه إلى نوع النص ولغته. فتصنيف رسالة رسمية على أنها آلية، أو نتيجة بلغة اختُبرت على مجموعة أضيق من النصوص، يحمل وزنًا أقل من النتيجة نفسها على مقالة إنجليزية طويلة.
• تعامل مع «كتبه إنسان» و«إنسان غالبًا» على أنهما تقديران. فهما يعنيان أن الكاشف لم يجد إلا القليل مما يشبه الذكاء الاصطناعي، لا أن إنسانًا كتب النص بالتأكيد.
• اجمع أدلة أخرى قبل أن تقرر أي شيء: فالمسودات وسجل الإصدارات والحديث مع الكاتب تقول عن هوية الكاتب أكثر مما يقوله أي كاشف.

لماذا تُصنَّف الكتابة البشرية على أنها آليةالاستخدام المسؤول