מה גלאי AI מודד
גלאי מעריך עד כמה הניסוח של טקסט דומה לטקסטי ה-AI שעליהם אומן.
מודלי שפה נוטים לבחור את המילים הסבירות ביותר ולבנות משפטים אחידים ומסודרים. בני אדם צפויים פחות: הם חוזרים על עצמם, משנים קצב ובוחרים מילים שאף מודל לא היה מצפה להן. גלאי לומד את ההבדל הסטטיסטי הזה ממספר גדול של דוגמאות.
שתי גישות נפוצות. הראשונה שואלת מודל שפה אחר עד כמה כל מילה בטקסט צפויה, ומתייחסת לטקסט צפוי מאוד כחשוד. המדד הזה נקרא perplexity.
השנייה היא מסווג מאומן. מקודד הופך את הטקסט לסדרה של מספרים, ומסווג שאומן על דוגמאות אנושיות ודוגמאות AI נותן להם ציון. כך עובדת Textumi, עם מודלי גלאי שאנחנו מאמנים, מכווננים ומריצים בשרתים שלנו. שתי הגישות נשענות על הטקסט בלבד.
סימון מים הוא רעיון נפרד: מודל משאיר סימן סטטיסטי בטקסט בזמן הכתיבה, ומי שמחזיק במפתח יכול לבדוק אם הוא קיים. זה עובד רק במודלים שמוסיפים סימן כזה, ולכן גלאי שאמור לקרוא כל טקסט לא יכול להסתמך עליו.
גלאי לא בודק עובדות, לא שופט את הטיעון ולא מחפש את הטקסט בארכיון של תשובות צ'אטבוט. שני טקסטים עם אותה משמעות וניסוח שונה יכולים לקבל תוצאות שונות מאוד.
למה התוצאה היא אות ולא פסק דין
כתיבה אנושית וכתיבת AI חופפות. יש אנשים שכותבים באופן אחיד וצפוי, ואפשר להנחות מודל לכתוב באופן לא אחיד.
בכל מקום שבו מותחים סף דרך החפיפה הזו, חלק מהכתיבה האנושית נופל בצד של ה-AI וחלק מכתיבת ה-AI בצד האנושי. הזזת הסף רק מחליפה טעות אחת בשנייה.
את התוצאה עצמה קל לקרוא לא נכון. Textumi מציג אותה באחת מחמש תוויות: "נכתב בידי אדם", "בעיקר אנושי", "מעורב: אדם ו-AI", "בעיקר AI" ו"נוצר ב-AI". שתי הראשונות נמצאות מתחת לסף, שלוש האחרות מעליו. תווית מתארת איך הסגנון של הטקסט כולו נקרא, ולא את ההסתברות שהוא נכתב ב-AI או את החלק בטקסט שנוצר אוטומטית.
אם גלאי אחר מציג אחוז, גם זה הערכה של מודל, וגם הוא ראוי לאותה זהירות.
המגבלות האלה מתועדות היטב. בשנת 2023 OpenAI הסירה את מסווג טקסטי ה-AI שלה עצמה, בנימוק של דיוק נמוך, ובאותה שנה דיווחו חוקרים מסטנפורד שגלאים סימנו חיבורים של כותבים שאנגלית אינה שפת אמם לעתים קרובות יותר מחיבורים של דוברי אנגלית ילידים.
מה ניסוח מחדש ועריכה עושים לתוצאה
גלאי שופט את הטקסט שהוא מקבל. כשהניסוח משתנה, גם התוצאה משתנה.
כשאדם משכתב טקסט שנוצר ב-AI משפט אחר משפט, נשארים פחות מהדפוסים שהגלאי מכיר. כשעוזר AI מלטש טקסט של אדם, מופיעים יותר מהם.
התוצאה היא טקסט מעורב. גלאי שאומן על דוגמאות אנושיות טהורות ודוגמאות AI טהורות יכול למקם אותו בכל אחד מהצדדים.
אותו דבר נכון לכלי ניסוח מחדש, כולל ה-Humanizer שלנו. ה-Humanizer מכוון לניסוח טבעי ששומר על העובדות ועל ההיגיון של המקור, ולא לציון. שכתוב הוא ניסוח חדש, ותוצאת הגלאי מתייחסת לניסוח הזה ולא למקור הטקסט, ולכן טקסט שגלאי אחד לא מסמן עדיין יכול להיות מסומן בידי גלאי אחר.
גם תיקון דקדוק מקיף ותרגום מזיזים תוצאות, לפעמים לכיוון הצד של ה-AI.
למה מודלים חדשים הם מטרה נעה
גלאי מכיר את המודלים שהטקסטים שלהם היו בנתוני האימון שלו, כפי שאותם מודלים כתבו באותו זמן. טקסט של מודל חדש יותר או שונה עשוי להיות דומה להם ועשוי שלא, ורק בדיקה יכולה לומר.
הגלאים של Textumi לשפות שאינן אנגלית ואוקראינית אומנו על טקסטים של שני מודלי AI נפוצים. טקסטים של מודלים אחרים נמצאים מחוץ לבדיקות האלה, וזו אחת הסיבות שאנחנו ממשיכים לשפר את הגלאים ומשחררים אותם בגרסאות.
למה שפות שאינן אנגלית קשות יותר
מודל שאומן על טקסט באנגלית לא מתחיל מעצמו לעבוד טוב באותה מידה בשפות אחרות. כל שפה צריכה טקסטים אנושיים משלה, טקסטי AI משלה ובדיקה משלה.
החלק הקשה ביותר הוא לאסוף טקסטים שידוע בוודאות שנכתבו בידי בני אדם. בשפות קטנות יותר יש מהם פחות, ולכן מערך אימון מכסה לעתים קרובות רק סוגות מעטות.
Textumi מאמן מסווג נפרד לכל שפה. הגלאים לאנגלית ולאוקראינית נבדקו בצורה היסודית ביותר. הגלאים לשפות האחרות אומנו ונבדקו על פרוזה ממיזמי Wikimedia ועל טקסטים של שני מודלי AI.
בסוגות אחרות חלק מהגלאים האלה מחמיצים טקסטי AI רבים, ביניהם אלה לצרפתית, לווייטנאמית, לטורקית, לאינדונזית ולהולנדית. טקסט מתורגם הוא מקור נוסף לטעות בכל שפה.
איך לקרוא תוצאה באחריות
- לקרוא את הקטעים המודגשים לפני שמסתכלים על התווית, כי הם מראים מאיפה מגיע האות ומאפשרים לשפוט את השורות האלה בעצמכם.
- לשים לב לאורך. מתחת ל-50 מילים Textumi מציג "אין מספיק טקסט להערכה" במקום תווית, וטקסטים קצרים דורשים זהירות בכל גלאי.
- לשים לב לסוגה ולשפה. סימון של מכתב רשמי, או תוצאה בשפה שנבדקה על מגוון טקסטים מצומצם יותר, שוקלים פחות מאותה תוצאה על חיבור ארוך באנגלית.
- להתייחס ל"נכתב בידי אדם" ול"בעיקר אנושי" כהערכות. פירושן שהגלאי מצא מעט סימנים של AI, ולא שאדם כתב את הטקסט בוודאות.
- לאסוף ראיות נוספות לפני שמחליטים משהו: טיוטות, היסטוריית גרסאות ושיחה עם הכותב אומרות על מחברות יותר מכל גלאי.
שאלות נפוצות
האם גלאי AI מדויקים?
זה תלוי בטקסט, ושום נתון יחיד לא מתאר גלאי ביושר. התוצאות משתנות לפי השפה, הסוגה, אורך הטקסט והמודל שכתב אותו. כל גלאי מסמן לפעמים כתיבה אנושית ומחמיץ כתיבת AI. לכן אנחנו מפרסמים איך אנחנו בודקים את הגלאי שלנו, אבל לא מפרסמים נתון דיוק.
גלאי AI יכולים לזהות את ChatGPT?
גלאי מגיב לניסוח, לא למודל מסוים. טקסט של ChatGPT, Claude, Gemini או כל מודל אחר יכול להיות מסומן אם הוא דומה לכתיבת ה-AI שהגלאי אומן עליה, ולהיות מוחמץ אם לא. Textumi לא מזהה איזה מודל כתב טקסט, והיא לא נבדקה מודל אחר מודל.
ניסוח מחדש או עריכה משנים את תוצאת הגלאי?
כן. שכתוב משנה את הניסוח, והתוצאה הולכת אחרי הניסוח. זו מגבלה של השיטה, ולא הבטחה לשום כיוון: טקסט AI ערוך עדיין יכול להיות מסומן, שכתוב יכול להיות מסומן בידי גלאי אחר, והתוצאה אף פעם לא מראה שמקור הטקסט השתנה.
למה שני גלאי AI שופטים את אותו טקסט אחרת?
כל אחד אומן על טקסטים אנושיים וטקסטי AI שונים, נותן ציון לניסוח בדרך משלו וקובע סף משלו. טקסט שקרוב לקו יכול ליפול לכל אחד מצדדיו. מחלוקת בין גלאים היא דבר רגיל, והיא עוד סיבה להתייחס לכל תוצאה כאל אות ולא כאל ממצא.
גלאי AI עובדים על טקסטים קצרים?
לא טוב במיוחד. כמה משפטים מכילים מעט מדי ראיות לתוצאה יציבה, וביטוי חריג אחד יכול להזיז אותה. Textumi מקבל טקסטים מ-5 מילים, אבל מתחת ל-50 מילים הוא מציג "אין מספיק טקסט להערכה" במקום תווית. כשאפשר, כדאי לבדוק קטע ארוך יותר מאותו מסמך.
גלאי AI עובדים בשפות שאינן אנגלית?
חלקם כן, עם יותר הסתייגויות. כל שפה צריכה טקסטי אימון משלה ובדיקה משלה, ומחוץ לאנגלית קשה יותר לאסוף אותם. הגלאי של Textumi עובד ב-20 שפות. אנגלית ואוקראינית נבדקו בצורה היסודית ביותר; האחרות נבדקו על מגוון טקסטים מצומצם יותר, וחלקן חלשות יותר בסוגות אחרות.
מה הם perplexity ו-burstiness בזיהוי AI?
Perplexity מודד עד כמה טקסט צפוי בעיני מודל שפה: ככל שהוא נמוך יותר, הטקסט צפוי יותר. Burstiness מתאר חוסר אחידות, כלומר איך משפטים ארוכים וקצרים, פשוטים ומורכבים מתחלפים. יש גלאים שמתייחסים ל-perplexity נמוך ולקצב אחיד כסימנים של AI. שני המדדים גסים, כי גם כתיבה אנושית תבניתית היא צפויה. Textumi משתמש במסווג מאומן ולא במדדים האלה ישירות.