שני סוגי טעויות
גלאי יכול לטעות לשני כיוונים. הוא יכול לסמן טקסט שכתב אדם, וזו התראת שווא, או להעביר טקסט של AI בלי לסמן אותו, וזו החמצה.
שתי הטעויות מושכות זו נגד זו. כל גלאי משווה ציון לסף: סף נמוך יותר תופס יותר טקסטי AI אבל מסמן יותר בני אדם; סף גבוה יותר מסמן פחות בני אדם אבל מחמיץ יותר טקסטי AI. שום כיוונון אינו מבטל את שתיהן.
לכן השאלה הראשונה על כל גלאי אינה כמה הוא מדויק, אלא איזו טעות הוא מנסה למנוע. בהחלטות שנוגעות לבני אדם, התראת שווא היא בדרך כלל הטעות המזיקה יותר.
גם חברות גדולות נתקלו בזה. בשנת 2023 OpenAI הסירה את מסווג טקסטי ה-AI שלה עצמה, בנימוק של דיוק נמוך.
למה הבטחות של 99% דיוק מטעות
נתון דיוק יחיד מסתיר יותר משהוא מראה. הוא מערבב את שני סוגי הטעויות למספר אחד, והוא מתאר מערך בדיקה אחד שבחר מי שערך את הבדיקה.
מערך הבדיקה הוא הגורם החשוב ביותר. גלאי שנמדד על תשובות גולמיות ולא ערוכות של צ'אטבוט באנגלית ייראה טוב בהרבה מאותו גלאי על טקסטים קצרים, ערוכים או מתורגמים בשפה אחרת.
גם שיעורי שגיאה קטנים מצטברים. נניח שגלאי מסמן בטעות טקסט אנושי 1 מתוך 100. בקורס עם 300 חיבורים שנכתבו ביושר, מדובר בכשלושה תלמידים שסומנו על עבודה שכתבו בעצמם.
כשקוראים טענה על דיוק, כדאי לבדוק מה עומד מאחוריה: אילו שפות וסוגות נבדקו, כמה ארוכים היו הטקסטים, אם נערכו, מי בחר את הטקסטים האנושיים וכמה מהם סומנו. טענה בלי הפרטים האלה אומרת מעט מאוד.
איפה גלאים מתקשים
גלאים מצליחים הכי פחות דווקא בטקסטים שאנשים צריכים לבדוק הכי הרבה:
- טקסטים קצרים. כמה משפטים מספקים מעט מדי ראיות, ולכן Textumi מציג "אין מספיק טקסט להערכה" לכל טקסט של פחות מ-50 מילים.
- טקסט ערוך, מנוסח מחדש או מתורגם. כל שינוי מרחיק את הניסוח ממה שהגלאי למד, לשני הכיוונים.
- כתיבה רשמית ותבניתית, כמו תקצירים, מכתבים מקדימים ומכתבים רשמיים, שעוקבת אחר תבניות שגלאי עלול לקרוא כמכניות.
- כתיבה בשפה שנייה. חוקרים מסטנפורד דיווחו בשנת 2023 שגלאים סימנו לעתים קרובות יותר חיבורים של כותבים שאנגלית אינה שפת אמם.
- שפות וסוגות שהגלאי ראה מעט מהן באימון.
הסעיף האחרון חל גם על Textumi. הגלאים שלנו לשפות שאינן אנגלית ואוקראינית אומנו ונבדקו על פרוזה של Wikimedia. במדגם קטן של סוגים אחרים של טקסטי AI, כמו הודעות, תלונות והוראות, הגלאים לצרפתית, לווייטנאמית, לטורקית ולאינדונזית לא זיהו את רובם, והגלאים לשוודית ולהולנדית החמיצו כמחציתם.
איך לבדוק גלאי בעצמכם
הבדיקה ההוגנת ביותר היא זו שעורכים על טקסטים שדומים לשלכם. היא לוקחת שעה ומלמדת יותר מכל נתון שפורסם.
- לאסוף עשרה טקסטים או יותר שידוע בוודאות שאדם כתב, בשפה ובסוגה שלכם, רצוי כאלה שנכתבו לפני שעוזרי AI הפכו לנפוצים.
- לכתוב או ליצור אותו מספר של טקסטי AI בנושאים דומים ובאורך דומה, ולערוך כמה מהם כפי שאנשים עורכים באמת.
- לבדוק כל טקסט בכל אחד מהגלאים שמשווים ולרשום את התוצאה, בלי לשנות דבר בין בדיקה לבדיקה.
- לספור בנפרד כמה טקסטים אנושיים סומנו וכמה טקסטי AI הוחמצו, ולבדוק אילו קטעים כל גלאי סימן.
אם גלאי מסמן כמה מהטקסטים שידוע לכם שנכתבו בידי אדם, כדאי להתייחס לתוצאות שלו בסוג כתיבה כזה בזהירות רבה, לא משנה מה טוען השיווק שלו.
איך Textumi בודק את הגלאי שלו
איננו מפרסמים נתון דיוק יחיד ל-Textumi, כי אין נתון כזה שיהיה נכון לכל שפה ולכל סוג טקסט. במקום זאת אנחנו מפרסמים את הכלל שכל גרסה של הגלאי צריכה לעמוד בו.
בשפות שאינן אנגלית ואוקראינית, הסף נקבע במקום שבו מסומנים לכל היותר 2 מתוך 100 טקסטים אנושיים שהמסווג לא למד מהם. כך התראות השווא נשארות נדירות, במחיר של יותר טקסטי AI שמוחמצים.
כל גרסה נבדקת פעם אחת על מערך חתום של טקסטים שמעולם לא ראתה, עם תנאים לשני סוגי הטעויות. כל בדיקה שנכשלה נפסלת. עמוד המתודולוגיה מפרט את הכלל, את השפה האחת ש-Textumi מציע בהחלטתו שלו אף שהבדיקה שלה נפלה מעט מהרף, ואת מה שהבדיקות אינן מכסות.
יהיה הכלל אשר יהיה, תוצאה היא הערכה שנשענת על סגנון הטקסט. היא אינה הסתברות ואינה הוכחה למי שכתב אותו.
שאלות נפוצות
האם גלאי AI מדויקים?
הם יכולים להועיל, אבל אף אחד מהם אינו מדויק באופן אמין על כל טקסט. כל הגלאים מסמנים חלק מהכתיבה האנושית ומחמיצים חלק מכתיבת ה-AI, במידה משתנה, לפי השפה, הסוגה, האורך והעריכה של הטקסט. כל תוצאה צריכה להיחשב אות שדורש הקשר, ולא הוכחה למחברות.
יכול להיות גלאי AI מדויק ב-99%?
גלאי יכול לקבל ציון גבוה מאוד על מערך טקסטים אחד, אבל הציון הזה אומר משהו רק על אותם טקסטים, לרוב ארוכים ולא ערוכים, והוא מערבב שני סוגי טעויות למספר אחד. אותו גלאי יכול להצליח הרבה פחות בטקסטים קצרים, ערוכים, מתורגמים או רשמיים. לכן חשוב לברר על מה הציון נמדד.
איזה גלאי AI הכי מדויק?
אין תשובה כנה אחת. חברות בודקות על הטקסטים שלהן, והמספרים אינם ברי השוואה. הגלאי הטוב ביותר בשבילכם הוא זה שמסמן הכי מעט מהטקסטים שידוע לכם שנכתבו בידי אדם, ועדיין מסמן טקסטי AI מהסוג שלכם, ולכן כדאי לנסות כמה גלאים על הטקסטים שלכם.
מה הדיוק של Textumi?
איננו מפרסמים נתון יחיד, כי הוא לא היה נכון לכל שפה וסוגה. במקום זאת אנחנו מפרסמים את השיטה: בשפות שאינן אנגלית ואוקראינית, הסף מתיר לכל היותר 2 מתוך 100 טקסטים אנושיים מסומנים מבין טקסטים שהמודל לא למד מהם, וכל גרסה נדרשת לעמוד בתנאים בבדיקה חתומה. הפרטים מופיעים בעמוד המתודולוגיה.
למה שני גלאים נותנים תוצאות שונות לאותו טקסט?
הם אומנו על דוגמאות שונות ומציבים את הספים שלהם במקומות שונים. טקסט שקרוב לקו יכול ליפול לכל אחד מצדדיו, וגלאי אחד עשוי להגיב לניסוח שגלאי אחר מתעלם ממנו. לכן תוצאה יחידה, מכל גלאי שהוא, אומרת פחות ממה שאנשים נוטים להניח.
האם תוצאה של גלאי צריכה להכריע ציון או החלטת גיוס?
לא. תוצאה היא אות סטטיסטי על הניסוח, ואסור שתהיה הבסיס היחיד להחלטה לגבי אדם. טיוטות, היסטוריית גרסאות, מקורות ושיחה על העבודה מראים מחברות טוב בהרבה, והם מגינים על אנשים שהכתיבה הכנה שלהם פשוט נראית צפויה.