מהי תוצאה חיובית שגויה
תוצאה חיובית שגויה היא טקסט שאדם כתב וגלאי מסמן אותו כטקסט שנוצר ב-AI.
הגלאי לא יודע מי כתב את הטקסט. הוא נותן ציון לניסוח, משווה את הציון לסף ומדווח על כל מה שמעל הסף כאות של AI. חלק מהכתיבה האנושית בהכרח נוחת מעליו.
אין הגדרה שמתקנת את זה. סף גבוה יותר מסמן פחות טקסטים אנושיים אבל מפספס יותר טקסט של AI, וסף נמוך יותר עושה את ההפך.
גם חברות גדולות נתקלות באותו קיר. ב-2023 OpenAI הסירה את המסווג שלה לטקסט AI, בנימוק של דיוק נמוך.
של מי הכתיבה מסומנת לעתים קרובות יותר
תוצאות חיוביות שגויות לא פוגעות בכל סוגי הטקסט באותה מידה. גלאים טועים בעיקר במקרים האלה:
- כתיבה בשפה שנייה. חוקרים מסטנפורד דיווחו ב-2023 שגלאי AI סימנו חיבורים של כותבים שאנגלית אינה שפת האם שלהם לעתים קרובות יותר מחיבורים של דוברים ילידיים.
- טקסט רשמי ושבלוני. מכתבים מקדימים, תקצירים, מיילים עסקיים ומסמכים רשמיים בנויים לפי דפוסים קבועים, וניסוח צפוי הוא בדיוק מה שגלאי מגיב אליו.
- טקסט קצר. כמה משפטים לא מספיקים כדי לשפוט, ולכן Textumi לא מציג תווית מתחת ל-50 מילים, וגם תוצאה על טקסט שעובר את הסף הזה רק במעט עדיין אמינה פחות.
- טקסט מלוטש מאוד. כלי דקדוק, תרגום וסבבים רבים של עריכה מחליקים את אי-הסדירויות הקטנות של טיוטה אמיתית.
לא צריך לכתוב גרוע יותר כדי להיראות אנושיים. אבל מי שקורא תוצאה של גלאי צריך לדעת שלסימון של סוגי טקסט כאלה יש משקל קטן יותר.
מה תוצאה של גלאי לא מוכיחה
גלאי רואה רק את הטקסט הגמור. הוא לא רואה את הרשימות שלכם, את המקורות, את השעות שהשקעתם או את הגרסאות הקודמות של הקובץ. הוא לא יכול להבחין בין כותב קפדן לבין מודל שמחקה כתיבה קפדנית.
תוצאה של גלאי איננה הסתברות. Textumi מציג אותה באחת מחמש תוויות, מ"נכתב בידי אדם" ועד "נוצר ב-AI". גם "נוצר ב-AI" לא אומר שהטקסט כמעט בוודאות נכתב ב-AI, ו"בעיקר AI" לא אומר שמודל כתב את רוב המשפטים. תווית אומרת רק שהניסוח דומה מאוד למה שהגלאי למד לקשר ל-AI.
אם גלאי אחר מציג אחוז, קראו אותו באותה זהירות. גם הוא ציון של מודל, לא החלק של הטקסט שנוצר במכונה.
שני גלאים יכולים לשפוט את אותו טקסט אחרת. הם אומנו על דוגמאות שונות, וכל אחד מציב את הסף שלו במקום אחר.
מה עושים אם מאשימים אתכם בשימוש ב-AI
תוצאה של גלאי לבדה היא ראיה חלשה. תיעוד של האופן שבו הטקסט נוצר חזק בהרבה. עברו על הצעדים האלה לפי הסדר.
- שאלו באיזה גלאי השתמשו, מה בדיוק הוא הראה ואיזו תוצאה נחשבת בעיני מי ששופטים את העבודה שלכם לעילה לחשד.
- אספו את הטיוטות, ראשי הפרקים, הרשימות והמקורות, כולל הגרסאות הגולמיות שבדרך כלל לא הייתם מראים לאף אחד.
- פתחו את היסטוריית הגרסאות של המסמך. גם Google Docs וגם Microsoft Word יכולים לתעד איך טקסט השתנה לאורך זמן, ושובל של עריכות קטנות לאורך כמה ימים קשה להפריך.
- הציעו לדבר על העבודה. הסבר של הטיעון, של המקורות ושל הבחירות שלכם מראה מי הכותב בדרך שאף גלאי לא יכול.
- בקשו את המדיניות הכתובה לגבי שימוש ב-AI ולגבי תוצאות של גלאים, ובקשו שההחלטה לא תתבסס על תוצאה של גלאי בלבד.
בעבודות הבאות, כתבו בעורך ששומר היסטוריית גרסאות ושמרו את הרשימות שלכם. זה לא עולה דבר בזמן העבודה, ואת הראיות קשה לשחזר בדיעבד.
איך Textumi קובע את הסף שלו
הגלאי של Textumi הוא פיתוח שלנו: אנחנו מאמנים ומכווננים את המודלים שלו בעצמנו, מריצים אותם בשרתים שלנו וממשיכים לשפר אותם. הסף שלו, הקו שמעליו הוא מדווח על אות של AI, ממוקם בכוונה כך שכמה שפחות טקסטים אנושיים יסומנו, גם אם בגלל זה חלק מהטקסטים של AI עוברים בלי שיבחינו בהם.
בכל שפה מלבד אנגלית ואוקראינית, הסף נמצא בנקודה שבה מסומנים לא יותר משני טקסטים אנושיים מתוך מאה. אנחנו סופרים זאת על טקסטים אנושיים שהמודל לא למד מהם.
הסף לאוקראינית נקבע לפי גרסה מוקדמת יותר של אותו כלל. הגלאי לאנגלית הוא מודל ותיק יותר עם סף קבוע משלו.
זו בחירה איזו טעות להעדיף להימנע ממנה, לא הבטחה לדיוק על הטקסט שלכם. הספירות מגיעות מסוג כתיבה אחד, פרוזה ממיזמי Wikimedia, ולכן במכתב מקדים או במייל קצר שיעור הטקסטים האנושיים שמסומנים יכול להיות גבוה יותר.
יש גם אמצעי הגנה שני. גרסה חדשה של גלאי לאחת מהשפות האלה לא משוחררת אם היא מסמנת יותר מחמישה טקסטים אנושיים מתוך מאה בטקסטי מבחן שמעולם לא ראתה.
מתחת לסף התוצאה היא "נכתב בידי אדם" או "בעיקר אנושי". גם התוויות האלה הן הערכות לפי סגנון: Textumi לא יכול להראות שאדם בוודאות כתב טקסט, כי מודל לא רואה איך הטקסט נוצר.
איך קוראים תוצאה מסומנת ב-Textumi
התחילו מהקטעים המסומנים, לא מהתווית שמתחת למחוג. אם האות מגיע מפסקה רשמית אחת בחיבור אישי, הוא מספר משהו על הפסקה הזו, לא עליכם.
לטקסט של פחות מ-50 מילים Textumi לא מציג תווית, רק "אין מספיק טקסט להערכה", כי שיפוט על כמות טקסט כה קטנה אינו אמין. בדקו קטע ארוך יותר מאותו מסמך: מ-50 מילים ומעלה ההערכה אמינה יותר.
אם קטע מסומן באמת נקרא בנוקשות, נסחו אותו מחדש בעצמכם או בקשו מה-Humanizer גרסה טבעית יותר ששומרת על המשמעות. זה משנה את הניסוח, לא את ההיסטוריה של הטקסט, וגלאי אחר עדיין עשוי לסמן אותו.
שאלות נפוצות
האם גלאי AI יכול לטעות?
כן. כל גלאי AI מסמן לפעמים כתיבה אנושית ומפספס כתיבה של AI, כי הוא שופט רק את הניסוח ולא יכול לראות איך הטקסט נוצר. Textumi אומר זאת ליד התוצאות שלו: התווית שלו היא הערכה לפי סגנון הטקסט, לא פסק דין לגבי מי כתב אותו.
למה טקסט שכתבתי בעצמי זוהה כ-AI?
לרוב כי הוא קצר, רשמי, כתוב בשפה שנייה או נערך פעמים רבות. טקסט כזה משתמש בניסוחים צפויים, וניסוחים צפויים הם מה שגלאים מקשרים ל-AI. הסימון מתאר את המילים שעל הדף, ולא אומר שום דבר ודאי על האופן שבו עבדתם.
האם תוצאה של גלאי יכולה להוכיח שהשתמשתי ב-AI?
לא. תוצאה של גלאי היא אות סטטיסטי, לא ראיה למה שעשיתם. היא לעולם לא צריכה להיות הבסיס היחיד להחלטה על ציון, על משרה או על פרסום. טיוטות, היסטוריית גרסאות ושיחה על העבודה אומרות הרבה יותר על זהות הכותב.
האם בודקי דקדוק וכלי תרגום גורמים לתוצאות חיוביות שגויות?
זה אפשרי. תיקון כבד ותרגום מחליפים ניסוח אישי ולא סדיר בניסוח חלק וסטנדרטי יותר, וטקסטים מתורגמים או ערוכים בכבדות הם בין אלה שגלאים טועים בהם הכי הרבה. אם השתמשתם בכלים כאלה, אמרו זאת בגלוי ושמרו את הגרסה שכתבתם לפניהם.
איך אפשר להראות שכתבתי טקסט בעצמי?
הראו איך עבדתם. היסטוריית גרסאות ב-Google Docs או ב-Microsoft Word, טיוטות מוקדמות, ראשי פרקים ורשימות מתעדים כולם איך הטקסט התפתח. אחר כך הציעו לדבר על הטיעון ועל המקורות שלכם. תוצאה מעוד גלאי מוסיפה מעט, כי גלאים חלוקים זה עם זה לעתים קרובות.
מהו שיעור התוצאות החיוביות השגויות של Textumi?
אנחנו לא מפרסמים שיעור אחד, כי הוא תלוי בשפה, בסוגה ובאורך של הטקסט. מה שאפשר לומר הוא הכלל: בכל שפה מלבד אנגלית ואוקראינית, הסף נמצא בנקודה שבה מסומנים לא יותר משניים מתוך מאה טקסטים אנושיים שהמודל לא למד מהם. בסוג הכתיבה שלכם השיעור עשוי להיות שונה.
האם מורים צריכים להסתמך על תוצאה של גלאי AI?
לא כשהיא לבדה. תוצאה יכולה לפתוח שיחה ולהצביע על קטעים שכדאי לדון בהם, אבל היא לא יכולה לקבוע שתלמיד או סטודנט השתמשו ב-AI. מי שכותבים בשפה שנייה או בסגנון רשמי מסומנים לעתים קרובות יותר, ולכן החלטה שמבוססת על התוצאה בלבד תהיה לא הוגנת כלפיהם.