איך גלאי ה-AI של Textumi נבנה ונבדק

מסווג נפרד לכל שפה

אוקראינית ושמונה-עשרה השפות שנוספו אחריה חולקות מקודד רב-לשוני אחד, מודל שהופך טקסט למספרים. המקודד מוקפא, כך שהמשקלים שלו אף פעם לא משתנים. מעליו יושב מסווג קטן שאומן לשפה אחת בלבד.

טקסט ארוך נקרא בחלונות רצופים, והתוצאות מצורפות לציון אחד לכל הטקסט. עד שלוש פסקאות של 50 מילים ומעלה מקבלות גם ציון משלהן, ואלה הקטעים שהגלאי מדגיש.

לאנגלית יש מודל ותיק יותר ונפרד: מקודד אנגלי מוקפא משלה, מסווגים ש-Textumi אימן מעליו, ומודל שני שהאות שלו משולב עם האות שלהם לפי כלל קבוע.

טקסט תמיד מקבל ציון מהמסווג של השפה שלו. שפה בלי מסווג מאושר מקבלת הודעת שגיאה, ואף פעם לא ציון שאול משפה אחרת.

מאיפה מגיעים טקסטי האימון

הטקסטים האנושיים לשמונה-עשרה השפות מגיעים ממיזמי Wikimedia: חדשות מוויקיחדשות, ערכים בוויקיפדיה ודפי שיחה בוויקיפדיה. להינדי, לאינדונזית, לווייטנאמית, לעברית ולדנית אין ויקיחדשות, ולכן ספרי לימוד מוויקיספר באים במקומה.

כל טקסט הוא פסקת פרוזה שלמה של 80 עד 280 מילים, מהגרסה האחרונה של הדף שנערכה לפני 2020. התאריך הוא הראיה לכך שאדם כתב אותו. אף טקסט לא מסומן כאנושי משום שגלאי אחר אמר זאת.

קצרמרים שנכתבו בידי תוכנות והודעות שחוזרות מדף לדף מסוננים החוצה. המסננים מצמצמים אותם, אבל לא יכולים לתפוס כל אחד ואחד.

לכל טקסט אנושי יש מקביל של AI באותו נושא, באותה סוגה ובאותה שפה, ובאורך דומה. שני מודלי AI נפוצים של ספקים שונים כתבו את הטקסטים המקבילים, כל אחד למחצית מהמקורות. תשובות שנקטעו, שהעתיקו את המקור או שלא היו פרוזה רגילה נפסלו.

הקורפוס האוקראיני ותיק יותר: יש בו טקסטים היסטוריים של Wikimedia וטקסטי AI של מודל אחד. שום טקסט של לקוחות לא משמש לאימון של גלאי כלשהו.

מבחן חתום שנפתח פעם אחת לכל גרסה

הטקסטים מקובצים לפי מקור, כך שהפרקים של ספר לימוד אחד או הארכיונים של דף שיחה אחד נשארים יחד. הקבוצות מחולקות פעם אחת לשלושה חלקים: אימון, כיול ומבחן. טקסט אנושי והמקביל שלו של AI תמיד נמצאים באותו חלק.

המבחן כולל כ-200 קבוצות מקור. הוא נשאר חתום בזמן שבוחרים את המסווג וקובעים את הסף שלו, ואז נפתח פעם אחת.

אם הגרסה נכשלת, המבחן הזה לא משמש שוב. הטקסטים שלו הופכים לנתוני אימון, והגרסה הבאה נבחנת על קבוצות מקור חדשות שאף גרסה קודמת לא ראתה. כך אנחנו לא מכווננים מסווג עד שהוא במקרה מתאים למבחן שלו.

איך נקבעים הסף ותוויות התוצאה

בשמונה-עשרה השפות הסף נקבע בנקודה שבה מסומנים לכל היותר 2 מכל 100 טקסטים אנושיים. הספירה נעשית על טקסטים אנושיים שהמסווג לא למד מהם, ובגרסאות הראשונות הכוונה הייתה לחלק הכיול.

בגרסאות שנבנו אחרי 12 באוקטובר 2026 הספירה נעשית על כל הטקסטים שמחוץ למבחן, כשכל אחד מקבל ציון ממסווג שלא ראה את קבוצת המקור שלו. הסף מוקפא לפני שהמבחן נפתח.

הכלל הזה שומר בכוונה על התראות שווא נדירות ומקבל את זה שיותר טקסטי AI מתפספסים. הוא לא הופך את הציון להסתברות.

הסף של כל מסווג ממוקם על 0.5 בסולם של המודל מ-0 עד 1. הנקודה הזאת היא קו האות. ב-textumi.com הציון מוצג בלי מספר: מחוג על מד שנע בין "אדם" ל-"AI" ואחת מחמש תוויות.

טקסט של פחות מ-50 מילים לא מקבל תווית: Textumi מציג במקום זאת "אין מספיק טקסט להערכה". כל תווית היא הערכה לפי סגנון הטקסט, לא חלק מדוד של טקסט AI ולא הוכחה למחברות. עוזר AI שמחובר דרך MCP מקבל את הציון עצמו כמספר.

הרף שגרסה צריכה לעבור לפני השקה

גרסה לאחת משמונה-עשרה השפות מוצעת רק אם המבחן שלה כולל לפחות 150 טקסטים אנושיים ו-150 טקסטי AI, ושלושת התנאים האלה מתקיימים במבחן הזה:

• לא יותר מ-5% מהטקסטים האנושיים מסומנים, כך שהתראות השווא נשארות מעטות;
• לפחות 60% מטקסטי ה-AI מזוהים במבחן כולו;
• לפחות 50% מטקסטי ה-AI מזוהים בכל תחום של הקורפוס: חדשות או ספרי לימוד, ערכי אנציקלופדיה ודיונים.

לפני האישור, המסווג המיוצא נטען באותו קוד שמטפל בבקשות, והציונים שלו מושווים לציונים שהפיק באימון.

שפה שהגרסה שלה לא עוברת את הרף לא מוצעת. צ'כית לא עברה אותו, ולכן Textumi לא תומך בצ'כית.

הולנדית היא החריגה היחידה. הגרסה הנוכחית שלה לא הגיעה לרף בפער קטן: היא זיהתה 59.8% מטקסטי ה-AI כשנדרשים 60%, ו-49.4% בערכי אנציקלופדיה כשנדרשים 50%. Textumi החליט להציע אותה בכל זאת, והכלל עצמו נשאר ללא שינוי.

מה גרסה שהושקה אומרת לכם

גרסה שהושקה עמדה בכלל פעם אחת, על פרוזה של Wikimedia ועל טקסטים של שני מודלי AI. זה מתאר איך היא מתנהגת על חומר מהסוג הזה. זה לא מבטיח דיוק על טקסטים אחרים, ולא נותן הסתברות מכוילת למחברות.

הגלאים לאנגלית ולאוקראינית פועלים הכי הרבה זמן. המסווג האוקראיני נבדק על 200 טקסטים אנושיים ו-198 טקסטי AI מ-200 קבוצות מקור, והמודל האנגלי על אוסף מבחן קטן ונפרד של 80 טקסטים אנושיים ו-20 טקסטי AI. גם הציונים שלהם הם אותות לא מכוילים.

מה המבחנים לא מכסים

• סוגות אחרות. על אוסף קטן של טקסטי AI מסוגים אחרים, כמו הודעות, תלונות והוראות, הגלאים לצרפתית, לווייטנאמית, לטורקית ולאינדונזית פספסו את רובם, והגלאים לשוודית ולהולנדית בערך מחצית. פורטוגזית, ערבית, פולנית, גרמנית, איטלקית, נורווגית (בוקמול) ודנית לא נבדקו על סוגות אחרות.
• טקסטים קצרים. קטעי האימון כוללים לפחות 80 מילים. מתחת ל-50 מילים Textumi לא נותן תווית, ותוצאה על טקסט שעובר את הסף הזה רק במעט עדיין פחות אמינה בכל שפה.
• מחברות מעורבת וטקסטים ערוכים. הקורפוס כולל טקסטים אנושיים לגמרי וטקסטי AI לגמרי, ולכן טיוטת AI ערוכה או טקסט אנושי מלוטש בקפידה נמצאים מחוץ למה שנבדק.
• מודלי AI אחרים. טקסטי ה-AI בקורפוס מגיעים משני מודלים, וטקסט של כל מחולל אחר לא היה חלק מהמבחן.
• אנגלית בהיקף גדול. המודל האנגלי נבדק על אוסף קטן בהרבה מהגלאים של השפות האחרות.

למה טקסט אנושי מסומן כ-AIכל שפה ומצבה

איך גרסאות משתנות

לכל מסווג יש מספר גרסה. גרסה חדשה פירושה חלוקה חדשה של הקורפוס ומבחן חתום חדש, וכל שינוי בסף דורש אימות משלו ורישום גרסה.

Textumi ממשיך לעבוד על איכות הגלאי, וכל גרסה חדשה עוברת את אותו כלל. גרסה נבחנת רק על מקורות שמעולם לא ראתה, וכל השקה היא החלטה נפרדת. כשהשיטה משתנה, העמוד הזה והתאריך שלו משתנים יחד איתה.