איכות בחינת יע"ל:

מהימנות ותוקף

מהימנות ותוקף הם שניים ממאפייני היסוד שלפיהם נמדדת איכותם של מבחנים. מהימנות של מבחן מבטאת את המידה שבה תוצאות המבחן הן יציבות או עקביות. תוקף מבטא את המידה שבה המבחן מודד את מה שהוא מיועד למדוד (פירוט נוסף על המושגים הללו ניתן למצוא בקישור מהימנות ותוקף של בחינות מיון והשמה - הגדרות והסברים, שמביא גם הסבר של השיטות השונות לאמידת המהימנות והתוקף, שחלקן יוצגו להלן).

מהימנות [1]

מהימנות כעקיבות פנימית נבדקה ביחס לחלק של שאלות הברירה בבחינה, והיא משקפת עד כמה הציון בחלק זה יציב כאשר השאלות משתנות: מהימנות זו (שמחושבת על פי נוסחת קודר-ריצ'רדסון) נעה בין 0.88 ל-0.96 בנוסחי הבחינה השונים.

מהימנות בין מעריכים נבדקה ביחס לחיבור, והיא משקפת עד כמה הציון יציב כאשר המעריכים משתנים: מהימנות הציון המבוסס על שתי הערכות היא 0.86 (מחושבת על פי המתאם בין ציוני שני מעריכים, מתוקן באמצעות נוסחת ספירמן-בראון).

מהימנות מבחן חוזר (עם נוסחים מקבילים) נבדקה ביחס לציון הכללי, והיא משקפת עד כמה הציון יציב מעבר לשאלות שונות, לזמני היבחנות שונים ולמעריכים שונים. במילים אחרות, מדד זה למהימנות (שמחושב כמתאם בין הציונים שהתקבלו בשתי היבחנויות של אותם נבחנים - בזמנים שונים ובנוסחים שונים של המבחן ולרוב גם עם מעריכים שונים) מביא בחשבון מקורות רבים לחוסר יציבות, ולכן הוא נחשב לאומדן מחמיר יחסית של יציבות הציון. המתאם שנמצא בין הציונים בהיבחנות ראשונה ושנייה הוא 0.80 (בקרב כל הנבחנים החוזרים).

הערכת גובה המהימנות תלויה במדד המחושב (ככל שהמדד רגיש למקורות רבים יותר של תנודות אפשריות בציונים, כך הוא צפוי להיות נמוך יותר), אך ככלל מקדמי מהימנות העולים על 0.80 נחשבים נאותים למבחנים סטנדרטיים. ניתן להתרשם, אם כן, שערכי המהימנות שדווחו לעיל הם משביעי רצון.

תוקף

ראיות לכך שהבחינה מודדת את מה שהיא מיועדת למדוד - מתקבלות בראש ובראשונה מניתוח לוגי של הקשר בין תוכן הבחינה ובין מה שהיא מיועדת למדוד - רמת השליטה של הנבחן בשפה העברית. השאלות בבחינת יע"ל עוסקות בהבנה של טקסטים באורכים שונים, הכתובים בעברית, ובכתיבת חיבור בעברית. זאת מתוך התפיסה שיכולת הבנת הנקרא ויכולת הבעה בכתב הן שתי יכולות מרכזיות של שליטה בשפה, כשהאופן שבו הן נבדקות בבחינה - מבנה הבחינה וסוגי השאלות - גובש על ידי מורים להוראת עברית כשפה שנייה באוניברסיטאות. מטלות הבנת הנקרא וההבעה בכתב מותאמות בתוכנן ובסגנונן לטקסטים בתחומים אקדמיים.

סוג נוסף של ראיות לתוקף מתקבל מבדיקת המתאם בין הציונים בבחינה ובין מדדים אחרים שמיועדים למדוד את אותה יכולת, או יכולת קרובה, או תכונה אחרת שצפויה להיות בקשר חיובי עם רמת השליטה בעברית.

בעניין זה נציג שלושה ממצאים.

ראשית, נמצא מתאם גבוה (0.58) בין הציון ביע"ל ובין הציון בבחינת הבגרות במקצוע "עברית לבית ספר ערבי" (בקרב הנבחנים בבחינה הפסיכומטרית בערבית) [2].

שנית, סביר לצפות שהשליטה בעברית תגדל ככל שאדם נמצא יותר שנים בארץ. ואכן, נמצא מתאם בינוני-גבוה (0.49) בין הציון ביע"ל ובין ותק בארץ (בקרב הנבחנים בבחינה הפסיכומטרית בשפות שאינן ערבית)2.

לבסוף, מבדיקת המתאמים של הציון הכללי ביע"ל עם הציונים בתחומי הבחינה הפסיכומטרית נמצא שהציון ביע"ל מתואם במידה הרבה ביותר עם הציון בתחום האנגלית (0.53), לאחר מכן עם הציון בתחום החשיבה המילולית (0.51), ולבסוף עם הציון בתחום החשיבה הכמותית (0.44). ניתן להיווכח, אם כן, שמבין תחומי הבחינה הפסיכומטרית, לציון ביע"ל יש הכי הרבה במשותף עם הציון באנגלית, שבדומה לציון ביע"ל, בודק שליטה בשפה שאינה שפת אם, ועם הציון בחשיבה מילולית, שמשקף יכולת הבנת הנקרא ויכולת הבעה בכתב (אך בשפת אם) (הנתונים שלעיל מבוססים על נבחני הבחינה הפסיכומטרית בערבית)1

הממצאים שלעיל מספקים ראיות שמאששות את הטענה שבחינת יע"ל מודדת רמת שליטה בעברית (ולא שינון או יכולת לא רלוונטית אחרת).

 

[1] הנתונים מבוססים על נבחני יע"ל בשנים 2020-2014.

[2] הנתונים מבוססים על נבחני יע"ל לראשונה בשנים 2013-2003.