איכות בחינת יע"ל:
מהימנות ותוקף
מהימנות ותוקף הם שניים ממאפייני היסוד איכותם של מבחנים נמדדת לפיהם. מהימנות של מבחן מבטאת את המידה שבה תוצאות המבחן הן יציבות או עקביות. תוקף מבטא את המידה שבה המבחן מודד את מה שהוא מיועד למדוד (פירוט נוסף על המושגים הללו ניתן למצוא בקישור מהימנות ותוקף של בחינות מיון והשמה - הגדרות והסברים, שמביא גם הסבר על שיטות לאמידת המהימנות והתוקף, שחלקן יוצגו להלן).
מהימנות [1]
מהימנות כעקיבות פנימית נבדקת ביחס לחלק של שאלות הברירה בבחינה, והיא משקפת עד כמה הציון בחלק זה יציב כאשר השאלות משתנות. מהימנות זו (שמחושבת על פי נוסחת קודר-ריצ'רדסון) נעה בין 0.88 ל-0.96 בנוסחי הבחינה.
מהימנות בין מעריכים נבדקת ביחס לחיבור, והיא משקפת עד כמה הציון יציב כאשר המעריכים, הבודקים את החיבור, משתנים: מהימנות הציון, המבוסס על שתי הערכות (שמחושבת על פי המתאם בין ציוני שני מעריכים, מתוקן באמצעות נוסחת ספירמן-בראון) היא 0.86.
מהימנות מבחן חוזר (עם נוסחים מקבילים) נבדקת ביחס לציון הכללי, והיא משקפת עד כמה הציון יציב בניכוי השפעתן של שאלות ספציפיות, זמני היבחנות ספציפיים ומעריכים ספציפיים. במילים אחרות, מדד זה למהימנות (מתאם המחושב בין הציונים שהתקבלו בשתי היבחנויות של אותם נבחנים - בזמנים שונים זה מזה, בנוסחים שונים זה מזה של המבחן ולרוב גם דרך מעריכים שונים זה מזה) מביא בחשבון מקורות רבים לחוסר יציבות, ולכן הוא נחשב לאומדן מחמיר יחסית של יציבות הציון. המתאם שנמצא בין הציונים בהיבחנות ראשונה ושנייה בקרב כל הנבחנים החוזרים הוא 0.80.
הערכות של מהימנות תלויות באופן החישוב (ככל שהמדד רגיש למקורות רבים יותר של תנודות אפשריות בציונים, כך הוא צפוי להיות נמוך יותר), אך ככלל מקדמי מהימנות העולים על 0.80 נחשבים נאותים למבחנים סטנדרטיים. ניתן להתרשם, אם כן, שערכי המהימנות שדווחו לעיל הם משביעי רצון.
תוקף
ראיות לכך שהבחינה מודדת את מה שהיא מיועדת למדוד מתקבלות בראש ובראשונה מניתוח לוגי של הקשר בין תוכן הבחינה ובין מה שהיא מיועדת למדוד - במקרה זה, רמת השליטה של הנבחן בשפה העברית. בחינת יע"ל כוללת שאלות העוסקות בהבנה של טקסטים עבריים במגוון אורכים, ומטלה של כתיבת חיבור בעברית. זאת מתוך התפיסה שיכולת הבנת הנקרא ויכולת הבעה בכתב הן שתי יכולות מרכזיות של שליטה בשפה. את מבנה הבחינה הבודקת אותן ואת סוגי השאלות גיבשו מורים להוראת עברית כשפה שנייה באוניברסיטאות, ומטלות הבנת הנקרא וההבעה בכתב מותאמות בתוכנן ובסגנונן לטקסטים בתחומים אקדמיים.
סוג אחר של ראיות לתוקף מתקבל מבדיקת המתאם שבין הציונים בבחינה ובין מדדים אחרים שמיועדים למדוד את אותה יכולת, יכולת קרובה, או תכונה אחרת שצפויה להיות קשורה לרמת השליטה בעברית.
בעניין זה נמצאו שלושה ממצאים.
ראשית, נמצא מתאם גבוה (0.58) בין הציון ביע"ל ובין הציון בבחינת הבגרות במקצוע "עברית לבית ספר ערבי" (בקרב הנבחנים בבחינה הפסיכומטרית בערבית)[2].
שנית, סביר לצפות שהשליטה בעברית תעלה ככל שאדם נמצא יותר שנים בארץ. ואכן, נמצא מתאם בינוני-גבוה (0.49) בין הציון ביע"ל ובין ותק בארץ (בקרב הנבחנים בבחינה הפסיכומטרית בשפות שאינן ערבית)[2].
לבסוף, מבדיקת המתאמים של הציון הכללי ביע"ל עם הציונים בתחומי הבחינה הפסיכומטרית נמצא שהציון ביע"ל מתואם במידה הרבה ביותר עם הציון בתחום האנגלית (0.53), לאחר מכן עם הציון בתחום החשיבה המילולית (0.51), ולבסוף עם הציון בתחום החשיבה הכמותית (0.44). ניתן להיווכח, אם כן, שמתחומי הבחינה הפסיכומטרית, לציון ביע"ל יש הכי הרבה במשותף עם הציון באנגלית, שכמו ציון ביע"ל בודק שליטה בשפה שאינה שפת אם, ועם הציון בחשיבה מילולית, שמשקף יכולת הבנת הנקרא ויכולת הבעה בכתב, אם כי בשפת אם (הנתונים שלעיל מבוססים על נבחני הבחינה הפסיכומטרית בערבית)[1].
הממצאים שלעיל מאששים את הטענה שבחינת יע"ל מודדת רמת שליטה בעברית, ולא שינון או יכולת לא רלוונטית אחרת.
[1] הנתונים מבוססים על נבחני יע"ל בשנים 2020-2014.
[2] הנתונים מבוססים על נבחני יע"ל לראשונה בשנים 2013-2003.