איכות הבחינה הפסיכומטרית:

מהימנות, תוקף והוגנות

איכות הבחינה

את איכותה של כל בחינה משקפים שלושה מדדים: מהימנות, תוקף והוגנות. מדד המהימנות משקף את המידה שבה ציוני הבחינה של אותו נבחן נשארים יציבים גם אם הוא נבחן פעם נוספת בנוסח אחר, במועד אחר וכן הלאה. מדד התוקף משקף את המידה שבה ציוני הבחינה תואמים לרמת הידע או היכולת שהם אמורים לבדוק ואת המידה שבה ההחלטות  המתקבלות על בסיס ציונים אלו הן מוצדקות. מבחן נחשב הוגן כאשר הוא מועבר לכל הנבחנים בתנאים אחידים ככל האפשר, וכאשר הוא אינו מפלה לטובה או לרעה שום קבוצה באוכלוסייה.

מאל"ו משקיע מאמצים רבים כדי להבטיח שהבחינה תהיה מהימנה, תקפה והוגנת. איכות הבחינה הפסיכומטרית נבדקת באופן שוטף. רמות המהימנות והתוקף העולות מן הבדיקות הללו מעידות על כך שאיכות הבחינה גבוהה מאוד וקרובה לזו של מבחני קבלה דומים בעולם. מקדם המהימנות של הבחינה עומד על 0.95, (ערך של 1 מציין מהימנות מושלמת וערך של 0.80 מציין מהימנות סבירה של מבחן עתיר סיכון). המדד המקובל ביותר בבדיקת תוקף ניבוי של בחינה, המשקף את הקשר בין הציון בבחינה לבין ההישגים בלימודים, הוא מקדם המִתאם של פירסון. ערך זה נע מ־1.00- עד 1.00+. בשנים 2010-2005 נמצא שלציון הסֶכֶם, המבוסס על הבחינה הפסיכומטרית ועל הבגרות, יש מִתאם של 0.46 בניבוי הישגי שנה א' בתואר הראשון מעבר חוגי הלימוד השונים באוניברסיטאות. ערך זה נחשב למקדם מתאם טוב, והוא תואם לערכים המתקבלים במערכות בחינה אחרות ברחבי העולם. מידע נוסף על מהימנות הבחינה הפסיכומטרית ועל התוקף שלה אפשר למצוא במסמך סיכום ממצאים בנושא מהימנות ותוקף הבחינה.

הוגנות הבחינה: אחידות הבחינה

אחת ממעלותיה העיקריות של הבחינה הפסיכומטרית היא שכל הנבחנים בה נבחנים באופן אחיד. אחידות זו באה לידי ביטוי במבנה הבחינה ובתוכנה, בתנאי העברתה ובאופן חישוב הציונים.

אחידות במבנה הבחינה ובתוכנה

מבנה הבחינה הפסיכומטרית ותוכנה אחידים וקבועים בכל נוסח בחינה ובכל מועד, למעט שינויים קלים הנעשים למען נבחנים שאינם יודעים עברית או זכאים להיבחן בתנאים מותאמים. אחידות זו באה לידי ביטוי בתחומים ובמיומנויות הנבדקים בבחינה, בסוגי השאלות המופיעים בה, במספר השאלות מכל סוג ובהתפלגות של רמת הקושי שלהן.

אחידות בתנאי ההעברה של הבחינה

מאל"ו משקיע מאמצים רבים כדי להעביר את הבחינה בתנאים אחידים בכל מועד ובכל אזור. מסיבה זו הבוחנים מקריאים את ההוראות מתוך אותו מקור, והנבחנים מקבלים את אותו פרק זמן כדי לענות על השאלות בכל פרק בבחינה (להוציא נבחנים בשפות שאינן עברית ונבחנים בתנאים מותאמים). במקרים הנדירים שבהם מתברר שתנאי הבחינה של נבחן אחד או יותר לא עמדו בדרישת האחידות, מאל"ו מטפל במקרה באופן פרטני.

אחידות באופן חישוב הציונים

כדי שאפשר יהיה להשוות את יכולתו של כל נבחן ליכולתם של כל הנבחנים בבחינה הפסיכומטרית, מחשבים את ציוניו ביחס להישגי כל הנבחנים בבחינה מאז מועדה הראשון ולא ביחס להישגי הנבחנים שנבחנו אתו באותו מועד. במילים אחרות, נבחן שקיבל ציון מסוים במועד יולי 2010 היה מקבל את אותו הציון לו נבחן באותה בחינה במועד דצמבר 2010 והיה עונה על השאלות באותו אופן.

הוגנות הבחינה: היעדר אפליה בבחינה בין קבוצות אוכלוסייה

בכל אוכלוסייה יש קבוצות המצליחות יותר מבחינות מסוימות ומצליחות פחות מבחינות אחרות. למשל, ידוע שבדרך כלל בנות מצליחות בהבעה בכתב יותר מבנים, ובנים מצליחים במתמטיקה יותר מבנות. לכן העובדה שקבוצה א השיגה בממוצע ציונים גבוהים יותר במבחן כלשהו מקבוצה ב אין פירושה בהכרח שהמבחן אינו הוגן ומפלה את קבוצה א לטובה. כדי לבדוק אם בחינה היא הוגנת, יש לברר אם לבני קבוצות שונות שיש להם אותו ציון בבחינה יש, בממוצע, גם הישגים דומים בלימודים. אם התשובה היא חיובית, הבחינה הוגנת. אחת הדרכים לענות על השאלה הזו היא לבדוק אם בשימוש בקו ניבוי משותף לכל הקבוצות (כשמנבאים את ההישגים בלימודים על פי הציון בבחינה הפסיכומטרית) מנבאים עבור בני הקבוצות השונות הישגים שתואמים את הישגיהם בלימודים בפועל. מטרת הבחינה הפסיכומטרית היא לנבא את סיכויי ההצלחה של הנבחנים בלימודים האקדמיים, ולכן, יש לקשר את בדיקת ההוגנות של הבחינה הפסיכומטרית עם ההישגים בלימודים האקדמיים.

כדי להבטיח שהבחינה הפסיכומטרית לא תפלה בעתיד בין קבוצות אוכלוסייה, מחברי השאלות במאל"ו בודקים כל שאלה ושאלה ומוודאים שהיכולת לענות עליהן אינה תלויה במגדר הנבחנים, במוצאם, ברקעם התרבותי וכדומה.

כדי לוודא שהבחינות הפסיכומטריות שכבר נערכו אינן מפלות בין קבוצות אוכלוסייה, מאל"ו מבצע באופן שוטף גם מחקרי הוגנות, הבודקים במגוון גישות ובעזרת שיטות סטטיסטיות מתקדמות עד כמה כל בחינה הייתה הוגנת כלפי קבוצות אוכלוסייה מגוונות. מחקרים אלה בודקים הוגנות ביחס למגדר (גברים, נשים), מוצא ושייכות אתנית (יהודים, ערבים, עולים חדשים), גיל (צעירים, מבוגרים), זכאות למבחן בתנאים מותאמים ועוד.

את תוצאות מחקרי ההוגנות אפשר לקרוא בדוחות המפורטים למטה*.