תוקף מרכיבי מערכת מיון התלמידים להשכלה גבוהה: תיקון עבור הטיה הנובעת מברירה באמצעות המודל של הקמן

תמר קנת-כהן ושמואל ברונר

המרכז הארצי לבחינות ולהערכה

תמצית

מחקרים להערכת תוקף הניבוי של מבחנים המשמשים למיון מתבצעים בדרך-כלל במדגמים שעברו ברירה מוקדמת. בנסיבות כאלה מתעוררת השאלה האם הסטטיסטים המחושבים במדגם (מקדמי תוקף ומקדמי רגרסיה של החזאים בניבוי הקריטריון) אומדים נכונה את הפרמטרים באוכלוסייה טרם ברירה. ההנחה המקובלת בספרות הפסיכומטרית המקצועית היא שקווי או משטחי הרגרסיה אינם משתנים בעקבות תהליך הברירה. תיקון מקדמי התוקף עבור השפעת הברירה ("תיקון לקיצוץ תחום") מבוסס על ההנחה שלעיל. במסמך זה נבדקת ההנחה בדבר יציבות מקדמי הרגרסיה מעבר לתהליך הברירה.

ראשית, מוצגת עדות לכך שהנחה זו אמנם מתקיימת בהקשר של תהליכי ברירה למוסדות להשכלה גבוהה: מחקרים שבוצעו בארה"ב ובישראל מספקים ראיות אמפיריות לכך שמתאמים שהתקבלו במדגמים שעברו ברירה, ותוקנו לקיצוץ תחום, על-סמך הנחה אודות אי-השתנות מקדמי הרגרסיה בעקבות תהליך הברירה, משקפים נכונה מתאמים המחושבים באוכלוסייה שלא עברה ברירה.

שנית, מוצג המנגנון שבו תהליך הברירה עשוי לגרום להטיה במקדמי הרגרסיה המחושבים במדגם. התמודדות אנליטית עם המודל המתאר את השפעת הברירה (Heckman, 1979), מבססת את הטענה שהתהליך המאפיין ברירה למוסדות להשכלה גבוהה נוטה לגרום להטיה כלפי מטה באומדן מקדמי הרגרסיה של החזאים, ולא להיפך. השערה זו נתמכת בספרות המבוססת על היכרות עם המשתנים המעורבים באופן טיפוסי בתהליכי ברירה להשכלה גבוהה, ועם הקשרים המתקיימים בין המשתנים הללו.

בהינתן ההשערה האפריורית שההליך הברירה גורם להטיה כלפי מטה במקדמי הרגרסיה (ולפיכך גם לאומדן חסר של מקדמי המתאם המחושבים על-פי הנוסחות המקובלות לתיקון לקיצוץ תחום), התעורר עניין במודל סטטיסטי המאפשר לבדוק אמפירית את שאלת קיומה וכיוונה של הטיה כתוצאה מברירה, ומציע דרך לתקנה. מודל כזה, שהוצע על-ידי (Heckman, 1979), יושם על-ידי איילון ויוגב (1997) בבדיקת התוקף של מרכיבי מערכת המיון לאוניברסיטת תל-אביב.

טענתו המרכזית של המסמך הנוכחי היא שאיילון ויוגב יישמו באופן שגוי את המודל של הקמן. יישום זה הביא אותם לקבלת אומדים בלתי נכונים לפרמטרים שאותם ביקשו לאמוד. טענה זו מוצגת ומנומקת במסמך זה באמצעות דיון תיאורטי במודל של הקמן ובמשמעותו. ביסוס נוסף לעמדתנו התקבל מניתוח נתונים סימולטיביים. תוצאות הניתוח, המוצגות במסמך זה, מעידות על מימדי הסטיה של האומדים המופקים ברוח יישומם של איילון ויוגב מן הפרמטרים האמיתיים באכלוסיה.

הגדרה נכונה של המודל של הקמן, שהוצגה על-ידינו במסמך זה, נמצאה, על-סמך ניתוח הנתונים הסימולטיביים, כמספקת אומדנים מדויקים לפרמטרים באוכלוסייה. הגדרה זו יושמה (לצד הגדרתם של איילון ויוגב) בבדיקת תוקף הניבוי של ציון הבחינה הפסיכומטרית וממוצע תעודת הגברות בקרב מועמדים לאוניברסיטת תל-אביב בשנת הלימודים תשנ"ה. נמצא, שבממוצע מעבר לכל החוגים, לכל אחד משני החזאים תוקף חיובי ותרומה שולית חיובית לניבוי הקריטריון.

כמו-כן, כולל מסמך זה התייחסות לחולשותיו של המודל של הקמן, ומציג את הבעייתיות הכרוכה ביישומו.