איכות מערכות מו"ר ומרק"ם:

מהימנות, תוקף והוגנות

שלושה מדדים משקפים את איכותה של כל בחינה: מהימנות, תוקף והוגנות.

מדד המהימנות משקף את המידה שבה ציוני הבחינה של נבחן נשארים יציבים גם אם הוא נבחן פעם נוספת בנוסח אחר, במועד אחר וכן הלאה.

מדד התוקף משקף את המידה שבה ציוני הבחינה תואמים לרמת הידע או היכולת שהם אמורים לבדוק ואת המידה שבה ההחלטות המתקבלות על בסיס ציונים אלו הן מוצדקות.

מדד ההוגנות משקף את המידה שבה הבחינה מועברת לכל הנבחנים בתנאים אחידים ואינה מפלה שום קבוצה באוכלוסייה לטובה או לרעה.

איכות מערכות מו"ר ומרק"ם נבדקת באופן שוטף. מאל"ו משקיע מאמצים רבים כדי להבטיח שההערכה באמצעות מערכות אלה תהיה מהימנה, תקפה והוגנת, וזאת בהינתן הקושי המובנה במדידה של משתנים לא קוגניטיביים.

מהימנות

הבדיקות הסטטיסטיות בודקות את המהימנות הפנימית של המערכות, את המהימנות בין מעריכים ואת המהימנות בין מבחן למבחן חוזר. ממצאי הבדיקות הללו לאורך שנים מעידים על כך שמהימנות מערכות מו"ר ומרק"ם עומדת בסטנדרטים המקובלים בספרות המקצועית ודומה לזו של מערכות מיון דומות בעולם.

תוקף

בדיקת תוקף הניבוי של מרכז הערכה מסובכת בהשוואה לכלי הערכה אחרים, וזאת מכיוון שהקריטריון לבדיקת התוקף הוא התפקוד הממשי והמעשי במקצוע שלקראת לימודו נערך המיון. רמת התפקוד במקצוע קשה לבדיקה, וזאת מכמה סיבות. ראשית, קשה להחליט מהו תפקוד טוב במקצוע: לשאלה מיהו רופא טוב, למשל, עשויות להתקבל תשובות שונות מצד בתי החולים, מצד חברי הצוות הרפואי ומצד המטופלים, ולכל אחת מהן יש חשיבות. שנית, הערכה כמותית אובייקטיבית אינה אפשרית, וזאת משום שכל רופא מתמודד עם מקרים ייחודיים שקשה להשוות ביניהם. לבסוף, ככל שהרופאים טובים יותר כך הם מתמודדים עם מקרים סבוכים יותר שקשה יותר לטפל בהם.

למרות הקשיים הללו, לאורך השנים הצטברו נתונים מחקריים בדבר התוקף של מרכזי הערכה. במחקרים שנערכו בארץ ובעולם על מערכות מיון זהות או דומות למערכות מו"ר ומרק"ם נמצא מתאם חיובי בין הציון במרכזים כאלו לבין מדדים התנהגותיים הנבדקים בשנים הקליניות של בית הספר לרפואה, בהתמחות ובמבחני ההסמכה.

הוגנות

הוגנות הבחינה נבחנת מכמה היבטים. אחד מהם הוא אחידותה. במערכות מו"ר ומרק"ם כל המועמדים נבחנים באותם סוגי תחנות ובאותו שאלון ביוגרפי, והם מוערכים על פי אותם קריטריונים. שתי הבחינות מתנהלות כמעט באותו האופן, ואנשי מקצוע שעברו את אותה ההכשרה מעריכים בהן את הנבחנים באמצעות טופסי הערכה מובנים וסטנדרטיים. אחידות מעין זו אינה קיימת בכמה מכלי המיון ששימשו בעבר, כגון ריאיון ארוך מול ועדה. היבט אחר של הוגנות הבחינה הוא ריבוי התצפיות הבלתי תלויות: במערכות מו"ר ומרק"ם ההחלטות אינן מתקבלות על סמך חוות דעת יחידה. נוסף על כך, מומחים בודקים את כל רכיבי הבחינה ומרכזי ההערכה במו"ר ובמרק"ם כדי לוודא שהיכולת להתמודד עימם אינה תלויה במגדר הנבחנים, במוצאם, ברקעם התרבותי וכדומה.

רשימת מקורות

Gafni, N., Moshinsky, A.,  Kapitulnik, J. (2003). A standardized open-ended questionnaire as a substitute for a personal interview in dental admissions. Journal of Dental Education, 67(3), 348-353.

Ziv, A., Rubin, O., Moshinsky, A., Gafni, N., Kotler, M., Dagan, Y., …  Mittelman, M. (2008). MOR: a simulation‐based assessment centre for evaluating the personal and interpersonal qualities of medical school candidates. Medical Education, 42(10), 991-998.

Gafni, N., Moshinsky, A., Eisenberg, O., Zeigler, D.,  Ziv, A. (2012). Reliability estimates: behavioural stations and questionnaires in medical school admissions. Medical education, 46(3), 277-288.‏

Eva, K. W., Reiter, H. I., Rosenfeld, J., Trinh, K., Wood, T. J.,  Norman, G. R. (2012). Association between a medical school admission process using the multiple mini-interview and national licensing examination scores. Jama, 308(21), 2233-2240.

Hadad, A., Gafni, N., Moshinsky, A., Turvall, E., Ziv, A.,  Israeli, A. (2016). The multiple mini-interviews as a predictor of peer evaluations during clinical training in medical school. Medical teacher, 38(11), 1172-1179.‏

Moshinsky, A., Ziegler, D.,  Gafni, N. (2017). Multiple Mini-Interviews in the Age of the Internet: Does Preparation Help Applicants to Medical School? International Journal of Testing, 17(3), 253-268.‏